标签：inference

• 自建 AI 基础设施何时优于使用 API：imec 的基准测试与成本分析 AI Engineer 2026-10-31
  比利时微电子研究中心（imec）的 Steven 探讨了企业从闭源 API 转向自建开源模型基础设施的经济性与技术权衡。基于 SWE-bench pro 等编程助手长周期任务的数千次基准测试，研究显示并发限制、KV 缓存及框架（harness）选择对 GPU 总拥有成本有决定性影响，例如 GLM 级别模型可实现约 24.5% 的成本节约。
• AI Engineer 线上直播：从 Demo 到生产级 AI 应用的规模化管理实践 课代表立正 2026-10-31
  嘉宾围绕从原型到生产级 AI 应用的落地挑战展开探讨。锐动 AI 提出开发者需构建注意力与推理机制并结合云端与本地算力；Sonar 介绍了用于代码质量与安全闭环的代理服务；ClickHouse 与 Langfuse 团队则分享了基于链路追踪和指标评估的智能体可观测性实践。
• AI 研究代理挑中了最好的实验配置，却猜不准剩下的每一种 yage.ai 2026-10-02
  WhatWorkedBench基准揭示AI研究代理虽能选优配置，但在预测未测实验结果上表现不佳，甚至不及传统统计方法。核心短板在于将代码规则转化为推断的‘最后一公里’，表明需结合统计工具与静态分析以弥补大模型在微观推断上的不足。
• 开源小模型自建推理服务与集群架构实践 AI Engineer 2026-09-19
  演讲探讨了小型开源模型在专用任务中的性能优势及自建云端推理服务的挑战。主讲人提出通过拉取式网关架构、多模型混合打包与惰性加载，以及自动化研究闭环调优，在较小硬件上实现高吞吐、低延迟与显著降本。
• TPU 与 CUDA 的攻防战：Cloud Next 2026 之后的判断 yage.ai 2026-04-25
  Google Cloud Next 2026 发布了 TPU v8、TorchTPU 及对 Anthropic 的巨额投资，旨在挑战 NVIDIA 的 CUDA 生态。文章分析了 Google 在芯片、软件、系统和供应链上的策略，指出 vLLM 是非 NVIDIA 推理层的关键杠杆。尽管 NVIDIA 短期内仍具优势，但 TPU 在推理市场的价格影响力将受削弱。 Anthropic 是非 NVIDIA 阵营的核心推动者，其商业成功对承诺兑现有重要影响。对于开发者，建议关注推理层抽象和长上下文功能，并重新思考成本模型。
• 2026英伟达GTC：Token经济下的AI五层蛋糕与‘推理之王’的生态帝国 硅谷101 2026-03-24
  英伟达2026年GTC大会预示AI行业新叙事：从芯片到‘Token经济’和‘AI工厂’。黄仁勋提出‘五层蛋糕’战略，目标通过整合能源、芯片、基建、模型、应用各层，巩固其在AI生态中的核心地位。大会发布了Groq LPU、Vera CPU等新产品，并宣布对光通信巨头Lumentum和Coherent的投资，预示着英伟达正通过全方位布局，构建其难以撼动的AI生态帝国，并应对算力供应链挑战。
• 2025年回顾与2026年展望：投资策略与AI机遇 投资TALK君 2026-01-10
  本次访谈回顾了2025年的市场表现，包括特朗普上台后的关税战、AI基础设施的爆发式增长以及对英特尔和美光等公司的成功投资。展望2026年，嘉宾重点分析了AI的未来趋势，包括端侧AI、推理芯片、AR眼镜和自动驾驶的落地。此外，访谈还探讨了AI赋能传统行业的潜力以及工业板块的复苏，强调长期价值投资而非追逐短期热点。