标签：model-inference

• 为什么付费方式比模型多聪明更能决定 AI 的生产力 yage.ai 2026-11-10
  文章探讨了付费方式（按 Token 计费与按月订阅）如何影响 AI 的生产力。通过欧洲数字银行 Revolut 的案例，文章指出，按 Token 计费会促使工程师将 AI 视为稀缺资源，导致他们只在最复杂任务上使用 AI，从而锁死了整体产出。而转为按月订阅模式或自建固定算力池，可以消除边际成本顾虑，让工程师能无负罪感地处理日常杂务，从而大幅缩短交付周期。文章还对比了个人开发者自建显卡与企业规模的固定算力池策略，指出对于个人用户，购买商业订阅更具性价比；而对于大型组织，通过高复用率的固定算力池来重建包月体验是实现生产力提升的关键。
• 为什么大模型推理都在做 PD 分离，而它又如何漏出了别人的代码 yage.ai 2026-11-01
  文章讨论了在大型模型推理中采用预填充（预填充）和解码分离（PD 分离）架构以提高流式输出速度的工程实践，以及这种架构在高性能下的工程风险。作者分析了预填充阶段主要消耗算力，解码阶段主要消耗显存带宽的特点，并探讨了在同款GPU上通过量化精度、显存页回收策略、以及跨机器RDMA传输等取舍来优化性能的方法。文章通过Cloudflare的跨租户数据泄露事件，详细分析了在这些优化策略的组合下，由于显存池大小不匹配和显存回收机制的缺陷，如何导致解码节点读取了预填充节点留下的旧数据，从而造成跨请求KV缓存泄露的漏洞。最终，文章指出安全边界往往存在于那些半途而废的异常退场路径上，并描述了修复该漏洞的机制，包括引入延迟槽位释放机制来确保数据安全。
• 華為與DeepSeek的共生關係：昇騰950PR實測與軟硬體協同 Best Partners TV 2026-10-29
  解讀SemiAnalysis關於華為與DeepSeek共生關係的長文分析，涵蓋昇騰950PR晶片架構測試、GEMM與頻寬效能、軟體編譯器調度及推測性解碼部署實踐，探討生態差距與本土運算體系發展。
• Modal 创始人访谈：AI 基础设施演进、沙箱技术突破与模型商品化趋势 Latent Space 2026-10-22
  Modal 创始人 Eric Burn Hartson 分享从 Spotify 到创办 AI 基础设施公司的历程。文章深入探讨了沙箱技术的快照与分叉创新、推理服务与模型开发的解耦优势，以及大模型作为商品的市场逻辑，并预测计算生物学等可验证领域将成为 AI 应用的新增长点。
• 小模型推理架构的缺失与重构：Superlinked 的开源实践 AI Engineer 2026-05-05
  Filip Makraduli 探讨了当前 AI 市场在小模型推理架构上的空白。他指出，尽管大模型备受关注，但在 AI 搜索、文档处理和 Agent 工作流中，小模型在上下文管理和预处理方面具有不可替代的价值。本文深入分析了 Superlinked 开源推理引擎 Sie 的设计理念，涵盖了 GPU 资源热切换、模型前向传播的标准化重构以及自动化集群扩展等核心技术栈。