◆ The Learning Grove 林间拾穗

标签：inference-engine

  • 利用推理引擎的 KV Cache 检测 AI Agent 安全攻击与异常 AI Engineer
    Intrinsic AI 创始人 Ari Azarfar 提出将推理引擎中的 KV Cache 作为安全信号，用于补充传统边界防护。通过建立正常推理流量的基线来检测异常页面，不仅能覆盖边界护栏盲区、保护数据隐私，还可定位具体异常位置并用于威胁发现，但在生产落地中仍面临多模型表征不一致与大规模对象传输等挑战。
  • 对话状态该放在谁那里：SGLang 把赌注押在了推理服务 yage.ai
    文章讨论了在语言模型接口上构建应用时，对话状态应该放在哪里，尤其是在实时语音场景下。传统上，状态放在应用端，但随着需要支持随时被打断的实时语音，状态开始倾向于放在服务端。开源推理引擎SGLang在处理这种挑战时，面临的核心问题是如何管理推理引擎内部状态和客户端播放状态的一致性。SGLang设计者做出两个关键决策：一是将交互规则固定下来作为上层接口，以实现模型和组件的替换；二是将推理引擎的基本单位从单次请求改为持续会话，以支持中途取消和上下文的连续性。这种设计牺牲了无状态请求的简单性，增加了更换底层推理引擎的迁移成本。文章分析了四种实时语音架构（级联、轮次式、原生全双工、原生前台加委派）对对话状态的不同处理方式，并指出SGLang在这些架构上的定位是方便统一接口和评测。最终结论是，对话状态的最终位置取决于上层框架如何定义标准，这决定了未来更换引擎的成本。
  • DeepSeek 开源了自家推理引擎：单模型引擎为什么总能暴打通用引擎 yage.ai
    DeepSeek开源了其推理引擎DeepInfer，该引擎在特定条件下（如离线批量推理）表现出比通用引擎更快的总吞吐量，但首字延迟可能更慢。文章指出，单模型引擎的快主要来源于硬件支持、权重包优化和投机解码，而真正难以复制的、与自家基础设施绑定的部分，如跨机器缓存和请求路由系统，并未开源。
  • DeepSeek 開源推理框架 DeepInf 與 DeepSeek-Recipe 解析 Best Partners TV
    介紹 DeepSeek 開源的推理框架 DeepInf、編碼組件 DeepSeek-Recipe 以及搜尋與取得工具。內容涵蓋 PD 分離架構、KV 快取與 3FS 儲存機制、投機解碼、零開銷批次調度、硬體支援與商業邏輯分析。
  • 深入解构大模型推理引擎：从连续批处理到 KV Cache 显存架构 AI Engineer
    Modal 工程师 Charles Frye 深入拆解大模型推理引擎的核心机制与系统架构。演讲详尽分析了从基础 API 调用到自建 vLLM、SGLang 等引擎的演进动因，剖析了 Prefill 与 Decode 阶段的显存及算力瓶颈，并系统探讨了连续批处理、KV Cache 内存管理（PagedAttention/RadixAttention）、Token 编解码开销及异构后端优化的实战工程落地。
  • 8 路并发每路仍有 141 tok/s：2×5090 跑 27B 小模型，为什么它已经是 sweet spot yage.ai
    文章探讨了在本地自托管 27B 小模型时，如何通过优化硬件配置（如 2×5090）和推理引擎（如 SGLang DFlash2）来达到性能甜蜜点（sweet spot）。核心论点在于，自托管的价值不在于单纯的成本节约，而在于对数据合规性、隐私控制和推理栈的完全掌控。文章通过详细的并发压测数据，论证了在特定负载下，消费级硬件可以提供充裕的解码吞吐，并对比了自建与云端租赁的经济决策变量，强调了使用率对成本效益的决定性影响。
  • vLLM 背后的人：一个开源项目如何长成一家公司 · 乔木博客 向阳乔木
    本文探讨了开源项目 vLLM 从算法研究转向系统工程的演变过程，以及其背后的商业化逻辑。文章阐述了从算法研究到系统工程的转变，强调系统和数据对模型成败的重要性，并分析了 DeepSeek 等公司在推理引擎优化上的实践，以及开源社区治理的挑战和创业的必要性。
  • 前沿人工智能基础设施的构建与开源生态的商业化探索 硅谷101
    文章探讨了从学术研究到行业实践的跨越，重点介绍了推理引擎、大模型基础设施（LLM Infra）的发展愿景。核心内容包括对高强度驱动力、形式化验证在AI领域的应用、社区项目孵化以及构建与强力AI共存未来的哲学思考。
  • “榨”出硅的极限：AI Infra的效率革命与GPU算力优化 硅谷101
    随着大模型竞争从训练走向推理部署，AI基础设施（AI Infra）已成为决定模型能否更便宜、更快运行的胜负手。本文围绕大模型推理引擎SGLang、vLLM以及后训练框架Miles的最新实践，深度剖析了AI基础设施的四层架构，系统性解析了KV Cache复用、连续批处理、动静分离、投机采样以及推训一体化等核心优化路径，揭示了如何通过软件与调度层“榨”出硅的极限，从而改变未来AGI的算力生态与竞争格局。
  • vLLM x TileRT：两个目标相反的推理引擎，为什么开始共用一套服务 yage.ai
    文章探讨了 vLLM 和 TileRT 这两个目标相反的推理引擎如何通过解耦集成，实现分工协作。核心思想是推理服务正从“单引擎综合最优”转向“专用执行路径的特化与编排”，即保留各自擅长的优化（如高吞吐和低延迟），并通过控制面进行请求的分段和流转，以适应实时交互、长上下文等复杂需求。
  • 如何在 Mac 上本地运行 DeepSeek V4 Flash：DS4 引擎深度解读 yage.ai
    文章介绍了通过 DwarfStar 4 (ds4) 引擎在 Mac 上本地高效运行 DeepSeek V4 Flash 的方案。该引擎通过垂直架构优化、KV cache 磁盘持久化和精准的工具调用原话回放，解决了大模型在消费级硬件上的部署难题，并兼容主流 coding agent 工作流。