标签：kv-cache
-
利用推理引擎的 KV Cache 检测 AI Agent 安全攻击与异常
AI Engineer
Intrinsic AI 创始人 Ari Azarfar 提出将推理引擎中的 KV Cache 作为安全信号，用于补充传统边界防护。通过建立正常推理流量的基线来检测异常页面，不仅能覆盖边界护栏盲区、保护数据隐私，还可定位具体异常位置并用于威胁发现，但在生产落地中仍面临多模型表征不一致与大规模对象传输等挑战。 -
DeepSeek 開源推理框架 DeepInf 與 DeepSeek-Recipe 解析
Best Partners TV
介紹 DeepSeek 開源的推理框架 DeepInf、編碼組件 DeepSeek-Recipe 以及搜尋與取得工具。內容涵蓋 PD 分離架構、KV 快取與 3FS 儲存機制、投機解碼、零開銷批次調度、硬體支援與商業邏輯分析。 -
投机解码实战指南：LLM推理加速原理、权衡与工作负载评估
AI Engineer
来自Akamai的技术布道师深入剖析了投机解码（Speculative Decoding）的技术机制。通过小模型草稿预测与大模型单次并行验证，该技术能显著降低生成延迟，但在高并发、长上下文或高发散性创意场景下收益有限。文章结合vLLM与Blackwell GPU实测，明确了适合开启投机解码的系统边界与选型法则。 -
深入解构大模型推理引擎：从连续批处理到 KV Cache 显存架构
AI Engineer
Modal 工程师 Charles Frye 深入拆解大模型推理引擎的核心机制与系统架构。演讲详尽分析了从基础 API 调用到自建 vLLM、SGLang 等引擎的演进动因，剖析了 Prefill 与 Decode 阶段的显存及算力瓶颈，并系统探讨了连续批处理、KV Cache 内存管理（PagedAttention/RadixAttention）、Token 编解码开销及异构后端优化的实战工程落地。 -
推理工程前沿：从 TurboQuant、KV 压缩到扩散推测解码与系统演进
AI Engineer
Baseten 的 Philip Kiely 梳理了自《Inference Engineering》出版以来的最新推理工程进展。内容深入探讨了 TurboQuant 在数据中心与本地部署中的工程权衡、基于训练摊销的 KV 压缩机制（STILL）、从 Eagle-3 演进至 DFlash/DSpark 的扩散推测解码架构，以及面向未来硬件（如 Rubin 架构 NVFP4）与 PD 分离的系统级优化趋势。 -
面向 Agent 时代的推理云重构：从单次请求延迟到端到端任务吞吐
AI Engineer
FriendliAI 创始人 Byung-Gon Chun 剖析了 Agent 工作负载对推理架构的颠覆性变革。随着前沿开源模型性价比超越闭源模型，Agent 推理的核心矛盾转向长上下文、交替工具调用及超长任务链路。FriendliAI 通过前缀缓存、KV 缓存分层管理、缓存感知路由及 Agent 级调度四大支柱，实现端到端任务延迟与成本的大幅优化。 -
AI内存全景图谱：从系统架构G0-G4到硬件介质创新的深度演进
Best Partners TV
本文基于伯恩斯坦最新AI内存研究报告，全面解构了AI训练、推理解码及智能体场景下的内存瓶颈。通过系统架构（G0-G4）与硬件介质（SRAM/DRAM/NAND）两大维度，深入梳理了HBM、CXL、Storage Next、CMX、PIM等前沿技术演进路径。 -
Grok Bot 泄露：为什么 agent 的 system prompt
必须冻结
yage.ai
文章深入探讨了 Grok Bot 源码泄露后，在 Agent 系统设计中如何管理 system prompt 的稳定性与动态性。核心思想是，将 system prompt 视为需要显式管理失效边界的工程对象，并提出了‘稳定’（冻结到 compaction 边界）、‘追加’（append-only 序列化）、‘外置’（超过 12KB 的内容写到文件系统）等六条纪律，以平衡模型性能、运行成本和上下文容量。 -
Grok Bot 泄露：Cursor
为什么只给模型一部分工具的完整定义
yage.ai
文章深入分析了 Grok Bot 源码泄露后，Cursor 如何设计其动态工具加载机制，并探讨了将工具定义放在 context 层还是 tools 数组层对模型性能和成本的影响。核心观点是，将动态性推到 context 层（通过一行 hint 形式存在）可以保持工具面稳定，同时实现按需加载，这与 Manus 的静态全量加载策略在底层约束上是相通的。 -
Kimi K3
报告解读：当规模从一个旋钮变成一组受约束的生产要素
yage.ai
Kimi K3 模型展示了如何通过精妙的工程权衡，将 Scaling Law 从单一参数膨胀转变为受显存、带宽和延迟等物理约束的一组生产要素。文章详细拆解了模型在序列架构（混合注意力机制）、网络深度（Block AttnRes）和专家并行（LatentMoE）上的具体工程优化，并提出了训练信号生成与推理扩展的解决方案，为前沿大模型的系统工程实践提供了范例。 -
如何在 Mac 上本地运行 DeepSeek V4 Flash：DS4
引擎深度解读
yage.ai
文章介绍了通过 DwarfStar 4 (ds4) 引擎在 Mac 上本地高效运行 DeepSeek V4 Flash 的方案。该引擎通过垂直架构优化、KV cache 磁盘持久化和精准的工具调用原话回放，解决了大模型在消费级硬件上的部署难题，并兼容主流 coding agent 工作流。 -
GPT-5、Claude和Gemini的训练与服务：Reiner Pope深度解析
Dwarkesh Patel
Reiner Pope深入探讨了大型语言模型（LLM）的训练和推理架构，包括批处理大小对延迟和成本的影响、稀疏专家混合模型、GPU机架内外的通信模式、流水线并行化以及内存容量与带宽的权衡。他解释了API定价如何反映底层硬件成本，并讨论了神经网络与密码学在架构上的相似与不同。 -
TurboQuant乌龙：谷歌算法引发内存股暴跌，市场FOMO情绪下的迷局
Best Partners TV
谷歌研究院发布的TurboQuant算法博客引发全球内存芯片巨头股价暴跌。该算法仅优化AI大模型推理阶段的KV Cache，而非AI内存的整体需求。市场因FOMO情绪和对美光科技资本支出的担忧，将此局部软件优化误读为AI内存需求见顶，导致非理性抛售。本文解析TurboQuant的真实技术价值、AI内存需求的底层逻辑，以及市场情绪如何扭曲了技术解读，揭示了AI技术发展与资本市场理解之间的错位。 -
深度解码 KV Cache：大模型生成加速的底层逻辑与优化实务
Hung-yi Lee
本文深入探讨了大语言模型生成过程中的核心优化技术——KV Cache。从 Prefill 与 Decode 阶段的差异入手，解析了 KV Cache 如何通过存储键值对来消除重复计算。针对显存压力，文章详细对比了 MQA、GQA 及 DeepSeek 首创的 MLA 等架构级优化方案，并介绍了 Streaming LLM 与剪枝等前沿技术。最后，结合 OpenAI 的计费模型，为 AI Agent 的 Prompt 设计提供了极具价值的成本优化建议。 -
NVIDIA 的推理炼金术：从创业魂到数据中心级的 Dynamo 推理引擎
Latent Space
本次访谈深入探讨了 NVIDIA 内部如何保持“4万人的创业公司”活力。重点解析了数据中心级推理引擎 Dynamo 的架构设计，详细讨论了推理优化的核心三轴（成本、质量、延迟）、预填充与解码解耦技术、长上下文的硬件协同设计，以及 AI Agent 在生产环境中的安全边界与 CLI 交互的复兴。