标签：gpu-optimization

• 为什么大模型推理都在做 PD 分离，而它又如何漏出了别人的代码 yage.ai 2026-11-01
  文章讨论了在大型模型推理中采用预填充（预填充）和解码分离（PD 分离）架构以提高流式输出速度的工程实践，以及这种架构在高性能下的工程风险。作者分析了预填充阶段主要消耗算力，解码阶段主要消耗显存带宽的特点，并探讨了在同款GPU上通过量化精度、显存页回收策略、以及跨机器RDMA传输等取舍来优化性能的方法。文章通过Cloudflare的跨租户数据泄露事件，详细分析了在这些优化策略的组合下，由于显存池大小不匹配和显存回收机制的缺陷，如何导致解码节点读取了预填充节点留下的旧数据，从而造成跨请求KV缓存泄露的漏洞。最终，文章指出安全边界往往存在于那些半途而废的异常退场路径上，并描述了修复该漏洞的机制，包括引入延迟槽位释放机制来确保数据安全。
• 10 万词元进、500 词元出：Modal 把 Kimi K2.6 编程代理推理调快的三步 yage.ai 2026-10-02
  Modal 针对 Kimi K2.6 在编程代理场景下的长输入短输出负载，通过投机解码、显存分层优化及负载感知路由，实现单用户速度 2.8 倍及集群吞吐 5.6 倍的提升，展示了针对特定硬件与模型的系统级推理优化路径。
• 借助自动研究（Auto-Research）实现模型推理 3 倍加速的实战路径 AI Engineer 2026-09-26
  Morph 的 Tejas Bhakta 分享了如何利用类似 Karpathy 的自动研究（auto-research）框架闭环优化 GPU 底层算子。通过人类提供高维架构假设、AI Agent 自动调优参数并严格防范'奖励黑客'（Reward Hacking），结合硬件底层微调，最终实现大模型端到端推理性能提升 3 倍。
• AI 参与科研的稳妥姿势：让 Claude 去优化科学软件本身 yage.ai 2026-09-24
  Anthropic利用Claude优化36个生物分子计算软件，通过重构GPU内核与代码逻辑，在保持精度前提下显著提升推理速度并降低显存占用。此举展示了AI在科研中通过工程优化而非直接科学裁决的务实路径，有效规避了科学幻觉风险，但需明确计算能力与科学预测有效性的边界。
• “榨”出硅的极限：AI Infra的效率革命与GPU算力优化 硅谷101 2026-07-31
  随着大模型竞争从训练走向推理部署，AI基础设施（AI Infra）已成为决定模型能否更便宜、更快运行的胜负手。本文围绕大模型推理引擎SGLang、vLLM以及后训练框架Miles的最新实践，深度剖析了AI基础设施的四层架构，系统性解析了KV Cache复用、连续批处理、动静分离、投机采样以及推训一体化等核心优化路径，揭示了如何通过软件与调度层“榨”出硅的极限，从而改变未来AGI的算力生态与竞争格局。
• 走向自动化科学研究：尤里卡机器与递归自我改进的未来 AI Engineer 2026-07-30
  本文探讨了由 Recursive AI 首席执行官 Richard Socher 提出的自动化 AI 研究愿景。文章阐述了技术演进的指数特征，分析了科学研究受限于人力带宽的现实瓶颈，并详细介绍了“尤里卡机器”的四大基石。同时，通过 NanoChat、NanoGPT 及 CUDA 内核优化等实证，展示了递归自我改进（RSI）如何驱动下一代技术革命。
• 加速大型语言模型：Flash Attention深度解析与GPU底层优化 Hung-yi Lee 2026-03-23
  本课程深入讲解了如何通过Flash Attention技术加速大型语言模型（LLM）的推理过程。核心在于优化GPU内存访问层级，减少HBM与SRAM之间的数据搬运次数。Flash Attention作为一种不改变计算结果、模型无关的即插即用技术，能显著提升Transformer架构的运行效率，尤其在处理长序列时效果更佳，避免了CUDA内存溢出问题。课程还通过实例代码对比了Flash Attention与传统方法的性能差异。
• 滑动窗口递归：重塑长文本序列建模的新范式 Best Partners TV 2026-01-06
  本文介绍了Yoshua Bengio团队提出的滑动窗口递归（SWR）框架及其Phalanx层，旨在解决Transformer模型处理超长序列时速度慢、内存占用高的瓶颈。SWR通过分层分解和硬件对齐，实现了O(n)的计算复杂度，并引入载体系统和低秩分解来优化跨窗口通信。Phalanx层作为即插即用模块，能显著提升现有模型的推理速度和效率，同时保持性能一致性，为混合架构在序列建模领域开辟了新方向。