标签：quantization

• 更快的模型真的更快吗？从完整工作流视角评估大模型效率与隐性成本 AI Engineer 2026-10-21
  MiniMax 研发团队探讨了更快的 AI 模型在实际业务落地中的隐性成本。针对金融研报等长上下文、严谨推理任务，单纯追求吞吐量或首字延迟并不等于提效；模型在稀疏注意力、KV 缓存与专家量化（MoE 4-bit）、推测解码及不同推理预算（Thinking Budget）下的优化，必须回归到端到端业务交付质量、人工修正成本与系统并发延迟的全局检验。
• 推理工程前沿：从 TurboQuant、KV 压缩到扩散推测解码与系统演进 AI Engineer 2026-09-19
  Baseten 的 Philip Kiely 梳理了自《Inference Engineering》出版以来的最新推理工程进展。内容深入探讨了 TurboQuant 在数据中心与本地部署中的工程权衡、基于训练摊销的 KV 压缩机制（STILL）、从 Eagle-3 演进至 DFlash/DSpark 的扩散推测解码架构，以及面向未来硬件（如 Rubin 架构 NVFP4）与 PD 分离的系统级优化趋势。
• 大语言模型推理技术工作坊：从第一性原理到生产级部署与选型 AI Engineer 2026-09-08
  本次工作坊旨在帮助初级和中级工程师深入理解大语言模型推理的底层机制、核心痛点（如成本、显存、延迟）以及模型优化和推理服务架构的优化策略。内容涵盖模型量化、注意力机制演进（MQA/GQA/MLA）、主流推理引擎（vLLM, SGLang, TensorRT-LLM）的选型决策，并探讨了KV Cache管理和分布式推理等进阶方向。
• 8 路并发每路仍有 141 tok/s：2×5090 跑 27B 小模型，为什么它已经是 sweet spot yage.ai 2026-08-24
  文章探讨了在本地自托管 27B 小模型时，如何通过优化硬件配置（如 2×5090）和推理引擎（如 SGLang DFlash2）来达到性能甜蜜点（sweet spot）。核心论点在于，自托管的价值不在于单纯的成本节约，而在于对数据合规性、隐私控制和推理栈的完全掌控。文章通过详细的并发压测数据，论证了在特定负载下，消费级硬件可以提供充裕的解码吞吐，并对比了自建与云端租赁的经济决策变量，强调了使用率对成本效益的决定性影响。
• 端侧智能重构：从 Gemma 2B 极致压缩到百M级极小模型的微调实战 AI Engineer 2026-07-25
  谷歌端侧 AI 团队技术主管 Cormac Brick 深度解析了端侧大模型的最新技术进展。文章对比了 1-4B 小模型与 50M-500M 极小模型的适用场景，探讨了 2.9-bit 混合量化等内存压缩技术，分享了树莓派、Jetson Nano 和高通等硬件的端侧跑分，并给出了通过合成数据微调极小模型以实现高精度端侧语音函数调用的完整实操指南。
• 腾讯混元 Hy3 的 1-bit 量化：单卡能装下，离好用还有多远 yage.ai 2026-07-16
  文章介绍了腾讯混元发布的 Hy3 模型及其量化版本（如 IQ1_M），重点分析了模型压缩（如 1-bit 量化）对显存占用、运行可靠性以及生成速度的影响。核心观点是，虽然量化能显著减少权重文件大小并适应有限的硬件，但它也带来了上下文长度缩短和复杂任务可靠性可能下降的风险，最终建议用户根据实际工作流进行 A/B 测试。
• AI算力革命：硬件如何驱动深度学习的爆发 Best Partners TV 2026-03-12
  本文深入剖析AI算力爆炸背后的硬件创新，揭示其非源于摩尔定律，而是架构演进的功劳。涵盖数字表示、指令集、稀疏性、系统扩展，并预警Agent推理瓶颈，展望对数表示等未来方向，强调能耗与可编程性。