标签：sparse-attention
-
更快的模型真的更快吗？从完整工作流视角评估大模型效率与隐性成本
AI Engineer
MiniMax 研发团队探讨了更快的 AI 模型在实际业务落地中的隐性成本。针对金融研报等长上下文、严谨推理任务，单纯追求吞吐量或首字延迟并不等于提效；模型在稀疏注意力、KV 缓存与专家量化（MoE 4-bit）、推测解码及不同推理预算（Thinking Budget）下的优化，必须回归到端到端业务交付质量、人工修正成本与系统并发延迟的全局检验。 -
MiniMax M3 架构解密：稀疏注意力机制与原生多模态端到端训练
AI Engineer
MiniMax 强化学习研究员 Olive 深入剖析了开源前沿模型 MiniMax M3 的技术实现。重点详解了软硬件协同设计的稀疏注意力机制 MSA 如何在 GQA 下实现 100 万超长上下文的高效扩展，并分享了从零开始原生预训练多模态模型以避免文本能力受损的探索历程与 3D ViT 设计实践。 -
MiniMax与百万上下文Agent：原生多模态与稀疏注意力架构解析
AI Engineer
Hugging Face联合创始人Thomas Wolf对话MiniMax研究员Olive Song，深度拆解MiniMax开源模型M3的技术内核。对话深入探讨了100万至千万级超长上下文在复杂多轮Agent交互中的必要性、MSA稀疏注意力机制的架构设计与算力优化、从预训练初始阶段即引入图像与视频的原生多模态训练方法，以及内部自研Research Harness推动AI自我迭代的工程实践。 -
LongCat-2.0 深度解读：一个用国产芯片训练的万亿参数模型，到底做了什么 · 乔木博客
向阳乔木
本文深度解读了 LongCat-2.0 模型，该模型利用国产芯片训练了一个万亿参数的混合专家模型（MoE），并实现了高效的稀疏注意力机制、N-gram Embedding 以及复杂的并行计算策略。文章详细阐述了在受限硬件环境下的显存优化、超节点通信以及后训练中的多专家融合架构，展示了一套完整的工程体系在国产算力上的可行性。 -
GPT-5、Claude和Gemini的训练与服务：Reiner Pope深度解析
Dwarkesh Patel
Reiner Pope深入探讨了大型语言模型（LLM）的训练和推理架构，包括批处理大小对延迟和成本的影响、稀疏专家混合模型、GPU机架内外的通信模式、流水线并行化以及内存容量与带宽的权衡。他解释了API定价如何反映底层硬件成本，并讨论了神经网络与密码学在架构上的相似与不同。 -
\"GLM-5：智谱AI开源巨献，重塑大模型技术格局\"
Best Partners TV
\"本文深度解析智谱AI最新发布的开源大模型GLM-5。GLM-5在a16z的评估中被列为最佳开源模型，其技术报告揭示了多项创新，包括DSA稀疏注意力、完全异步的Agent RL训练框架及Slime RL基础设施。模型在混合专家架构、大规模数据训练及后训练流程上均有显著提升，使其在性能上逼近顶尖闭源模型，并推动了整个开源大模型生态的进步。\"