标签：long-context
-
MiniMax M3 架构解密：稀疏注意力机制与原生多模态端到端训练
AI Engineer
MiniMax 强化学习研究员 Olive 深入剖析了开源前沿模型 MiniMax M3 的技术实现。重点详解了软硬件协同设计的稀疏注意力机制 MSA 如何在 GQA 下实现 100 万超长上下文的高效扩展，并分享了从零开始原生预训练多模态模型以避免文本能力受损的探索历程与 3D ViT 设计实践。 -
MiniMax与百万上下文Agent：原生多模态与稀疏注意力架构解析
AI Engineer
Hugging Face联合创始人Thomas Wolf对话MiniMax研究员Olive Song，深度拆解MiniMax开源模型M3的技术内核。对话深入探讨了100万至千万级超长上下文在复杂多轮Agent交互中的必要性、MSA稀疏注意力机制的架构设计与算力优化、从预训练初始阶段即引入图像与视频的原生多模态训练方法，以及内部自研Research Harness推动AI自我迭代的工程实践。 -
GPT-6 Astra：OpenAI宣布进入AGI时代
Best Partners TV
OpenAI正式发布新一代前沿模型GPT-6 Astra，标志着AI能力形态从单纯文本推理跑分转向直接接管计算机界面的实际行动。Astra在计算机操作、长任务处理、编码、科学研究以及关键级网络安全测试中取得重大突破，虽然Token单价提高，但凭借更少的Token消耗和自主长程执行力重塑了任务成本逻辑，推动人机协作模式迈向AGI时代。 -
近处保真、远处有损：三种长上下文方法背后的同一个直觉
yage.ai
文章探讨了在处理长上下文（如超长代码、财务文档）时，模型推理中面临的显存和算力瓶颈，并提出了三种技术路径：坐标层（如YaRN改造位置编码）、信息通路层（如DeepSeek V4的混合注意力架构）、输入表示层（如DeepSeek-OCR的光学压缩）。这三种方法都基于一个核心直觉：计算资源有限，应将最高精度保留给近处（焦点），而对远处（背景）信息进行有损压缩。文章还讨论了在压缩和选择之后如何解决位置感混乱的问题，提出了双轨独立标尺、文档级坐标重置和架构自带位置感知等新解法，指出位置感知能力正从外部坐标微调转向模型内部机制。 -
从扩展规律到智能蜂群：拆解月之暗面 Kimi K3 领跑开源大模型的底层逻辑
Best Partners TV
本文深度回顾了英伟达 GTC 大会上杨植麟关于 Kimi 扩展方法论的演讲，系统剖析了月之暗面在提升 Token 效率、扩展超长上下文、构建智能体蜂群以及多模态早期融合和分块注意力残差架构等维度的前沿工程探索，揭示了 Kimi K3 取得突破的底层技术路径。 -
LongCat-2.0 深度解读：一个用国产芯片训练的万亿参数模型，到底做了什么 · 乔木博客
向阳乔木
本文深度解读了 LongCat-2.0 模型，该模型利用国产芯片训练了一个万亿参数的混合专家模型（MoE），并实现了高效的稀疏注意力机制、N-gram Embedding 以及复杂的并行计算策略。文章详细阐述了在受限硬件环境下的显存优化、超节点通信以及后训练中的多专家融合架构，展示了一套完整的工程体系在国产算力上的可行性。 -
对话Transformer缔造者Lukasz Kaiser：大模型底层架构与AI科研变革
Best Partners TV
最佳拍档大飞分享了Transformer核心作者Lukasz Kaiser的深度访谈。Kaiser指出当前Transformer架构存在底层短板，大模型以“外星人逻辑”泛化。他探讨了长上下文处理的最优解、大小模型路线之争以及AI Agent对科研范式的颠覆性改变，并对AI安全表达了审慎中立的态度。 -
深入浅出 DeepSeek V4：围绕 Agentic 负载的工程决策
yage.ai
文章深入探讨了 DeepSeek V4 模型在处理 Agentic 工作负载时所做的工程决策。它回顾了 V2/V3 在成本优化和 V4 在长推理上的贡献，重点分析了 V4 如何通过混合注意力机制（HCA/CSA）、On-Policy Distillation（OPD）以及 Muon 优化器和 mHC 稳定训练等工程实践，来解决长上下文保留、多能力模型合并以及复杂系统训练的挑战。文章强调 V4 是一个务实的工程系统，展示了当前大模型竞争已转向工程整合能力。 -
DeepSeek-V4预览版技术深度解析：百万上下文、效率革新与Agent能力飞跃
Best Partners TV
DeepSeek发布V4预览版，包含Pro和Flash两款模型，原生支持100万token上下文。其核心使命是重构超长上下文计算效率，为下一代大模型范式奠定基础。报告深入解读了其三大核心架构革新（混合注意力、流形约束超连接、Muon优化器）、全栈工程优化及“分化再统一”的后训练范式。DeepSeek V4在多项评测中表现卓越，尤其在长上下文和Agent能力上实现突破，同时坦诚未来迭代方向。 -
GPT-5.4 深度解读：从对话工具到全能数字员工的跨越式进化
Best Partners TV
OpenAI 发布 GPT-5.4 系列模型，核心升级包括原生计算机使用能力、一百万上下文窗口及卓越的科学推理表现。模型在知识工作、编码及专业文档处理上大幅超越前代。虽然 API 定价上涨且存在长上下文衰减，但其作为数字员工接管生产力的趋势已不可逆转，正引发白领行业的结构性变革。 -
AI 前沿对话：从 Gemini 3、深度推理到 Flash 模型的蒸馏演进 —— 专访 Jeff Dean
Latent Space
Google 首席 AI 科学家 Jeff Dean 深度解析了 Gemini 系列模型的研发策略，重点探讨了模型蒸馏、长上下文处理、软硬件协同设计（TPU）以及 AI 在编码代理方面的未来演进。他强调了低延迟对 AI 交互的重要性，并预测了 10,000 token/秒级别的超高速推理将彻底改变 AI 辅助思考与编程的范式。 -
Engram架构：DeepSeek突破Transformer性能瓶颈的新方案
Best Partners TV
DeepSeek发布Engram架构论文，提出一种全新的条件记忆机制，旨在提升MoE模型处理语言信息效率。Engram通过解耦计算与存储，实现更低的成本和更优的性能，并为模型提供了可预测的Scaling手段，有望成为下一代稀疏模型的重要组成部分。 -
滑动窗口递归：重塑长文本序列建模的新范式
Best Partners TV
本文介绍了Yoshua Bengio团队提出的滑动窗口递归（SWR）框架及其Phalanx层，旨在解决Transformer模型处理超长序列时速度慢、内存占用高的瓶颈。SWR通过分层分解和硬件对齐，实现了O(n)的计算复杂度，并引入载体系统和低秩分解来优化跨窗口通信。Phalanx层作为即插即用模块，能显著提升现有模型的推理速度和效率，同时保持性能一致性，为混合架构在序列建模领域开辟了新方向。