--- author: 课代表立正 date: '2026-03-04' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=Uh0F_suae5Q speaker: 课代表立正 tags: - large-language-model - pre-training - scaling-law - distributed-training - information-gain title: 对话 Amazon AGI 专家：大模型训练的深水区，从算力基建、数据洗练到 AI 自进化的终局 summary: 本访谈由 Amazon AGI 高级经理查晟深度拆解大模型预训练的核心技术栈。内容涵盖 Scaling Laws 的实操坑点、科研中“最大化信息增益”的方法论、算力集群在 backward 阶段的电力冲击挑战，以及行业内 Benchmark 泄露与刷分的现状。查晟进一步预测了 AI 将从“答题”转向自主“出题”的自进化阶段，并探讨了智能商品化后对人类职业路径与宏观经济的深远影响。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: - 查晟 - 李沐 - Alex Smola - Elon Musk companies_orgs: - Amazon - DeepSeek - NVIDIA - Google - AWS - OpenAI products_models: - Humanity's Last Exam - CUDA - Triton media_books: [] status: evergreen --- ### 大模型训练的经验科学与方法论 **[课代表]**: 查晟现在是在 **Amazon AGI** 担任 **Senior Manager**。你之前是在 **Alex Smola** 的组做深度学习框架，后来参与了亚马逊第一批大模型的开发，始终偏向 **Pre-training**。你跟**李沐**共事过，也深度参与了亚马逊现有的 Frontier 模型训练。 现在大家说 DeepSeek 用 1% 的成本就能训出好东西，中国有很多好模型，但亚马逊、微软、Meta 拥有海量资源却似乎很难搞。训练模型到底是怎么回事？为什么看起来又难又不难？ **查晟**: 现在大模型的训练，基本上用 **Next-token Prediction** 的方式去给模型压缩信息。要做好这件事，环节非常多，每个环节都得搞对。 首先是**实验方法论**。它是一个**经验科学**，基础的东西必须做对。比如训练数据不应该泄露 **Benchmark** 的信息。其次是预训练过程，因为成本很大，大家现在的做法是利用好 **Scaling Laws**。通过在小规模上做实验，预测大规模时的效果，这样能大大节省迭代成本。 **[课代表]**: 理解 Scaling Laws 就是对那个数据量与表现的曲线有好的拟合，从更小的数据量判断变大后的效果，是吗？ **查晟**: 基本上是这个意思。Scaling Laws 是一个经验率，目前并没有理论基础。各家的做法会因为 **Design Space** 特别大而产生分歧。虽然概念简单，但在 Scale up 过程中非常容易踩坑。 比如模型在某个规模下突然不 Scale 了，掉出了曲线（Fall off scaling laws）。很多实验室都得踩过一遍这个坑，才能知道在小规模实验时，除了 **Loss** 之外还要看哪些变量趋势。这需要很多 **Discipline**（纪律性）。 另外，过去的 Research 有个不好的趋势是 **Over-generalize**。有人在某个 Setting 下试了一个 Idea 不行，就说这个 Idea 不 Work。其实要提高 **Research Taste**，消化论文时重点不是看结论，而是看实验 Setting 到底适不适合你关心的场景。 ### 实验设计中的“信息增益”：为什么要敢于试错 **[课代表]**: 你上次提到一个观点：团队要 **Optimize for Information Gain**（优化信息增益）。去做那些高失败率、但能最有效得到信息的东西。为什么这反而更容易成功？ **查晟**: 因为成功率太高或太低的东西，你已经有了很强的 **Prior**（先验知识），这只是在 Confirm 你的直觉，是 **Incremental**（增量式）的。 如果成功率正好是一半一半，说明你对这个方向了解较少。不管结果是成功还是失败，你都会获取非常有用的信息，试错迭代的速度会快得多。在不熟悉的方向上面挖掘，能很快 Cover 一个更大的空间。 ### 算力基建的挑战：当超算级需求撞上云厂商架构 **[课代表]**: 这种规模的训练需要哪些团队配合？ **查晟**: 首先 **Infra（基础设施）** 团队得靠谱。规模大了会有意想不到的 Bug。比如我们现在的 **Synchronous Optimization**，在 **Backward**（反向传播）时大量计算同时发生，所有 GPU 同时开始算梯度，会导致 **Compute Surge**。 这时候所有 GPU 同时从数据中心抽电。如果 **Data Center Design** 的 **Buffer** 不够大，电量不足，Node 就会突然 Crash。甚至 GPU 在 Peak 阶段抽的电会超过它标定的功耗。 此外，规模上去后，GPU 会坏，Memory Bank 会出问题，还会有 **Silent Data Corruption**（静默数据损坏），没有报错但给了错误的数字。这都对 Compute 质量提出了极高要求。 **[课代表]**: 搞数据中心不是亚马逊的强项吗？毕竟有 **AWS** 多年的积累。 **查晟**: 云厂商也有学习过程。云服务倾向于规模化零售计算，而大模型训练的性质更接近**超算**，这是非常独特的 **Workload** 场景。 在分布式训练中，为了让 GPU 保持 Busy，要尽量减少访存。常用方式是**算子融合（Operator Fusion）**。比如算完矩阵乘法（Matrix Multiplication）后直接接一个激活函数（Activation Function），省去中间写回再读出的过程。做这件事的人需要既懂模型，又懂硬件和网络，这样的人非常少。 ### 团队管理与人才密度：大厂病与小精尖团队 **[课代表]**: 听说像 DeepSeek 这种公司，模型和数据团队合作很紧密。传统大厂如果不解决这些业务问题，很难凑齐这样的人？ **查晟**: 大模型要出来，所有方面都必须做对。大厂的问题是东西分给不同的 Director，每个人都有自己的团队和小文化。如果 **Talent Density**（人才密度）不够，就没法把一个重要方向完全做对。 小而精的团队没有交流的 **Overhead**，也没有 **Scope Politics**。哪怕大家都是好意，但人才密度不够时，是没法避免互相拆台或拖后腿的。更可怕的是 **Google** 模式，他们团队大但文化非常 **Technical**，人才密度够，所以不但 Catch up 快，迭代也极快。 ### 数据洗练的艺术：从“微波炉群组”到合成数据 **[课代表]**: 数据这一块需要什么样的人？ **查晟**: 需要好的常识和 **Taste**。比如 **AI2** 讲过一个例子，Reddit 上有个 **Microwave Gang** 的版块，里面全是模拟微波炉声音的文本（MMM...ding!）。这种文本跟其他 Domain 完全不同，会导致 **Loss 爆炸**。 网上还有很多为了 **SEO** 存在的垃圾文本，这些都得过滤掉。对于 **Trillion** 级别的文本，虽然没法人工看，但搜索技术已经很成熟了，可以用 **Scalable** 的工具去做。 **[课代表]**: 现在很多人用 **Language Model** 去洗数据，甚至用合成数据（Synthetic Data）。这种“左脚踩右脚”有意义吗？ **查晟**: 生成文本比理解文本更难。如果模型生成的不好，但它能识别出不好并过滤掉，那依然能提升数据质量。这就像“猴子打字机”，信息空间已经在那了，找比生成简单，这种 **Asymmetry**（不对称性）是有意义的。 现在还有 **Self-distillation**（自蒸馏）和利用 **Reward** 信号让模型自我调和的工作，有点像女生给男生设置测试看他能不能“开悟”。 ### 评价体系的陷阱：Benchmark 泄露与刷分真相 **[课代表]**: **Evaluation**（评估）似乎是所有环节中最重要的？ **查晟**: 是的。如果你把 Evaluation 搞错，决策就会错。很多人觉得预训练就是为了让模型记住知识，哪怕有 **Leakage**（数据泄露）也没关系。 但如果数据泄露，优化出来的模型会更偏向于 **Memorize**（记忆）。Benchmark 被 **Overfit**（过拟合）后，就没法指示模型的真实能力，你也不知道 **Compression**（压缩）发生得怎么样。 现在很多数据厂商会猜测你会测哪些 Benchmark，然后把数据 **Paraphrase**（改写）进去，虽然不是 Exact Match 但有 Leakage。所以每个公司都必须有一份自己的 **Secret Evaluation Benchmark**，永远不能公开。 **[课代表]**: 现在的 Benchmark 还能信吗？ **查晟**: 很多已经成了 **Marketing** 工具。比如 **Humanity's Last Exam**，它数据本身的错误率可能就有 40% 多，如果你刷出 70 分，那肯定说明模型见过错误答案。老师改卷子时发现错得都一样，那肯定是抄了。 这本质是 **KPI** 衡量与 **Science** 精神的 PK。如果你试图用偷懒的方式、用 Quantifiable 的指标去管理科研团队，反而会损害科研精神。 ### 预训练团队的激励机制：以算力换精度 **[课代表]**: 你在过去工作中有什么领悟？你是怎么设计团队 **Incentive**（激励）的？ **查晟**: 我们团队秉持做好 Science。在有了干净数据后，我们会利用小规模实验降低成本。每个季度，我们会申请一批大规模算力（比如 10^23 次 FLOPs 以上），进行一次 **Scale up** 的实战演练。 我们用 **Cost-to-accuracy bar** 来衡量进度：训练到同样的精度，相比上个季度节约了多少算力。 这种打包衡量的好处是，不同方向（比如理论、优化器、数据）得到的 Gain 周期不同。有些工作（如初始化方法）可能不直接反映出 Gain，但它 **Enable 了 Everything else**。如果拆开考核，就很难公平。 ### NVIDIA 的护城河：不只是显卡，更是生态标准 **[课代表]**: 你觉得 **NVIDIA** 有明显的竞争对手吗？ **查晟**: 硬件厂家有了硬件只完成了一小部分。中间从框架到 **Compiler**（编译器）再到硬件有很厚的一层。不同厂家为了保护 **Proprietary**（私有）的东西，指令集不开放，导致这一层很难有有效的 **Software Sharing**。 NVIDIA 非常勤奋，他们在搞 **Tile Language**，弥补 **Triton** 的 Feature gap，还用 **Agent** 去写自己的 Kernel。它的护城河不仅是硬件，更是一个行业标准。你要竞争的是一个标准，第 2 名到 100 名加起来也挺难搞定。 ### 技术的下一次跃迁：从“答题”到自主“出题” **[课代表]**: 接下来会有什么样的技术 **Disruption**（颠覆）？ **查晟**: 现在的模型改进瓶颈在人。要 Cover 新领域，需要人找 Intent，在 **Post-training** 找环境和 Reward，再写程序放回模型。 如果模型能自己找新的 **Environment** 和 **Reward Function**，学习就不再依赖于人。现在模型善于“答题”，但不善于“出题”。如果模型能自动化地出一些有灵性的题目，实现 **Self-improvement**，那进步速度可能再也不会有瓶颈感。 **[课代表]**: 这实现可能性有多大？ **查晟**: 我比较 Conservative，觉得五年之内有 70% 的概率解决。一旦解决，只要给 Context，它马上能学会只跟你相关的 Task。 ### 宏观趋势与职业终结：当智能成为大宗商品 **[课代表]**: 技术变革对人意味着什么？ **查晟**: 24、25 年开始，不仅是 **Entry level** 的工作难找，上面的 Job level 也会变少。这基本否定了工业革命以来定义的传统的 **Career** 路线。Career 本身可能就是个假的东西。 现在的难题是大家如何继续参与经济活动。美联储调利率看就业率，但如果资金流向 AI 产业，它不是劳动密集型的，资金流向不会反映在就业率上，工具就失灵了。 **[课代表]**: 这是 **Labor** 与 **Capital**（资本）的长期博弈，AI 加剧了这一点。 **查晟**: 是的。即便民众希望有政策确保人的福利，但在国际竞争压力下，大家不得不把资源投向提高生产力的方向。结果就是发了很多电，但电得给 AI 用，不能给人用。 ### 物理世界的界限：算法已准，但传感器还远 **[课代表]**: 如果带娃这种事变成了仿生机器人呢？ **查晟**: 我没那么看好机器人应用会那么快。算法可以解决，但 **Sensor**（传感器）和控制不是容易解决的。 在数字世界盖 1000 亿层的楼很容易，因为那是 **Scalable** 的。但在物理世界，我们对手部神经元这种敏感度的控制还差得远。我们可以合成钻石，但合成不了翡翠或蓝宝石，因为化学物稍复杂一点就不行。人类科技在原子的精确控制上还有一个很大的天花板。 **[课代表]**: 我觉得人类智能相比机器智能其实很小。如果解锁了自进化，人在它面前的智能会非常渺小。 **查晟**: 现在是不确定的时代，大家还是要践行**反脆弱**。现在是 Take risk 的时候，大家应该勇敢去尝试。