大模型训练的经验科学与方法论

[课代表]: 查晟现在是在 Amazon AGI 担任 Senior Manager。你之前是在 Alex Smola 的组做深度学习框架，后来参与了亚马逊第一批大模型的开发，始终偏向 Pre-training。你跟李沐共事过，也深度参与了亚马逊现有的 Frontier 模型训练。

现在大家说 DeepSeek 用 1% 的成本就能训出好东西，中国有很多好模型，但亚马逊、微软、Meta 拥有海量资源却似乎很难搞。训练模型到底是怎么回事？为什么看起来又难又不难？

查晟: 现在大模型的训练，基本上用 Next-token Prediction 的方式去给模型压缩信息。要做好这件事，环节非常多，每个环节都得搞对。

首先是实验方法论。它是一个经验科学，基础的东西必须做对。比如训练数据不应该泄露 Benchmark 的信息。其次是预训练过程，因为成本很大，大家现在的做法是利用好 Scaling Laws。通过在小规模上做实验，预测大规模时的效果，这样能大大节省迭代成本。

[课代表]: 理解 Scaling Laws 就是对那个数据量与表现的曲线有好的拟合，从更小的数据量判断变大后的效果，是吗？

查晟: 基本上是这个意思。Scaling Laws 是一个经验率，目前并没有理论基础。各家的做法会因为 Design Space 特别大而产生分歧。虽然概念简单，但在 Scale up 过程中非常容易踩坑。

比如模型在某个规模下突然不 Scale 了，掉出了曲线（Fall off scaling laws）。很多实验室都得踩过一遍这个坑，才能知道在小规模实验时，除了 Loss 之外还要看哪些变量趋势。这需要很多 Discipline（纪律性）。

另外，过去的 Research 有个不好的趋势是 Over-generalize。有人在某个 Setting 下试了一个 Idea 不行，就说这个 Idea 不 Work。其实要提高 Research Taste，消化论文时重点不是看结论，而是看实验 Setting 到底适不适合你关心的场景。

实验设计中的“信息增益”：为什么要敢于试错

[课代表]: 你上次提到一个观点：团队要 Optimize for Information Gain（优化信息增益）。去做那些高失败率、但能最有效得到信息的东西。为什么这反而更容易成功？

查晟: 因为成功率太高或太低的东西，你已经有了很强的 Prior（先验知识），这只是在 Confirm 你的直觉，是 Incremental（增量式）的。

如果成功率正好是一半一半，说明你对这个方向了解较少。不管结果是成功还是失败，你都会获取非常有用的信息，试错迭代的速度会快得多。在不熟悉的方向上面挖掘，能很快 Cover 一个更大的空间。

算力基建的挑战：当超算级需求撞上云厂商架构

[课代表]: 这种规模的训练需要哪些团队配合？

查晟: 首先 Infra（基础设施） 团队得靠谱。规模大了会有意想不到的 Bug。比如我们现在的 Synchronous Optimization，在 Backward（反向传播）时大量计算同时发生，所有 GPU 同时开始算梯度，会导致 Compute Surge。

这时候所有 GPU 同时从数据中心抽电。如果 Data Center Design 的 Buffer 不够大，电量不足，Node 就会突然 Crash。甚至 GPU 在 Peak 阶段抽的电会超过它标定的功耗。

此外，规模上去后，GPU 会坏，Memory Bank 会出问题，还会有 Silent Data Corruption（静默数据损坏），没有报错但给了错误的数字。这都对 Compute 质量提出了极高要求。

[课代表]: 搞数据中心不是亚马逊的强项吗？毕竟有 AWS 多年的积累。

查晟: 云厂商也有学习过程。云服务倾向于规模化零售计算，而大模型训练的性质更接近超算，这是非常独特的 Workload 场景。

在分布式训练中，为了让 GPU 保持 Busy，要尽量减少访存。常用方式是算子融合（Operator Fusion）。比如算完矩阵乘法（Matrix Multiplication）后直接接一个激活函数（Activation Function），省去中间写回再读出的过程。做这件事的人需要既懂模型，又懂硬件和网络，这样的人非常少。

团队管理与人才密度：大厂病与小精尖团队

[课代表]: 听说像 DeepSeek 这种公司，模型和数据团队合作很紧密。传统大厂如果不解决这些业务问题，很难凑齐这样的人？

查晟: 大模型要出来，所有方面都必须做对。大厂的问题是东西分给不同的 Director，每个人都有自己的团队和小文化。如果 Talent Density（人才密度）不够，就没法把一个重要方向完全做对。

小而精的团队没有交流的 Overhead，也没有 Scope Politics。哪怕大家都是好意，但人才密度不够时，是没法避免互相拆台或拖后腿的。更可怕的是 Google 模式，他们团队大但文化非常 Technical，人才密度够，所以不但 Catch up 快，迭代也极快。

数据洗练的艺术：从“微波炉群组”到合成数据

[课代表]: 数据这一块需要什么样的人？

查晟: 需要好的常识和 Taste。比如 AI2 讲过一个例子，Reddit 上有个 Microwave Gang 的版块，里面全是模拟微波炉声音的文本（MMM...ding!）。这种文本跟其他 Domain 完全不同，会导致 Loss 爆炸。

网上还有很多为了 SEO 存在的垃圾文本，这些都得过滤掉。对于 Trillion 级别的文本，虽然没法人工看，但搜索技术已经很成熟了，可以用 Scalable 的工具去做。

[课代表]: 现在很多人用 Language Model 去洗数据，甚至用合成数据（Synthetic Data）。这种“左脚踩右脚”有意义吗？

查晟: 生成文本比理解文本更难。如果模型生成的不好，但它能识别出不好并过滤掉，那依然能提升数据质量。这就像“猴子打字机”，信息空间已经在那了，找比生成简单，这种 Asymmetry（不对称性）是有意义的。

现在还有 Self-distillation（自蒸馏）和利用 Reward 信号让模型自我调和的工作，有点像女生给男生设置测试看他能不能“开悟”。

评价体系的陷阱：Benchmark 泄露与刷分真相

[课代表]: Evaluation（评估）似乎是所有环节中最重要的？

查晟: 是的。如果你把 Evaluation 搞错，决策就会错。很多人觉得预训练就是为了让模型记住知识，哪怕有 Leakage（数据泄露）也没关系。

但如果数据泄露，优化出来的模型会更偏向于 Memorize（记忆）。Benchmark 被 Overfit（过拟合）后，就没法指示模型的真实能力，你也不知道 Compression（压缩）发生得怎么样。

现在很多数据厂商会猜测你会测哪些 Benchmark，然后把数据 Paraphrase（改写）进去，虽然不是 Exact Match 但有 Leakage。所以每个公司都必须有一份自己的 Secret Evaluation Benchmark，永远不能公开。

[课代表]: 现在的 Benchmark 还能信吗？

查晟: 很多已经成了 Marketing 工具。比如 Humanity's Last Exam，它数据本身的错误率可能就有 40% 多，如果你刷出 70 分，那肯定说明模型见过错误答案。老师改卷子时发现错得都一样，那肯定是抄了。

这本质是 KPI 衡量与 Science 精神的 PK。如果你试图用偷懒的方式、用 Quantifiable 的指标去管理科研团队，反而会损害科研精神。

预训练团队的激励机制：以算力换精度

[课代表]: 你在过去工作中有什么领悟？你是怎么设计团队 Incentive（激励）的？

查晟: 我们团队秉持做好 Science。在有了干净数据后，我们会利用小规模实验降低成本。每个季度，我们会申请一批大规模算力（比如 10^23 次 FLOPs 以上），进行一次 Scale up 的实战演练。

我们用 Cost-to-accuracy bar 来衡量进度：训练到同样的精度，相比上个季度节约了多少算力。

这种打包衡量的好处是，不同方向（比如理论、优化器、数据）得到的 Gain 周期不同。有些工作（如初始化方法）可能不直接反映出 Gain，但它 Enable 了 Everything else。如果拆开考核，就很难公平。

NVIDIA 的护城河：不只是显卡，更是生态标准

[课代表]: 你觉得 NVIDIA 有明显的竞争对手吗？

查晟: 硬件厂家有了硬件只完成了一小部分。中间从框架到 Compiler（编译器）再到硬件有很厚的一层。不同厂家为了保护 Proprietary（私有）的东西，指令集不开放，导致这一层很难有有效的 Software Sharing。

NVIDIA 非常勤奋，他们在搞 Tile Language，弥补 Triton 的 Feature gap，还用 Agent 去写自己的 Kernel。它的护城河不仅是硬件，更是一个行业标准。你要竞争的是一个标准，第 2 名到 100 名加起来也挺难搞定。

技术的下一次跃迁：从“答题”到自主“出题”

[课代表]: 接下来会有什么样的技术 Disruption（颠覆）？

查晟: 现在的模型改进瓶颈在人。要 Cover 新领域，需要人找 Intent，在 Post-training 找环境和 Reward，再写程序放回模型。

如果模型能自己找新的 Environment 和 Reward Function，学习就不再依赖于人。现在模型善于“答题”，但不善于“出题”。如果模型能自动化地出一些有灵性的题目，实现 Self-improvement，那进步速度可能再也不会有瓶颈感。

[课代表]: 这实现可能性有多大？

查晟: 我比较 Conservative，觉得五年之内有 70% 的概率解决。一旦解决，只要给 Context，它马上能学会只跟你相关的 Task。

宏观趋势与职业终结：当智能成为大宗商品

[课代表]: 技术变革对人意味着什么？

查晟: 24、25 年开始，不仅是 Entry level 的工作难找，上面的 Job level 也会变少。这基本否定了工业革命以来定义的传统的 Career 路线。Career 本身可能就是个假的东西。

现在的难题是大家如何继续参与经济活动。美联储调利率看就业率，但如果资金流向 AI 产业，它不是劳动密集型的，资金流向不会反映在就业率上，工具就失灵了。

[课代表]: 这是 Labor 与 Capital（资本）的长期博弈，AI 加剧了这一点。

查晟: 是的。即便民众希望有政策确保人的福利，但在国际竞争压力下，大家不得不把资源投向提高生产力的方向。结果就是发了很多电，但电得给 AI 用，不能给人用。

物理世界的界限：算法已准，但传感器还远

[课代表]: 如果带娃这种事变成了仿生机器人呢？

查晟: 我没那么看好机器人应用会那么快。算法可以解决，但 Sensor（传感器）和控制不是容易解决的。

在数字世界盖 1000 亿层的楼很容易，因为那是 Scalable 的。但在物理世界，我们对手部神经元这种敏感度的控制还差得远。我们可以合成钻石，但合成不了翡翠或蓝宝石，因为化学物稍复杂一点就不行。人类科技在原子的精确控制上还有一个很大的天花板。

[课代表]: 我觉得人类智能相比机器智能其实很小。如果解锁了自进化，人在它面前的智能会非常渺小。

查晟: 现在是不确定的时代，大家还是要践行反脆弱。现在是 Take risk 的时候，大家应该勇敢去尝试。