--- author: Best Partners TV date: '2026-08-25' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=EfTfAb0Y7WY speaker: Best Partners TV tags: - continuous-learning - reinforcement-learning - world-model - catastrophic-forgetting - sim-to-real title: 大语言模型并非终局：强化学习奠基人 Rich Sutton 谈持续学习与智能本质 summary: 本文整理自红杉资本对强化学习奠基人 Rich Sutton 及其学生的专访。Sutton 指出合成数据是巨大错误，强调智能的本质是与世界交互并持续学习。他介绍了解决灾难性遗忘的持续反向传播算法，以及新公司 Oak Lab 打造万亿参数、20瓦低功耗模型的宏大愿景。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: [] companies_orgs: - Oak Lab - Sequoia Capital products_models: - AlphaGo - AlphaZero media_books: [] status: evergreen --- ### 专访背景与萨顿的坚守 **大飞**: 大家好，这里是最佳拍档，我是大飞。几天前，图灵奖得主、强化学习奠基人 **Rich Sutton** 和自己的学生**库拉姆·贾韦德**（Khurram Javed）一起接受了**红杉资本**的专访，聊了将近一个小时，聊到了他对 AI 未来的判断、现在行业的问题、还有他新公司 **Oak Lab** 正在做的事情。他说我们现在走的路从根本上就错了，大语言模型顶多展现了四分之一的智能，依赖合成数据是一个巨大的错误，以及现在所有头部实验室都陷在一个局部最优解里出不来。今天这期视频，我们就顺着这次对话，来看看在萨顿眼中，AI 未来到底是什么样子。 时间回到 2003 年，那时候正是 AI 的寒冬，整个行业没人看好神经网络和强化学习。而那一年，萨顿还被确诊了癌症，一度濒临死亡，医生说他只剩几个月的寿命了。之后他和病魔抗争了好几年，病情居然又一次进入了缓解期。既然没死成，那就继续干活吧。于是他去了**阿尔伯塔大学**，在那里建立起了整个强化学习领域的学术重镇。主持人问他，为什么在只剩几个月寿命的时候，还要继续做研究呢？萨顿说他想起了**本杰明·富兰克林**说过的一句话：“如果你好奇某人为什么做某事，原因几乎总是逃不出两个，要么是习惯，要么是虚荣。”他觉得更多是出于习惯，因为做这件事已经做了太久了。就是这样一个从 AI 寒冬里走过来、差点被癌症夺走生命的人，在 2019 年写下了那篇影响整个行业的文章——《**苦涩的教训**》（The Bitter Lesson）。很多人现在把这篇文章当成 AI 领域的圣经，甚至衍生出了信奉“苦涩的教训”这样的梗。但是萨顿说，这篇文章其实是他几十年观察的总结，核心逻辑他已经讲了很多年。他最近甚至在 **X** 上发了一个帖子，试图用 26 个英文单词就把《苦涩的教训》讲清楚，大意是：不要像传统 AI 那样屡屡被人类的知识分散注意力，相反，要专注于能随计算力扩展的学习方法，比如搜索和学习。这完全是关于聚焦算法和改进。当然，他不是说不需要精妙的算法，而是你需要的是能够随算力扩展的精妙算法。 ### LLM 与苦涩的教训 **大飞**: 那现在大家最关心的问题来了，大语言模型到底符不符合《苦涩的教训》呢？萨顿的回答很有意思，他说大语言模型既是正面例子，也是反面例子。从正面看，它确实实现了计算力的巨大扩展，直接汲取整个互联网的数据进行大规模训练，这是一种可扩展的方法。但是反过来看，随着进一步发展，它最终会受到信息量的限制。互联网是有限的，你很难获取更多高质量的样本，而真实世界是广阔的，比我们存储在互联网上的所有内容都要庞大得多。所以归根结底，这恰好成了一个绝佳的例子，说明当我们将注意力过度放在人类已有的知识（也就是互联网上的数据）时，它最终会阻碍我们的发展。 ### 合成数据的巨大错误 **大飞**: 那现在行业里大家都在押注的**合成数据**呢？很多人说，合成数据能让我们超越互联网数据这个化石燃料，通过生成更多数据来继续扩展。萨顿听到这个问题，回答得非常干脆：“不，那是一个巨大的错误。”他说这也许就是下一个重大的教训。这个想法在阿尔伯塔大学已经流传了五到十年，他们称之为“**大世界视角**”（Large-World Perspective）或者“**大世界假说**”。库拉姆解释说，所谓大世界，就是指世界是无限广阔的，有无限多的事物需要学习。你可以让人类生成这些合成数据集，但总会有更多需要学习的东西。正因如此，如果你能直接从经验中学习，如果你能将人类从闭环中移除，那么你就拥有了能够做任何事情的系统，因为世界足够大。 回到合成数据的问题，谁来决定什么是好的合成数据，什么是坏的合成数据？你完全可以写一个程序输出大量的合成数据，但是这些数据可能反而会损害模型性能。现在是人类在做这个决定，这就是瓶颈所在。合成数据不是来自智能体的经验，也不是智能体自己生成的，必须由人类来决定生成什么样的合成数据才是正确的，而这需要人类的专业知识。它从根本上就受限于人类专家知识的边界。举个很具体的例子，如果你想要一架像蝙蝠一样可以通过回声定位飞行的无人机，什么样的合成数据才是合适的呢？你需要聘请领域专家，先弄清楚什么是正确的数据并且生成它，然后系统也许才能从中学习。但前提是，领域专家必须首先存在。如果我们想解决的问题是连人类专家都还没搞明白的呢？那合成数据这条路从一开始就走不通。 萨顿补充说，合成数据本身还有一个致命缺陷：它不够准确。它只是一个合成世界，而不是真实世界，而这至关重要。世界是极其复杂的，如果你写了一个小程序来生成合成数据（因为生成合成数据的只能是一个小程序），那它构建的将是一个非常狭隘的小世界。比如对他来说，此刻主持人脑海中的想法就很重要，他们在聊投资，他很在意对方脑子里在想什么，怎么可能获得关于这种事情的合成数据呢？说真的，你甚至无法获得关于任何真实事物的合成数据。你无法获得关于无人机将如何在物理世界中与环境交互的合成数据，也无法获得关于机器人电机摩擦和磨损的合成数据。世界无限复杂，任何模拟与之相比都如微观尘埃一般微不足道。大世界假说的核心就在于，世界比你的思想、比任何智能体都要复杂得多。这是显而易见的，因为世界中还包含着无数其他的智能体。正因为世界极其复杂，你不可能做到任何声称是最优或完美的事情，你注定是不完美的，你必须做出妥协与近似，而这些近似往往会带来严重的偏差。正因如此，这最终成了我们必须不断学习的根本原因。我们必须不断学习，因为我们会不断遭遇这个浩瀚世界的特定角落，我们必须学会一种专门针对我们所处环境而调整的近似策略，而非试图去涵盖我们未曾涉足的所有其他角落。 ### 仿真环境与自动驾驶 **大飞**: 主持人提到，现在很多自动驾驶公司主要是在仿真环境中训练，然后做后训练，确保能在现实世界运行，这已经被证明是有效的流程。库拉姆反问了一个很关键的问题：有多少工程师参与了构建那个仿真环境呢？我们是否准备好断言，唯一值得解决的问题就是那些我们能雇佣庞大工程师团队先去构建仿真环境的问题呢？他敢肯定，那些公司必须进行多次迭代，构建仿真环境，在其中学习，发现无法接受的仿真到现实的差距，然后再去修复它。这本质上是一个人在回路修复仿真的过程。他们从现实世界的人类那里获得反馈，然后修复仿真环境。那为什么我们不能直接去掉人类，让智能体自己来完成呢？而且当自动驾驶汽车真正上路行驶时，又会发生一些意想不到的事情，这正是需要从经验中学习的时候。库拉姆说，从仿真中学习当然有其价值，智能体应该从仿真器中学习，但必须是它们自己构建的仿真器。如果模型不正确，它可以通过持续学习来修正。如果是人类制作仿真器，那么模型只有在人类发现问题时才会更新，这太慢了。 ### 先验知识与持续学习 **大飞**: 聊到这里，话题自然转到了 **AlphaGo**。很多人把 AlphaGo 当成摒弃人类先验知识取得胜利的典范，毕竟 **AlphaZero** 完全不用人类棋谱就能打败所有的人类棋手。萨顿说这当然让他非常高兴，也印证了他的理念。但这并不是说，先验知识没有帮助。先验知识本身没有任何问题，他在《苦涩的教训》开篇就说过，先验知识和通过学习获得的知识之间，没有理由必须存在冲突。你可以引入一些先验知识，然后开始学习。原则上，没有理由将这两者对立起来。事实上，它们都与知识有关：生命即是获取与拥有知识，先验与学习本应成为挚友。但问题在于，在实践中它们却成了敌人。那些偏爱现有人类知识的人，最终都希望人类知识获胜，因此他们试图最小化或摒弃学习。 所以现在大家对萨顿的印象，肯定是一个热爱学习、想要摒弃先验知识的人。但他真正感兴趣的是心智，心智的本质是不断累积先验，而大语言模型在交互中的权重却永不改变。他最终看起来像是一个只关注学习的人，主要是因为世界上其他人都在说：你只需要足够的知识，不需要学习。比如大语言模型，大家想的都是要把所有这些知识都塞进系统里，而大语言模型在运行时是不会学习的。它在和人对话，它在交互，但它的权重绝对不会改变。萨顿说：“我并非异类。那些妄图从不再学习的系统中榨取博士级专业知识的人，才是真正脱离实际的人。” ### 限制与持续学习的定义 **大飞**: 那当前流行的、基于大语言模型的助手范式，它们到底是不是持续学习者呢？萨顿听到这个问题，第一反应是：“你认真的吗？这是显而易见的。”主持人反驳说，它们有记忆，它们会学习关于用户的记忆，它们在进行上下文学习。萨顿只说了一句话：“但它们的权重永远不会改变。”库拉姆随后补充说道，想想构建大语言模型时，涉及的所有新概念的结构化和生成过程，所有这些都属于权重学习，而你希望能够持续进行这个过程，不希望它只发生一次。现在唯一存在重大分歧的点在于，我们不允许模型在发布后继续学习。预训练想做多少就做多少，这没问题，后训练也没问题，但是，当用户真正使用模型时，它就停止学习了。你可以给它提供更多上下文，通过增加上下文来改变模型的状态，模型其实已经学会了如果状态不同、如果状态中出现了新信息，它就会利用这些信息来进行下一次预测，但模型本身并没有在学习。 有人会说，**Cursor** 的 Tab 自动补全模型，还有 Composer，它们确实会基于用户数据进行更新啊。库拉姆说，这确实是持续学习的两个例子，但这还可以做得更好。据他所知，他们的做法是：既然有很多人在使用 Tab 功能，他们就收集来自数千名用户的所有数据，然后利用这批批量数据对策略进行一次更新。这或许行得通，但假设你想教模型一些特定的东西，你不想和其他 10 万人去争夺模型该学什么，你想教你的模型一些非常具体的、只属于你的知识，而且你想针对你自己的模型版本来做，不在乎模型从其他人那里获得的共享知识，那么目前的做法就非常低效了。现在的模式是，一些基础技能被学习到所有人共享的权重中，而个性化则是通过上下文的形式来实现，但上下文窗口是有限的。真正的个性化学习，应该是权重本身发生改变。 库拉姆举了一个非常有说服力的例子，关于人类的残障适应。我们有本体感觉，有内部传感器来感知身体的位置，并且利用它来行走。在某些情况下，人们会完全丧失这种能力，从而根本无法行走，因为这实际上是他们行走策略的基础，已经根深蒂固于大脑之中。但是在两三年后，他们可以通过看着自己的脚，利用视觉反馈重新学会走路。这说明大脑具有极强的可塑性，当某些沿袭了 20 年的旧规不再适用时，它能自我更新并摒弃旧习，而我们的 AI 系统极其需要这种能力。 ### 动物学习与学校教育的误区 **大飞**: 那我们应该从人类婴儿和动物的学习方式中借鉴什么呢？萨顿说我们确实从中获得了大量启发，但这只是灵感来源，不是硬性约束。他认为很明显的一点是，没有哪种动物是通过**监督学习**来学习的，因为我们从来没有得到过肌肉该如何抽动的标准示例，尽管那才是我们的最终输出。主持人说，可是学校里的教育全都是监督学习啊。萨顿说：“我知道，但学校教育只占我们所学内容的极小一部分。比如我们学会看、学会走路、学会了解世界是如何运作的，而且即使在学校里，也没有人告诉我们肌肉应该如何抽动。”你听到一个问题，比如“法国的首都是哪里？”，我们知道答案是巴黎，但是没有人告诉我应该如何发音巴黎。现在你说答案是巴黎，我听着你，听到你的话，然后我会做出其他的肌肉运动来发出巴黎这个音，这根本不是严格意义上的监督学习。而且松鼠不上学也能学会生存技能，动物不会那样学习。学校是一个非常特殊的事物，甚至在几百年前我们人类都还没有学校，它并不是智能本质的一部分。将学校教育视为学习的主要范式是一种误导，因为这并不是我们作为动物在进化中所经历的本质。 当然，松鼠证明不了数学定理，人类能建造火箭、能探索外太空，这些高级能力确实需要抽象思维和知识传承。主持人问，如何教会机器去想象以前不存在的事物呢？萨顿表示，你必须具备规划的能力，必须具备想象的能力。库拉姆也补充说，一千年前的人类和现在一样聪明，如果那个时代的人接触到现代文化，他们同样能够掌握相同的技能。人脑在过去一万年里没有发生太大的进化，本质上还是同一台机器，但是我们积累了一万年的知识，我们当然希望系统能够接触我们的文化并从中学习，这都非常合理。但问题在于，当范式转移发生的时候，比如**爱因斯坦**提出**相对论**，这是一个积累了所有现有知识的人，基于自身的经验，构建出新的抽象概念，并且利用它们进行规划，进而发现新的知识。而这种提出新抽象概念、学习世界模型并借此进行规划的能力，在我们当前的系统中是完全缺失的。 萨顿提醒大家，我们又在犯那个老错误了，争论先验知识和获取知识哪个更重要。系统仍然需要学习，也可以从文化和先验知识中获取知识，这两者本不该相互对立。真正的问题是，在 AI 领域，我们尚未解决的巨大挑战就是学习一个模型，然后利用这个模型进行规划。我们可以解决数学问题，也能做出 AlphaGo，因为在游戏中模型是已知的，我们知道规则是如何运作的；在数学中，我们也知道算子是什么。但如果我们必须自己去学习模型，目前还没有任何先学习模型、再用这个模型进行规划的成功实例，至少没有使用自主发现的抽象概念的成功实例。 ### 十二步阿尔伯塔计划 **大飞**: 正因为看到这些问题，萨顿在 2022 年提出了一项非常具体的十二步计划，也就是**阿尔伯塔计划**（Alberta Plan）。他说这个计划的诞生是因为他们虽然有宏观的构想，但是需要将其拆解为更小的模块。这十二个步骤正是试图将这些特定模块具体化的尝试。其中有一个非常重要的早期步骤，即第二步：**持续深度学习**。他们认为这一步几乎是最重要的，因为它解锁了后续的所有可能。如果你能实现持续深度学习，就能不断更新你的世界模型。接着，如果你知道如何正确地处理抽象概念，那么计划后半部分的步骤全都是关于如何正确构建抽象的。萨顿说的正确处理抽象，并不是指获取某种绝对正确的抽象，因为没人能断言什么是绝对正确的抽象，这取决于你所处的世界，所以你的智能体必须针对它所处的具体世界，学习相应的正确抽象。 ### 持续深度学习与算法鸿沟 **大飞**: 那要实现持续深度学习，我们现在最欠缺的到底是什么呢？是算法问题还是工程问题呢？库拉姆非常肯定地说，这绝对是一个算法鸿沟。你当然可以采用朴素的方法直接更新权重，但是随后就会遇到**灾难性遗忘**（Catastrophic Forgetting）的问题。如果你取一个样本，然后用这一个样本来更新整个模型，模型中所有先前的知识都会受到负面影响。目前大家规避这个问题的方法就是 Cursor 那种做法，不使用单个样本，而是使用来自大量用户的大批量数据，因此，在能够获取这种数据的用例中，你可以进行持续学习。但在大多数用例中你并没有这种条件，只有单一的数据流。如果在这种情况下采用朴素方法，它会以极具破坏性的方式彻底摧毁你的先验知识，这就是灾难性遗忘。 但萨顿和库拉姆说，这完全是可以治愈的。具体疗法是什么呢？库拉姆讲了两个核心方法。首先，你需要进行步长优化，这意味着网络中的每个权重都必须有独立的步长。因此，有些权重更新得快，有些更新得慢。你必须通过**元学习**（Meta-Learning）为每个权重确定这些步长。网络中大部分权重的步长都会非常小，这样，当你用新样本进行训练的时候，它们就不会被破坏，调整只会发生在正确的位置。其次，你必须在特征空间中使用某种形式的生成与测试（Generate-and-Test）机制。也就是说，你要在不依赖梯度的情况下，提出新特征或者新单元。因为梯度下降是一个非常缓慢的过程，只有当你确定某个方向是有益的，才会朝着那个方向移动，这总是非常缓慢的，而且无法为你提供一条变得越来越复杂并且实现持续学习的路径。你需要一种机制，能够直接提出一批新单元，然后在此基础上继续推进。 他们有一种叫做**持续反向传播**（Continual Backprop）的算法，几年前已经发表在《**自然**》（Nature）杂志上。它和普通的反向传播非常相似，但是还需要植入新的单元种子，这些种子是用随机权重重新初始化的。传统的反向传播只在初始时刻具有随机权重，随着训练的进行，所有的随机性以及随机性带来的多样性都会被消耗殆尽。而在持续反向传播中，你不断注入一点随机性、一点生成与测试机制，然后反向传播的操作就充当了测试者。如果你能把这些很好地结合起来，就将迎来全新一代大规模、卓越的持续深度学习，这正是他们希望在未来几年内实现的目标。 ### Oak Lab 的愿景与终极智能 **大飞**: 那这些算法能不能直接应用在现在的大语言模型上呢？库拉姆说，绝对可以，但你不能直接拿一个现有模型说“我要开始用这些算法来更新它”，因为这些算法是在元学习如何学习。实际上，你必须从头开始训练一个新的基础模型，使用这些新算法来进行训练。这些新算法除了学习知识之外，还将学习如何学习未来的新事物，它们同时在学习两件事，这样你就能够学习新事物而不会发生灾难性遗忘。主持人说，这听起来是不是很激进呢？萨顿还是那句话：“我不觉得自己疯狂。” 主持人又问，那 Oak Lab 这家公司，最具雄心的事情到底是什么呢？萨顿说，最具雄心的事情是尝试掌握全谱系的知识，既包括微观细节，也包括宏观全局。比如思考如何将一架飞机从一个城市飞到另一个城市，这是一件非常宏大的事情，但是我们在生活的方方面面都会使用抽象概念，甚至连松鼠也会使用抽象概念。因此，拥有从微观到宏观的全谱系知识，以统一的方式处理它们，并且让它能够自我维护。这里最大的问题始终是：你学到了一个基于知识的系统，是什么保证了其中知识的正确性呢？在大语言模型中，人们进行了大量的后训练，然后将它冻结，这就是保持其正确性的方式。但实际上，我们的心智一直在不断变化，总有某种机制让它保持有序和连贯，并且回归到良好的状态，而不是陷入混乱。萨顿认为这正是他们最大的雄心所在——构建一个自我一致、持续进化且保持内在连贯的心智。 现在距离这个目标还有多远？他们的设想是五到十年。具体来说，他们的目标是打造一个拥有万亿参数、运行功耗仅为 20 瓦的模型。库拉姆说，这确实雄心勃勃，以目前的技术来看甚至可以说是不可能的，因为仅用现有的内存技术，将万亿个参数存储在内存中可能就会消耗超过 20 瓦的能量。但是他们真正在思考的是，技术在不断进步，计算成本越来越低，能效越来越高。五到十年相当于摩尔定律的两个数量级提升（如果每 18 个月翻一番，10 年就能带来两个数量级的提升），也就是说，今天你需要用 2000 瓦实现的功能，10 年后你就能用 20 瓦实现，而现在研究实验室里能调用的算力资源，早就远超 2000 瓦这个水平了。 那为什么现在没人做呢？库拉姆说了一个很扎心的真相：因为整个行业陷入了局部最优。如果我们想转向这种新型算法，情况在好转之前几乎不可避免地会先变糟。当我们开始探索这些新方向时，不可能从第一天起就获得最先进的性能，因为这是一种截然不同的范式，而原有的路径只能在更高的能耗下达到相似的性能。这些大型实验室被现有产品束缚得太深，以至于他们不可能去走一条先让性能下降的道路。萨顿在旁边补了一句：“有时候看起来他们确实想把钱挥霍一空，我觉得这就是他们展现真正实力的方式——通过消耗大量能源。” ### 智能的内涵与多心智未来 **大飞**: 那如果一切顺利，他们实现了这种架构，实现了真正的持续学习，能形成抽象概念，能进行规划与推理，实现了真正的智能，世界会变成什么样呢？萨顿说，到那时很难确切想象究竟会发生什么，但他不认为人类会变得无足轻重，他觉得世界会变得令人兴奋，对人类来说甚至更加激动人心和有趣。但是他也直言，大语言模型可能会面临风险。当然，它们已经有了一段辉煌的历程，已经取得了巨大的成功。萨顿特意强调，大语言模型是一项了不起的科学突破，是神经网络熟练运用语言的突破，这完全出乎意料（过去语言领域一直是符号方法的坚守阵地，而现在它们彻底改变了人们的认知，这是一个巨大的突破）。但让他感到沮丧的是，我们仅仅满足于庆祝在人工智能问题的一个子集上取得了巨大进展并沉浸其中，它不能自诩为代表整个人工智能。智能的全部并不只是流畅、熟练地使用语言，它的内涵要丰富得多。语言是一个重要部分，大概只占智能的 20% 或者说四分之一，但是还有更多，我们还远远没到大功告成的时候。 那未来会是一个单一的超级心智做所有事情吗？萨顿说，它是一种统一的设计，但是会衍生出许多不同的心智，会有许多的智能体。库拉姆解释说，这有点回到了大世界假说：有无穷无尽的事物需要学习，单一系统无法学习无穷无尽的事物。如果你有两个这样的系统，它们无法相互建模是显而易见的，因为它们的复杂度相当，所以单一系统永远无法达到能学习一切的程度，总是需要多个系统从各自的经验中学习。 最后，他们也谈到了公司的团队建设。Oak Lab 正在组建初始团队，大部分人选择他们是因为心里已经有数了，都是长期以来一直在思考这些理念的人。他们会采取一种略有不同的方法，因为这是一种全新的范式，迅速扩大规模没有意义。在某种意义上，他们招募的每个人都必须认同这个愿景，而并不是所有人都能看到这一点，所以他们会从小规模起步，慢慢发展到十几二十个人，然后再逐步扩展。萨顿说，他们希望团队高度目标一致，这样就能高效协作，共同推进并加速进展。 听完这次专访，我最大的感受是：当整个行业都在比谁的参数更大、谁的数据集更多、谁的显卡功耗更高的时候，还有人在从最根本的层面思考智能到底是什么。萨顿的观点其实一点都不激进，他只是回到了一个最朴素的常识：学习本来就应该是持续的，智能本来就应该是在和世界的交互中不断生长的。我们现在看到的大语言模型确实很强大，但是它更像是一个把人类所有知识都背得滚瓜烂熟的超级学生，考完试之后就再也不翻书了。而真正的心智，应该是一个永远在学习、永远在成长、永远在适应新环境的活的系统。这条路到底能不能走通，可能还需要时间来验证，但至少有人在往这个方向走，而且是从 AI 寒冬一路走过来的人。感谢收看，我们下期再见。