--- author: Best Partners TV date: '2026-07-22' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=fJxvN7FSP28 speaker: Best Partners TV tags: - reinforcement-learning - continual-learning - world-model - scaling-law - online-learning title: 69岁图灵奖得主向大模型宣战：Richard Sutton创办Oak Lab与强化学习的范式革命 summary: 2026年7月，强化学习之父Richard Sutton宣布成立Oak Lab，致力于摆脱大语言模型依赖人类静态数据的传统路径。通过构建基于Options与Knowledge的全新OaK架构，实现20瓦低功耗下万亿参数智能体的实时在线学习与自我进化，开启了AI从管道工程向循环工程的范式转变。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: - Richard Sutton companies_orgs: - Oak Lab - Keen Technologies - DeepMind - Ineffable Intelligence - AMI Labs - World Labs products_models: [] media_books: - 强化学习导论 status: evergreen --- ### 序幕：在算力狂热中的另类宣战 在整个AI行业依然沉浸在疯狂堆叠GPU、大肆扩建数据中心，并将大语言模型的参数规模从万亿级别推向十万亿级别的算力军备竞赛中时，一位年近七旬的科学巨匠突然站了出来，指明了一条截然不同的道路。他用非常笃定的语气对当下的行业共识提出了质疑，认为目前的AI研发或许正在攀爬一座错误的绝壁。 这位科学家就是现代**强化学习**（Reinforcement Learning: 一种通过与环境交互并最大化累积奖励来学习最优行为策略的机器学习范式）的奠基人之一、图灵奖得主**理查德·萨顿**（Richard Sutton）。 **2026年7月13日**，萨顿在社交平台X上发布了一则简短但分量极重的官方宣告。他宣布，自己与长期学术及商业合作伙伴**胡拉姆·贾维德**（Khurram Javed）已经正式离开了由传奇游戏开发者约翰·卡马克（John Carmack）创办的AGI探索公司**Keen Technologies**。与此同时，他们在加拿大共同注册成立了一家全新的AI初创企业——**Oak Lab**。 萨顿在官宣中直言不讳地指出，当前的深度学习方法存在着根本性的局限性。在他看来，行业需要的并不是对现有AI模型框架进行缝缝补补的微调或迭代，而是基于全新底层理念的彻底重构。虽然萨顿对老东家卡马克及Keen团队的工程素养与极客精神表达了由衷的赞美，并称“怎么夸赞都不为过”，但他随即话锋一转，明确宣称Oak Lab将会坚定不移地走一条完全不同的道路。 这并不是一次由于团队内部矛盾而导致的决裂，而是一场关乎人工智能终极走向的路线分歧。虽然两家公司都极度认可强化学习与运行时经验在迈向通用人工智能（AGI）道路上的关键价值，但Oak Lab显然准备采取一种更为激进的、从最基础的算法逻辑层面彻底推倒重来的技术路线。 ### 传奇的学术谱系与强化学习的诞生 对于很多年轻的AI开发者或者刚刚关注大模型浪潮的读者来说，“理查德·萨顿”这个名字或许不像山姆·奥特曼（Sam Altman）或者黄仁勋那样耳熟能详。然而，在学术界，萨顿的名字早已被奉为丰碑。 萨顿的学术背景充满着跨学科的色彩。他本科在斯坦福大学主修心理学，这为他日后将行为心理学与计算机科学相结合打下了坚实的认知基础。随后，他在马萨诸塞大学阿默斯特分校攻读博士学位，师从**安德鲁·巴托**（Andrew Barto）。早在二十世纪八十年代，萨顿便在其博士研究期间提出了**时序差分学习**（Temporal Difference Learning: 一种无需等待最终结果、仅靠相邻时间步的预测偏差来更新策略的在线强化学习算法）算法，这被公认为现代几乎所有强化学习算法的关键基石。他与导师巴托合著的经典教科书《**强化学习导论**》，更是全球各大高校人工智能专业的必读经典。 2003年起，萨顿加入加拿大阿尔伯塔大学担任全职教授，并在此创办了享誉全球的强化学习实验室（RLAI）。在2017年至2023年期间，他还作为杰出研究科学家加入DeepMind，在加拿大埃德蒙顿牵头组建了顶尖的学术研究团队。凭借在强化学习领域长达数十年的开创性贡献，萨顿与巴托于**2024年共同获得了ACM图灵奖**，这代表了计算机科学界对他们学术地位的最高认可。 在长达四十载的教学生涯中，萨顿培养出了多位活跃在人工智能最前沿的顶尖领袖。这其中包括： * **大卫·西尔弗**（David Silver）：AlphaGo与AlphaZero的幕后总设计师； * **多伊娜·普雷库普**（Doina Precup）：DeepMind蒙特利尔研究团队负责人； * **迈克尔·鲍林**（Michael Bowling）：著名博弈AI专家，在不完美信息博弈领域做出了奠基性工作； * **胡拉姆·贾维德**（Khurram Javed）：萨顿的关门弟子，他在阿尔伯塔大学跟随萨顿完成了关于在线学习与持续学习的博士研究，现在则是Oak Lab的联合创始人。 萨顿与贾维德的关系不仅是师生，更是长期的科研战友。他们共同创立Oak Lab，就是为了将积淀多年的理论假说彻底付诸于产业工程实践。 ### 重读《苦涩的教训》：对大模型时代的反思 萨顿之所以在近70岁的高龄选择重新创业，其核心动因深植于他的一篇曾彻底改变AI行业认知格局的文章。 在2019年，萨顿撰写了一篇名为《**苦涩的教训**》（The Bitter Lesson）的著名短文。在这篇仅有千余字的文章中，他以宏阔的视角回顾了人工智能诞生七十余年来的波澜历程。从国际象棋、围棋，到早期的语音识别与计算机视觉，萨顿指出了一条贯穿始终的残酷规律：**所有试图将人类领域知识通过手工编码方式嵌入到系统中的做法，在长期竞争中，无一例外都会被那些完全依赖大规模计算的通用方法所击败。** 真正能够在历史长河中持续奏效的，只有“搜索”与“学习”这两种能够随着计算资源扩张而无限提升性能的通用手段。 然而，大模型浪潮爆发后，整个行业对这篇文章的解读发生了微妙的偏差。许多“暴力美学”的信徒将《苦涩的教训》尊为**尺度定律**（Scaling Law: 模型性能随着计算量、数据集大小和参数规模呈幂律关系增长的经验法则）的理论圣经，认为萨顿的意思就是只要拼命堆叠算力、无限制地灌入人类数据，就能自动孵化出真正的智能。 对此，萨顿本人感到十分无奈，并给予了严厉的驳斥。在2025年9月接受知名播客主持人德瓦克什·帕特尔的访谈时，萨顿清晰地表达了自己的反对意见。他指出，目前的大语言模型根本没有真正践行《苦涩的教训》所宣誓的科学精神。因为主流大模型的训练来源，本质上是人类已经写下来、拍下来、并标注完毕的静态文本和图像数据，而不是智能体在与物理世界实时互动过程中产生的第一手运行时经验。 萨顿认为，将海量的人类历史文本强行灌注进模型的参数中，本质上依然是一种对“人类既有知识”的深度依赖。这与他当年批评的由专家手工编写规则、设计特征的行为在逻辑上没有本质差别，只是表现出来的物理规模更大、掩盖得更深而已。 ### 序列预测的幻觉与真智能的定义 萨顿的这一深刻批评，直击了当前大语言模型（LLM）最核心的结构性死穴。 从技术机理上来看，目前的所有大模型本质上都是高度复杂的**序列预测机器**。它们极为擅长模仿人类的语言特征，能够以极快的速度吐出符合语法逻辑的词句。但这并不等同于它们理解了物理世界的因果关系。更关键的是，一个模型一旦在服务器端训练完成并部署上线，它的权重参数就已经是处于被冻结的静态状态。这意味着它的学习过程已经彻底终止。 哪怕这个模型在未来的时间里与世界上数以亿计的用户进行交流，它在对话中所经历的所有波折、启发和纠错，都无法转化为它内部网络权重参数的永久更新。它只能在有限的上下文窗口（Context Window）中维持一种短暂且易忘的局部记忆，却无法像真正具有生命力的智能体那样，在持续与外界环境交互的过程中实现自我的进化。它无法评估自己输出的对错，因而不可避免地陷入“一本正经胡说八道”的幻觉陷阱中。 在萨顿的认知维度中，这不是真正的智能。真正的智能体必须具备在运行时通过不断尝试与遭遇失败，从而自主创造和发现新知识的能力。 为了更清晰地阐释这一点，我们可以回顾从AlphaGo向AlphaZero进化的历史路径。AlphaGo的最初版本依然需要依赖学习人类职业棋手的静态棋谱，这可以看作是对人类经验的模仿。然而，真正让算法产生质的跨越、并以压倒性优势击败人类顶尖棋手的，是完全摒弃了人类棋谱的AlphaZero。它通过数百万局的自我对弈（Self-play），利用强化学习在空白的环境中摸索出了人类历史上从未见过的围棋招法与大局观。在这一过程中，它不再是人类知识的搬运工，而是成为了新知识的创造者。萨顿坚信，这种摆脱人类静态数据羁绊的自我发现之路，才是通往AGI的正确坦途。 2026年5月，萨顿在麻省理工学院发表杰出讲座时再次尖锐地指出，作为一门庞大的高科技产业，当前的AI研发在方向上已经产生了令人担忧的偏离。而Oak Lab成立的核心使命，就是要把AI拉回那条通过经验在线成长的本源道路上。 ### OaK架构：20瓦能耗下的万亿参数智能体 那么，Oak Lab究竟要怎么做？萨顿的宏大目标在目前的商业大模型拥趸看来，几乎是不可思议的幻想：**他们试图打造一个拥有万亿参数规模，能够做到实时学习与实时规划，但整机运行功耗仅有20瓦的物理智能体。** 20瓦是一个极具象征性且带有严苛物理约束的数字，这恰好是人类大脑运转时的平均功耗水平。对比当下动辄需要数百万瓦电力、消耗几十亿度电来训练一个模型的庞大超级计算中心，20瓦意味着能耗效率在数量级上的巨大飞跃。萨顿试图用这一目标向世人证明，通往更高级智能的道路绝非只有在硬件上堆山填海一条路，通过设计极其高效的**在线学习**（Online Learning: 智能体在运行时不断接收数据流并实时更新模型参数的学习模式）算法，我们完全可以在极低的物理功耗下实现高级认知功能。 为了支撑这一充满野心的构想，Oak Lab的工程技术底座是萨顿提出的**OaK架构**。该架构的全称为“Options and Knowledge”，其思想最早可以追溯到由阿尔伯塔大学的顶尖学者们联合制定的长期研究路线图——**阿尔伯塔计划**（Alberta Plan）。 OaK架构的构建根植于三条不可动摇的基本原则： 1. **通用性原则**：智能体在初始化启动时，不能预设任何特定领域的先验人类知识。 2. **经验主导原则**：所有的认知与知识都必须来自于智能体与环境实时交互所产生的经验。 3. **奖励驱动原则**：学习与进化的唯一原动力，是最大化强化学习框架中的累积回报。 在具体的技术实现上，OaK架构紧紧围绕着两个最核心的支柱概念展开，即“**选项**”（Options）与“**知识**”（Knowledge）。 ### Options与Knowledge：时间抽象与世界模型 为了更直观地理解Options（选项）这一概念，我们可以将其视作在时间跨度上有所延伸的**时间抽象**（Temporal Abstraction: 将一系列原子动作在时间维度上进行封装，形成高层级策略的机制）策略。它不是简单的“下一步要往左还是往右”，而是一整套包含了具体执行规则与明确终止条件的行为序列。 让我们用一个生活中常见的场景来进行对比：假如我们需要命令一个机器人去厨房接一杯水。在这个任务中，包含了繁琐的子步骤：识别路径、穿过客厅、躲避障碍物、推开厨房门、走到水槽前、拿起玻璃杯、旋转水龙头、观察水面高度、关闭阀门并折返。 对于传统的机器人系统或现有的AI系统来说，这一连串的复杂流程通常需要被拆解成成百上千个微小的控制指令。在每一个极其短暂的时间步里，系统都需要重新计算当前的感官状态并输出指令，这种做法在复杂的物理世界中不仅计算开销极大，而且容错率极低，稍有扰动就会彻底失败。 而OaK架构的做法是，让智能体在反复的交互试错中，将这些细碎的低级动作不断融合、抽象，并沉淀为“走到厨房”、“拿起杯子”、“注水”等几个高层级的行为模块，这些模块就是**Options**。一旦智能体在底层将这些Options训练成熟，它在更高层级的规划中就不再需要去关注具体的关节马达如何旋转、迈左脚还是迈右脚等琐碎的物理细节。它只需要在宏观上调度这些Options，并根据当下的现实场景做出微调。这与人类大脑的行为控制机制是完全一致的。 那么，与之相辅相成的**Knowledge**（知识）又是什么？在OaK架构中，知识绝对不是一个静态的只读数据库或词条百科。它是智能体在执行各种Options的过程中，对物理世界运行规律所沉淀出来的因果理解，本质上是它在内部构建的**世界模型**（World Model: 智能体对外部环境的模拟器，用于预测在特定状态下采取某种行动后的下一状态和奖励）。 这个世界模型拥有强大的预测能力：它能预测如果智能体在此处选择执行某个Option，在十分钟或者更长的时间之后，周围的物理环境会发生怎样的改变，自己会处于什么样的新状态。这种长时序、跨越深远时间跨度的规划能力，正是当前基于自注意力机制的Transformer架构在内生层面最难以实现的短板。在大语言模型的实际应用中，让它进行三五步的逻辑推理尚可应付，可一旦要求它在长达数十甚至上百步的超长行动链条中做出无错的整体规划，大模型就会迅速在误差累积中走向崩溃。 而在OaK架构的内部，Options与Knowledge组成了一个闭环的自我强化迭代循环：智能体通过与世界的交互提炼经验特征，将这些特征上升为高层级的行为选项（Options），进而用这些选项来修正与充实内部的世界模型（Knowledge）；更强大的世界模型又会反过来指导更复杂的行为规划。这一过程是完全开放且无上限的，理论上系统可以无止境地向上构建更加复杂的认知大厦，而这仅仅取决于系统能获得多少物理交互算力。 ### 从管道工程向循环工程的范式转移 要更深刻地洞察萨顿所倡导的变革，有必要引入两个工程学概念的对比：**管道工程**（Pipeline Engineering）与**循环工程**（Loop Engineering）。 目前行业主流的智能体（Agent）开发，在本质上都是极其典型的管道工程。开发者像搭建工业装配流水线一样，手工将感知模块、规划模块、向量检索记忆模块、工具调用模块等硬编码地串联在一起。数据从最左侧的输入端流入，经过中间数次对LLM的API调用，最终从右侧输出结果。这种架构是完全静态的、是由人类程序员提前组织好的。人类事先规定好了AI在何时应该检索记忆，在何种条件分支下应当调用计算工具。这种系统虽然能迅速在特定场景下交付，但一旦被置于未曾被脚本定义的边缘场景（Corner Cases）中，整条装配线就会立刻陷入停摆。 与此相反，萨顿的OaK架构彻底转向了循环工程。在萨顿的智能哲学里，**智能的唯一真理就是交互循环本身**。即： $$\text{感知} \longrightarrow \text{行动} \longrightarrow \text{反馈/奖励} \longrightarrow \text{自我更新}$$ 这个循环不应当是被写死在外部Python脚本里的流程图，而应当是智能体作为生命实体的本体存在。并且，这种循环在内部是高度递归嵌套的。正如一个人的日常工作大循环中嵌套着写代码、开会、思考等中层子循环，而这些子循环内部又嵌套着敲击键盘、翻阅文档等更细微的动作循环。OaK通过其特有的Options机制，成功将短时序的细微动作封装成了长时序的策略大循环，赋予了智能体真正意义上的时间抽象能力。 这种**递归式自主进化**（Recursive Self-Evolution）的设计尤为迷人。它使得知识的增长彻底告别了对外部数据集的依赖： * **基础适应层**：智能体在最底层，仅通过与外界最原始的物理感官交互，学会诸如绕过障碍、保持平衡等本能； * **抽象化递归层**：将基础层的能力打包为Options后，系统以此为新的原子动作，开始在更高的抽象层级上探索更为复杂的任务，构建高阶世界模型； * **自主进化层**：当高阶世界模型的预测与现实发生偏离时，错误信号会产生反向动力，逼迫系统自底向上更新原有的策略甚至创造出全新的Options。 这意味着，Oak Lab所期望打造的智能体，其智商不再是一个在出厂时就定型的静态常数，而是一个随着生存时间不断累积、交互数据不断增加而持续上涨的变量。它首要解决的，不是“如何把某一道特定的数学题做对”的问题，而是“如何让自己变得越来越聪明”的问题。 ### 突破三大技术瓶颈：在未知中破浪前行 为了将这一伟大的愿景转化为可以落地的代码，Oak Lab公布了几个极为明确的战略研究方向： 1. **直接从实时经验中学习**：坚决不保留大规模的历史数据集，也不在运行时反复回放（Experience Replay）过往的经验。当前的深度强化学习非常依赖一个巨大的经验回放缓冲区，通过反复重采样来维持训练的稳定性。但Oak Lab计划采用**批大小为1（Batch Size = 1）**的在线学习方式，要求模型“所见即所学，过目即内化”，在每条经验产生的一瞬间立刻完成参数更新。 2. **事件驱动神经网络**（Event-Driven Neural Network）：神经网络的计算不会在每个时钟周期均匀发生，而是只在环境产生重要扰动、或者预测发生偏差的“必要时刻”才会被触发激活。这被视为将系统功耗压低至20瓦的硬件与算法双重密钥。 3. **婴儿式评估指标**：团队在早期阶段，绝不会以模型能做多少道选择题、能写出多少行Python代码或者聊天是否幽默来作为评估智能的指针。正如贾维德所比喻的那样，一个成功的早期原型，应该像一个刚刚诞生在这个世界上的婴儿：它开始时一无所知，但它可以通过纯粹自主的观察、触摸和爬行，以极快的速度在几天、几周内自行习得对这个物理世界的掌控能力。 当然，作为一个严谨的顶尖科学家，萨顿从来不画没有把握的饼。在MIT的讲座上，他极其坦诚地向公众揭示了目前挡在持续学习（Continual Learning）道路上的两座几乎不可逾越的大山： * **灾难性遗忘**（Catastrophic Forgetting: 神经网络在学习新任务时，会剧烈破坏并覆盖掉先前任务中所学到的网络权重，导致旧知识丧失的现象）； * **可塑性丧失**（Loss of Plasticity: 随着训练的持续，神经网络中的神经元权重倾向于饱和并锁定在特定状态，使得网络逐渐失去对新数据进行适应性调整和继续学习的能力）。 萨顿承认，目前全球学术界依然未能彻底攻克这两个神经网络的底层难题，这也是为什么大规模的OaK系统至今仍处于愿景阶段的原因。他近期的所有精力，都集中在如何通过改进网络结构和权重更新机制，去维持人工神经网络的“持续可塑性”，使其能够像人类大脑一样，在不损害旧有突触连接的前提下，持续生长出全新的连接。 这些瓶颈的攻克需要一块极富远见性的思想拼图——萨顿与贾维德共同提出的**大世界假说**（Big World Hypothesis）。该假说指出：**相对于智能体有限的计算容量来说，真实世界的复杂度是无限的。** 无论AI的参数规模扩张到何种程度，它在无限的宇宙面前永远是渺小的。因此，试图通过提前打包好一个“包含人类所有知识”的静态数据集来培养出万能AI的想法，在物理逻辑上就是荒谬的。智能体必须学会在生存中进行选择性地遗忘和聚焦，依靠不间断的实时在线学习，来动态适应这个不断变化的大世界。 ### 阵营集结：2026年AI演进的斑斓图景 萨顿的重新出发并不是孤立事件。在2026年的时间节点上，如果我们把视野拉得足够开阔，就会发现整个AI行业正在掀起一场对于大模型静态预训练范式的集体叛逃。 这已经不是某一位学术巨擘的孤芳自赏，而是一个新的技术阵营正在以不可阻挡的势头迅速集结： * **Ineffable Intelligence**：2026年1月，萨顿最为得意的门生、AlphaGo之父大卫·西尔弗宣布离开效力多年的DeepMind，创办了这家全新的初创公司。该公司在同年4月便完成了高达11亿美元的种子轮融资，估值瞬间飙升至51亿美元。Ineffable的核心技术主张与Oak Lab高度一致，那就是坚定地走纯粹强化学习的路线，让AI通过自身运行时经验重新发现并超越人类既有科学与技术知识。 * **AMI Labs**：由杨立昆（Yann LeCun）等图灵奖得主联合创立，其核心攻坚方向是通过非生成式架构，让智能体从真实世界的传感器数据中提取多模态的世界模型，实现物理层面的预测与长远规划。 * **World Labs**：由李飞飞创立，旨在攻克空间智能（Spatial Intelligence），致力于让模型能够真正理解、生成三维空间并与之发生深刻交互。 这些科学巨匠们虽然在具体实现手法上各有侧重，但他们的共识是极其一致的：**AI研究必须摆脱单纯依赖堆叠参数的单一叙事，走向更多元的世界。** 同时，传统的大模型阵营也并非固步自封。在OpenAI推出的o1、o3等推理模型中，我们已经清晰地看到了强化学习被引入到了大模型的思维链（Chain of Thought）训练中。大语言模型正试图通过将强化学习作为外挂的规划器，来弥补自身长时序推理能力的不足。 萨顿在69岁高龄选择从学术舒适区走入创业红海，他所追求的显然不是资本的回报或者头衔的加冕。他只是在用自己的实际行动，去追问那个他用一生去解答的终极问题：**智能到底是如何从无到有生发出来的？** 正如萨顿所坚信的，AI运转的每一分、每一秒，都应当是学习与进化的过程。软件不应当是被人类程序员在编译器里写死的一串静态逻辑，它应当是可以通过与物理世界源源不断的交互，而慢慢孵化、成长出来的动态生命体。 随着2026年下半年的到来，人工智能的演进正式分裂出了两条波澜壮阔的主线：一边是LLM阵营沿着Scaling Law的物理极限，继续狂飙突进地进行暴力扩张；另一边则是以萨顿为代表的强化学习原教旨主义者，试图在极其克制的能耗下构建具有自我进化能力的生命循环。这两条道路将在AGI的征途上产生历史性的碰撞，而无论结果如何，一个崇尚多元探索、尊重不同学术路线的健康科研生态，本身就是人类科学探索之幸。