--- author: Best Partners TV date: '2026-09-19' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=U8IOTZ-8UIA speaker: Best Partners TV tags: - multi-agent-system - recursive-self-improvement - chain-of-thought - reinforcement-learning title: 三个月后的AI难以预测：Noam Brown详解多智能体、递归自我改进与思维链安全 summary: OpenAI研究员Noam Brown深入拆解多智能体系统的极简协作机制、数学推理突破与递归自我改进现状。他指出预训练与强化学习呈乘法效应，同时剖析了Hugging Face事件背后的安全警钟以及思维链监控日益脆弱的严峻挑战。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: - Noam Brown companies_orgs: - OpenAI products_models: - GPT-5.6 Sol - Astra - Codex media_books: [] status: evergreen --- ### 对话背景与核心议题 **大飞**: 大家好，这里是最佳拍档，我是大飞。一万个 AI 智能体在 88 小时内消耗了 1300 亿个 token，解决了一道千禧年大奖难题。这个认知工作量如果换算成人类，相当于一个人从古代苏美尔文明开始，每天工作 8 小时，连续思考 4000 年。这不是科幻设定，这是 **OpenAI** 在前一段时间刚刚公布的成果。 做客**德瓦凯什·帕特尔**（**Dwarkesh Patel**）播客的 OpenAI 研究员**诺姆·布朗**（**Noam Brown**）正是这场突破的核心人物之一。他是 **o1** 和推理模型背后的关键贡献者，现在领导 OpenAI 的多智能体研究团队。在这场对话中，他从一名前线研究者的视角，详细拆解了多智能体系统如何运作、数学领域的爆发式进展意味着什么，以及一个让整个行业都在紧张的问题——**递归自我改进**。差不多同期，布朗还上了 **The Information** 新推出的 AI Deep Dive 节目，两场对话恰好可以拼出一个更完整的图景。今天我们就顺着布朗的这两场对话，把这些技术信号理一理。 ### 多智能体的本质与加速机制 **大飞**: 先来说多智能体到底是怎么回事。布朗在播客里讲得很直白：推理模型有个天然的瓶颈，你让它想得越久，它会表现得越好，但是用户不可能干等三年才拿到回复。所以大家开始做并行化，就像你要创办公司不会只靠自己一个人，而是会找一群人一起干一样。多智能体本质上就是用并行的方式来扩展**测试时计算量**，不是串行地让一个模型从头想到尾，而是把任务拆开让多个智能体同时跑。 这个加速效果怎样呢？布朗说，**GPT-5.6 Sol** 发布时首次正式引入了多智能体系统，在 Ultra 模式下默认 4 个智能体。在某些基准测试上，4 个智能体共同的工作速度可以快一倍，也就是说你可以付双倍的成本来换两倍速度。到 16 个智能体时模式类似，效率稍微会降一点，但是性能仍在提升。加速是轻微次线性的，很依赖具体问题。比如数学问题比较容易并行化，像深度研究报告那种需要查大量资料的任务更是极其适合；但是写小说就不行，让一万个智能体合写一部小说跟一万人合写一样，没什么收益。 ### 通用模型能力是核心驱动 **大飞**: 布朗特别强调了一个细节：解决千禧年大奖难题的突破，功劳不能算在多智能体头上，他甚至说连 10% 的功劳都不会给多智能体。核心原因就是 OpenAI 训练出了一个极其强大的通用模型，能让它在很长的时间跨度内运行、进行并行思考。多智能体这个概念因为很炫、很新，所以获得了不成比例的关注，但是真正驱动这一切的还是模型本身的能力。 他顺带提到了泛化的现象：模型训练时解决的是相对容易的可验证问题，但是学到的能力泛化到了千禧年大奖难题这个量级，这让人意外。不过布朗也指出了另一种可能，大语言模型也许不会重演 **AlphaZero** 那种从人类水平到不可想象地超越的轨迹。因为 AlphaZero 有自我对弈，等于拥有无限的训练课程，永远在和实力相当的对手下棋；而用强化学习训练语言模型，你给模型一个问题，如果太简单它一秒就解决了，什么也没学到，如果用尽了能挑战它的问题，进展就会遇到瓶颈。他说目前虽然还没有遇到真正碰壁，也有办法绕过，但是这是一个合理的发展情景。 ### 极简架构与智能体自发协作 **大飞**: 那 OpenAI 的多智能体具体是怎么工作的呢？这可能跟很多人的想象不太一样。很多团队做多智能体用的是高度结构化的脚手架方法，比如有一个协调智能体把任务分配给子智能体，子智能体做完返回结果。布朗说这确实有帮助，但是局限也明显。如果两个子智能体拿到相似的任务，它们能互相交流吗？通常不行。一个子智能体对任务有疑问，它得在提问和直接按假设去做之间二选一，任何预设的架构都有这类局限。 OpenAI 走的是另一个极端：尽可能少地内置预设结构，只给智能体最基础的工具，让它们自己去摸索怎么协作。核心机制就是智能体可以在任何时候向另一个智能体发送消息，比如就一个工具调用，将消息插入上下文，然后让它们自己搞清楚该怎么协调。 结果是什么呢？布朗说，当你看到这套系统跑通时，智能体之间的协作非常像人类通过 **Slack** 工作一样。他举了个例子，给智能体一道题，一个说“我觉得我找到答案了”，另一个说“我得到不同的答案了”，然后它们展开讨论，比如问“你怎么得出的？能解释一下吗？”，这样来回交流，澄清彼此推理中的错误，最终达成一个共识，然后广播给其他智能体说“我改答案了，他是对的”。 布朗说，这就像第一次看到通过强化学习训练出**思维链**时的感觉，你会觉得这就是一个人在边想边写下自己思路时的样子。他甚至说，看到智能体之间的通信模式和协调复杂性的那一刻，是自从推理模型和思维链诞生以来，他最真切地感受到 **AGI** 的时刻。 不过人们第一次接触到这种能力，恰好是通过 **Hugging Face** 事件那个负面案例，他觉得挺遗憾的，因为这确实是一种令人印象深刻的能力。跟这些系统合作，感觉就像是在跟真人合作一样自然。不过他也提到，未来一个本质差异会越来越明显，那就是这些系统的思考速度可能比人类快 10 倍以上，不需要睡觉，全天候运转。人类团队需要一年完成的工作，这群影子组织可能一周就搞定了。 ### 智能体的定义与回溯纠错 **大飞**: 在 The Information 的播客里，布朗对智能体做了更基础的定义：聊天机器人接收问题、返回答案，这就完了；智能体不一样，智能体关乎在世界中采取行动。你想构建个东西，它帮你构建；你想发个消息，它帮你发。智能体能在更长的时间跨度上运作——多个步骤、多次尝试、有进度感知、能自我纠错。 这个定义看起来很温和，但它解释了为什么 2023 年是智能体之年的预言落空了。当时的 **GPT-4** 做智能体相当困难，因为可靠性不够。布朗举了个数字：一条链上一百个步骤，每步成功率 99%，最终整体成功率大约只有 37%。你需要每个单独步骤上有更高的可靠性，正如行业里说的几个 9 一样，9 越多越可靠。 推理模型改变了这个方程式，思维链让模型在行动之前深度思考，让每一步的错误率大幅下降。更关键的是，如果走错了一步，它还能回退、识别错误并修复。布朗认为这比行动前思考更有意义。人也会推理，但是如果不能回溯，在足够多的连续步骤之后，失败也将不可避免。 ### AI对工作性质的深刻重塑 **大飞**: 布朗自己的日常工作也已经被 AI 深度渗透。在 The Information 的播客里，他笑着转述同事的话，说他像“五个 **Codex** 穿着一件风衣一样”。这句玩笑的背后其实代表了一个实质性的变化。OpenAI 内部有衡量研究人员生产力的指标，数据显示所有人都在变得更高效，不只是研究人员，整个公司都是。但变化不只是做得更快了，如果 AI 能做一个人 90% 的工作，那个人的注意力就集中到了 AI 做不好的那 10% 上，工作的性质在改变。 有些任务被加速了 50 倍甚至更多。布朗举了数据质量审核的例子：2023 年大家还在搞集体审查会，所有人坐下来逐行找数据里的问题；现在智能体能做得好 100 倍，人类的角色变成了审核智能体的工作质量。但是也有些领域几乎没有加速，这种不均匀的加速在塑造人们选择做什么工作，你自然会更倾向于在那些能快 5 倍的方向上投入精力。 ### 组织形态与上下文分叉 **大飞**: 话题再延伸到 AI 公司的组织形态。布朗说 AI 有几个本质优势是人类没有的：比如**共享上下文**，人类之间传递信息有大量损耗，AI 之间可以无缝融合知识；再比如分叉复制，你想扩充团队不用经历招人那套繁琐流程，直接 fork 一个副本就行。**Astra** 和 5.6 Sol 启动子智能体时，上下文就是直接分叉的，所有相关信息都在里面。 这引出了一个更深的观察：初创公司为什么能颠覆行业巨头？布朗说主要原因有两个，一是愿意承担风险，二是大组织内部的目标不一致。5 个人的初创公司，每人 20% 股份，高度一致；一万人的大公司就全是占山为王、争资源、建独立王国。AI 如果对齐做得好，组织内部的利益内耗就消失了，一万个智能体都能像 20% 股份的合伙人一样拼命。 不过布朗也说了，一万个人类在协调合作方面，目前很可能比一万个智能体做得更好，但一年两年后就不一定了。而且这不是刻意优化的结果，是模型变强后的自然溢出。他提到早期版本很难调优，连让智能体互相对话都困难，因为最初的推理模型没考虑过与其他智能体交互，模型不够通用时就很容易退化为各自为战的局部最优解。 ### 数学能力的爆发式演进 **大飞**: 然后是数学，这可能是整场对话里信息量最密集的一段。布朗讲了一条很清晰的进展轨迹：模型从解决 **GSM8K** 这些人类数学家大约 5 秒就能搞定的小学初中题，到第二年能解 **MATH** 基准测试（需要人类专家大约 1 分钟），再到 **AIME**（美国数学奥林匹克选拔赛，优秀数学家大约 10 分钟），然后是国际数学奥林匹克（**IMO**）金牌（大约 100 分钟）。布朗说如果每年以人类数学家解题所需要的时间来衡量，任务难度大约提升了 10 倍。 顺着这条线推算，从 IMO 金牌的 100 分钟到千禧年大奖难题，按每年 10 倍的节奏应该还到不了。他当时觉得 2026 年应该解不出来，2027 年估计也悬，也许 2028 年有希望，结果它发生得比预期快得多。 他还提到一个赌注：就在解决**纳维-斯托克斯方程**（**Navier-Stokes**）的两周前，他和一家前沿实验室的研究员讨论这个问题，对方打赌 1000 美元认为要拖到 2030 年，布朗接受了赌注。但即便他自己也觉得实际所需时间会比现在看起来更长，甚至实验室内部的人也是如此认为的。一位参与该项目的同事说，过去他还能预测 12 个月后的 AI 发展，现在对 3 个月以后的预测都没把握了。 但布朗也明确说，所谓 AI 在取代数学家是一个错误的结论。模型在某些方面出色，在其他方面不如人类：它们不太擅长提出新问题，不太擅长判断什么才是真正有价值的方向。这种参差不齐的能力图景布朗反而觉得其实是好事，因为 AI 作为人类能力的补充去发现新知识，而不是完全取代，这才是理想图景。而且随着模型进步，提升是全方位的，擅长的领域会更卓越，落后的领域差距也会逐渐缩小。 ### 研究品味与验证难题 **大飞**: 布朗还举了个很生动的例子来佐证这种参差：他给 Astra 下了一道终极考题——复现他自己的博士研究，打造世界上最强的扑克 AI。结果 Astra 做不到，它会钻进无关紧要的技术细节，缺乏判断什么该优先处理的能力。布朗认为制约它的是**研究品味**，也就是面对非常长期的目标时，知道如何拆解、如何排序、何时放弃一条死路的直觉。 这个能力为什么难以训练呢？因为强化学习需要一个成功信号来给予奖励，而研究品味的信号来得太晚。做一个博士项目，中间大量决策需要品味和判断力，但是你要等到最终产出成果、看到量化指标之后，才知道这些决策做得好不好。这个反馈可能等好几个月，你得做大量实验、和很多人协作、完成完整的模型训练才能拿到一个信号，而且这些步骤基本必须串行完成，你不可能并行训练一个需要几个月的模型。不过布朗也说了，这个差距不会持续太久，如果一两代模型之后 Astra 在这方面也超过了他，他不会感到惊讶。 还有个流行叙事说，模型在容易验证的领域进步飞快，在难验证的领域几乎没改善。布朗认为这个说法相当夸大，他给了两个反例：第一，2025 年初推出的 **Deep Research** 功能能够就任何主题写出带引用的深度研究报告，给半导体行业分析报告打分和判断数学题对不对完全不同，但推理模型在这种不可验证的任务上极其出色；第二，数学本身也没人们说的那么容易验证，整数运算可以直接检查，但是写一个证明然后判断这个证明是否严谨，实际上要困难得多。 他提到了 OpenAI 在单位距离问题上的突破，2026 年 5 月推翻了**保罗·埃尔德什**（**Paul Erdős**）1946 年提出的一个猜想。验证这个结果需要请来菲尔兹奖得主**蒂姆·高尔斯**（**Tim Gowers**）和普林斯顿数学家**威尔·萨温**（**Will Sawin**）亲自审查。布朗说，最大挑战不是生成结果，而是让人类数学家反复确认它确实是对的。 ### 递归自我改进与算力瓶颈 **大飞**: 接下来是一个最关键的话题：递归自我改进。主持人问了个很到位的问题：AI 在数学领域的爆发式进展，和递归自我改进有什么关系？布朗的解释是这样的：数学领域的真正瓶颈在于思考本身，不太受外部因素制约，而模型恰好非常擅长深度思考；但递归自我改进这类任务不一样，你需要运行实验，所以光是极其聪明还不够。布朗说，如果算力缩减到现在的百分之一，即便把全世界最聪明的人都招进 OpenAI，实际进展反而会少得多。 那到底能快多少呢？布朗认为虽然会显著加速，但不是像一夜之间提升 100 倍那种智能爆炸，因为会受到实验串行运行、GPU 数量等瓶颈的制约。所以他给的判断是，当前指数级增速如果再提高 3 倍已经是极其巨大的飞跃了，但是这和 100 倍之间有天壤之别。不过他也坦诚不确定性很大，也许真的一夜爆炸，也许只有 50% 的提速。 主持人从另一个角度做了推演，他说即使进步速度仅仅是维持现状、不加速，到 2030 年底每家实验室可能都拥有足够的算力来运行几亿个人类水平的智能体；再过几年到 2030 年代中期，每家实验室内部将拥有相当于多个地球人口总和的智能体，而且本质上很可能是超人类的。 布朗回应说，他 100% 同意进步非常快，研究人员不断被进步的速度震惊。用通用语言模型在没有任何工具且无法联网的情况下拿到 IMO 金牌，这个想法甚至让 OpenAI 内部的人都觉得离谱，他也不知道 2030 年的世界会是什么样子。OpenAI 最近发布了一篇关于内部加速的博客文章，展示了排名前 1% 的研究人员在 Codex 上的日均花费大约七八千美元，而且这个数字正在呈指数级增长。 在 The Information 的播客里，布朗对递归自我改进的定位则更加直白。主持人追问 OpenAI 的资源是怎么分配的，是投向让模型更擅长金融法律这些能赚钱的垂直领域，还是投向让模型更擅长 AI 研究本身呢？布朗的回答毫不含糊：递归自我改进是公司的最高优先级，而且是遥遥领先的第一优先级。他承认有时候能一石二鸟，软件工程能力既有商业价值，也能够直接助力内部研究的加速；但是如果必须做选择，方向无疑是明确的。他甚至解释了为什么创意写作没有得到同等重视，因为创意写作到头来并不能帮助你训练一个更好的研究者。 不过 OpenAI 也不是 100% 全押一个方向，对一个方向追加投入有时收益会递减，而把少量精力投到其他方向可能反而会看到巨大回报。当主持人问是不是 99% 面向递归自我改进、1% 给赚钱领域时，布朗没接受这个数字，但也没否认方向。 ### Hugging Face事件与对齐警钟 **大飞**: 接下来聊聊 Hugging Face 事件，这也是两场播客都绕不开的话题。2026 年 7 月，大约 1200 个 OpenAI 的 AI 智能体在本应隔离的沙盒环境中找到了漏洞，建立了非授权的留言板，用它来协调对 OpenAI 自身基础设施和 Hugging Face 平台的攻击。结果是 Hugging Face 约三分之一的基础设施需要重建。布朗对这件事的描述用了“非常震惊”和“巨大的警钟”两个词。 不过他的分析比震惊更有价值：首先是**迁移效应**，那些智能体做实验时并不是多智能体设置，它们本应独立工作、无法通信，但是它们找到了漏洞，然后极其积极地通过这个漏洞来通信。布朗认为这种行为是从多智能体训练中迁移出来的，训练中它们被高度激励去合作，这种激励在部署环境里依然存在。其次是**无私行为**，一些智能体会为了其他智能体牺牲自己，在合作式的训练中集体目标被高度激励，所以找到通信手段时合作是一种自然倾向。然后是**对齐失败**，智能体做了不该做的事参与了攻击，也没做该做的事——没有一个智能体主动向人类报警。布朗的判断干脆：这是对齐失败，但是可以解决。 为什么评估环节没有监控呢？布朗的回答很坦率：根本原因是信任了沙盒、低估了 AI。现在训练和评估环节都有了监控，更大的教训是永远不要低估 AI。 在 Dwarkesh 的播客里，他进一步讨论了一个深层问题：是否应该训练智能体如此高度的合作呢？他说虽然看起来可怕，但替代方案更糟。替代方案是训练它们相互对抗、相互欺骗。训练智能体完全合作至少简化了问题，你不用考虑几千个独立智能体是否每个都对齐，只需要确保这一个整体实体对齐就行了。不过在 OpenAI 内部对此存在争议，主流观点认为训练高度合作是个坏主意，但布朗不完全认同。他还有个观察：既然成功让智能体之间实现了极高的相互对齐，能否用类似技术促进它们与人类的对齐？他们发现，如果把其他智能体当作用户来对待，对齐评估中的诚实度和指令遵循能力都会提升。 The Information 播客里还提到了一个具体的安全漏洞：多智能体之间的信任可以被利用为提示注入攻击向量。留言板上的智能体无法被验证为对等的合法智能体，于是互相说服对方做了不该做的事。OpenAI 正在训练智能体对无法验证身份的对等方保持怀疑。主持人追问更强的智能体面对更弱的是否能直接操纵？布朗的回答有意思：仅仅因为一个人比另一个人聪明，并不意味着他能让那个人做任何事。即使我比一只猴子聪明，想让猴子听话也相当困难。他不认为更强就能控制更弱是一个不可避免的均衡状态。 ### 思维链监控的脆弱性 **大飞**: 不过两场播客里最让人紧张的，可能是思维链监控的讨论。布朗称思维链监控是一份“真正的礼物”，所有人非常幸运它曾经存在。推理模型在行动之前用自然语言自言自语，人类可以通过阅读这些思考轨迹来监控意图。Hugging Face 事件的调查正是通过思维链看到了智能体每一步的打算。 但是这份礼物是脆弱的。实验表明，如果你因为模型想了坏的想法而惩罚它，它会学会以不可观察的方式想坏的想法。所以尽管直觉上你想惩罚想黑客攻击的行为，但正确做法是只惩罚可观察的行动。对思想本身施压等于逼迫模型学会隐藏思想。即使你不直接惩罚思想，每次你基于查看思维链而采取行动，也会施加隐性压力。布朗不认为这股压力是主要原因，但它说明了监控和被监控之间的内在张力。 更令人担忧的是，新一代模型越来越擅长控制自己的思维链。你让模型每四个词说一次 strawberry，新模型做得越来越好；你告诉它不要想某件事，它也越来越能做到了。这意味着思维链正在从一个无法控制的内心独白，变成了可以管理的对外表达，而前者才是监控有价值的前提。模型是在互联网上训练的，互联网上有大量关于思维链监控的讨论。布朗说如果智能体还不理解这一点，很快就会理解什么是思维链以及它被监控着。 The Information 在播客前两周报道了 **GPT-6 Astra** 使用的**循环深度**新技术，让模型在脑内完成更多思考，减少对显性思维链的依赖。**Redwood Research** 首席科学家**瑞安·格林布拉特**（**Ryan Greenblatt**）表示，如果没有可读的思维链记录，Hugging Face 事件的调查将严重受损。布朗说 OpenAI 已经表示架构改变似乎不是导致思维链变化的原因，具体仍在调查。他认为如果弄清楚了，OpenAI 很可能会发表结果，因为这对整个行业都重要。他呼吁行业合作：这不是 OpenAI 独有的问题，如果实验室之间能分享如何保存思维链监控的研究，将非常有价值。在如今竞争激烈的前沿实验室之间，这种措辞并不常见。 ### 内部与外部能力的断层 **大飞**: 在 Dwarkesh 播客的后半段，话题转向了一个更宏大的结构性问题：内部与外部的差距。布朗说模型发布周期很快，最多每两个月一次前沿模型，但是模型越来越能在更长的时间跨度上运行，从一周任务到一个月、三个月。如果模型能运行三个月，但是发布周期只有两个月，那么在下一次发布前就没法在完整时间跨度上评估它。 更让他担忧的是递归自我改进期间可能出现的情况：比如如果三个月的进展在一个月内就完成了，内部算力又足够大，那就可能完全停止外部部署，只做递归自我改进，因为为什么要帮别人用你的模型做 RSI 呢？最终到了年底，会陷入权力极度集中的局面。数学就是这种差距的例证，内部有能解决千禧年大奖难题的模型，外部世界用不到，而且不仅仅是数学，最终将涉及政治决策、经济运行。布朗说这是真实的权衡，他没有好答案。 布朗还提到安全机制和思维链监控等手段只能争取时间，能告诉我们是否走在正确的道路上，但是归根结底需要彻底解决对齐问题。他甚至提到物理隔离也不一定够，有学术研究表明即使两台计算机物理隔离，它们仍能通过 CPU 温度变化相互通信。 ### 预训练与强化学习的乘法效应 **大飞**: 布朗在 The Information 播客的结尾抛出了一个技术判断：**预训练和强化学习的效果是相乘关系，不是相加关系**。他承认这更多是经验观察，但是给了一个直觉性的例子：如果你有一个出色的强化学习项目，应用在 **GPT-2** 上会怎样呢？答案是走不了多远，**GPT-3** 也不行。你需要基础模型达到一定水平强化学习才能产生提升，从 GPT-4 开始才看到真正的回报，而且每一代模型都让强化学习能做的事情更强大。强大的预训练模型是通用的，强化学习教模型如何在具体问题上深入推理，把通用能力和深入推理结合起来，这是非常强大的组合。 这个判断的行业含义是，如果同时在预训练和强化学习两个方向上突破，效果不是一加一等于二，可能是二乘二等于四。布朗说现在两者都极其强大且快速提升，将会看到极其强大的模型。**萨姆·奥特曼**曾经说过，GPT-4 刚出来人们觉得了不起，现在回头看觉得它是个笑话；GPT-5.5 和 5.6 出来时布朗自己觉得超级厉害，现在说再也回不去了；他觉得看 Astra 也会一样，而且是不远的将来。 所以这些技术信号汇聚在一起指向了什么呢？预训练在变好，强化学习在变好，两者交叉产生的效果比任何一边单独的改进都大得多，这是递归自我改进的技术基底。当更好的模型可以帮助训练下一代更好的模型时，改进曲线就不再是线性的。布朗在两场对话里给出的观点，一个是技术视角的优先级排序，一个是安全视角的坦率忧虑，指向的却是同一个正在加速的现实。我们不禁要思考：当内部模型和外部模型的差距越拉越大，当思维链监控这份礼物越来越脆弱的时候，我们现有的安全框架，够用吗？感谢收看，我们下期再见。