--- author: Best Partners TV date: '2026-09-20' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=TulKg6eOZaE speaker: Best Partners TV tags: - recursive-self-improvement - search-strategy - replay-simulation - evolutionary-search - algorithm-optimization title: 做梦与递归自我改进：谷歌Dream-RSI的探索策略进化与行动轨迹资产化 summary: 谷歌DeepMind等联合提出的Dream-RSI框架通过将执行与编排解耦，将历史探索轨迹构建为发现树与重放模拟器，使智能体能够在虚拟梦境中无开销迭代搜索策略，在算法、数学和GPU内核优化中实现数十倍效率跃升，并颠覆了传统抽象经验引导的范式。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: [] companies_orgs: - Google DeepMind products_models: - Dream-RSI - Gemini media_books: [] status: evergreen --- ### 破局之径：历史重构与做梦式自我进化 在人工智能迈向超级智能的探索路径中，**递归自我改进**（Recursive Self-Improvement: 智能系统无需人类干预、通过自身输出与验证闭环实现持续自我迭代进化的机制）长期被视为终极圣杯。然而，传统的自我改进范式往往受制于巨大的计算开销与固化的探索模式。近期，**谷歌 DeepMind**（Google DeepMind: 谷歌旗下前沿人工智能研发机构）联合马里兰大学与弗吉尼亚大学，在预印本平台 **arXiv** 上发表了一篇具有颠覆性意义的重磅论文——**Dream-RSI**。这项研究给出了一条出人意料的全新技术路径：智能体实现递归自我改进的核心答案，竟然在于“做梦”。 该系统的核心机制在于，智能体将其在现实环境中走过的每一步探索过程完整沉淀为一棵层级化的**发现树**（Discovery Tree: 记录智能体探索路径、工作区快照与执行反馈的树状数据结构）。随后，系统在由历史轨迹构成的发现树中展开高频的虚拟仿真与推演，也就是所谓的“在历史中做梦”。通过在梦境中持续打磨、演化出更加高效的探索策略，智能体再将精炼后的新策略带回真实世界继续执行任务。论文一经公布便在学术界与开源社区引发轰动，知名研究者**马克·克雷奇曼**（Mark Kretschmann）甚至公开评价称，谷歌可能刚刚真正破解了递归自我改进的实现密码。 这篇论文的第一作者是马里兰大学二年级博士生**郑童**（Tong Zheng），他于当年夏天以学生研究员身份加入谷歌，其背后是一支由 DeepMind 资深研究员与讲席教授组成的十七人顶尖学者团队。郑童在 Hugging Face 平台上留下了一句极具诗意却精准概括论文精髓的核心结论：“要实现递归自我改进，智能体必须学会做梦；而历史，就是它们做梦的世界。”这句话揭示了 Dream-RSI 的底层哲学：过去的探索记录绝非一次性消耗的算力废料，而是支撑后续策略无限进化的模拟宇宙。 实测数据显示，Dream-RSI 展现出了惊人的效率跃迁与算力压缩能力：在复杂的算法优化基准测试中，主流的进化搜索系统通常需要运行高达 51200 代，而 Dream-RSI 仅调用底层大语言模型 317 次就达到了完全同等的性能水平；在极其严苛的 **GPU内核优化**（GPU Kernel Optimization: 针对图形处理器底层硬件执行特性的计算程序优化）任务中，达到相同加速比所需的生成次数直接暴降至原来的 2.43 分之一；更为关键的是，整套系统完全基于固定的模型架构，底层大语言模型的权重一字未改，无论是顶级的 **Gemini 3.1 Pro** 还是轻量高效的 **Gemini 3.7 Flash** 均可即插即用。更具思想冲击力的是，论文在消融实验中证实了一个颠覆直觉的现象：由人类显式给 AI 指定高层方向，其最终效果反而显著劣于完全不加干预的自由探索。 --- ### 传统瓶颈：进化搜索的算力死穴与策略固化 回顾过去几年的技术演进，人工智能在代码编写、数学难题求解以及前沿算法设计等领域取得了长足进展。以 **AlphaEvolve** 为代表的先进系统早已充分证明，让编码智能体运行**进化搜索**（Evolutionary Search: 模拟生物进化中的变异、评估与淘汰机制在大规模解空间中寻找最优方案的启发式算法），完全有能力发现人类专家未曾设想的高效算法。这种系统本质上运行着一个由“提议-实验-反馈-修正”构成的持续发现循环：AI 智能体不断提出新的候选代码方案，在真实执行环境中编译运行，根据自动化测试与性能指标的打分结果修改代码，进而推进到下一轮尝试。在处理工业级或前沿科学领域的复杂任务时，这样一轮任务往往需要经历成百上千次循环迭代。 然而，这类传统进化搜索系统存在一个难以逾越的致命死穴：它们的探索策略全部是由人类工程师通过硬编码写死的规则。在整个庞大的搜索空间中，系统到底该向哪个潜在分支分配更多算力、哪个看似停滞的分支应该尽早剪枝止损、何时该启动大规模并行尝试，完全依赖于工程师预先设定的启发式参数。随着搜索空间的维度呈指数级膨胀，底层基础模型的智力水平只能决定单点代码生成的质量，而最终能否找到全局最优解，更关键的决定因素在于搜索策略的拓扑结构与调度效率。一旦预设的探索策略存在缺陷，即便底层模型再聪明，也会不可避免地将海量算力砸入毫无希望的死胡同，且在同一个系统运行周期内“毫无长进”。 为了解决这一痛点，自然的想法是让搜索策略本身也具备自我进化的能力。但在工程实践中，策略级进化的最大阻碍在于不可承受的**评估成本**（Evaluation Cost: 验证一套新系统或策略有效性所必须投入的计算与时间代价）。通常情况下，评估一段具体的候选代码非常迅速，只需在沙盒中编译运行一次即可得出运行时间与正确性反馈；但要客观评估一套高层探索策略的优劣，系统必须让该策略驱动智能体从零开始完整跑完几百乃至几千轮真实发现流程，耗费数天时间等待最终产出，才能给出该策略的有效性评分。这意味着每修改一次策略代码，就必须消耗数万美元的算力重跑全流程，这种高昂的评估周期使得策略级元学习在工业界长期无法落地。 针对这一核心矛盾，Dream-RSI 提出了一种四两拨千斤的破局解法：完整保留并结构化存储历史上每一次真实探索的全部轨迹，当系统需要评估并生成新的探索策略时，彻底告别昂贵耗时的真实环境重跑，而是直接调用历史数据进行毫秒级的“轨迹回放”。 --- ### 双层解耦：发现树与做梦模拟器的运作机理 在系统工程架构层面，Dream-RSI 创新性地将“具体干什么活”与“全局决定怎么干”进行了清晰的解耦与分层，构建了清晰的双层交互架构： * **底层执行层（发现智能体）**：由先进的通用大语言模型（如 Gemini 3.1 Pro 或 Gemini 3.7 Flash）驱动，承担具体的工兵角色。它负责接收工作区上下文、理解具体业务逻辑、修改生成候选代码，并将其提交给环境评估器进行编译和得分诊断。 * **顶层编排层（探索策略）**：表现为一段极其轻量、模块化的 Python 代码，专门负责全局调度与战术决策。它控制着智能体在每一轮迭代中应该从哪个历史节点继续延伸、单次调度多少个并行分支进行并发探索，以及在何种阈值条件下果断中断低效路径。 在整个运行过程中，底层基础模型的权重保持绝对冻结，系统进行自我进化的唯一载体就是顶层那段高度精炼的 Python 策略代码。该架构的核心技术基石是**发现树**的设计：系统在真实环境中进行的每一次探索尝试，其全生命周期数据都会被固化为一个树状拓扑节点。发现树的根节点对应任务的初始工作区状态，随后的每一个子节点都精确记录了一次尝试的完整现场快照，涵盖文件系统的全量变动、生成的中间产物、环境编译日志、诊断反馈以及最终性能得分。 这棵高度保真的发现树，天然构成了一个高保真的轻量级**重放模拟器**（Replay Simulator: 仅需回溯与检索已有实验节点数据、无需重新调用模型或编译执行即可推演策略表现的仿真沙盒）。由于探索策略所要作出的决策本质上只有两类——“选择从哪些历史节点继续深入”以及“单次开启多少个并行尝试”，而这些节点在历史探索中产生的所有后续结果早已经由真实运行完全记录在案。因此，当系统需要迭代评估新策略时，新策略无需调用任何大模型 API，也无需在真实环境中执行任何一行代码，仅需在这棵已经生长成型的历史树上进行纯内存级的轨迹回放与拓扑遍历。 为了形象地理解这一过程，可以将其类比为人类探索未知迷宫的过程：当智能体第一次进入迷宫时，由于缺乏全局视野，只能依靠初始策略不断摸索试错；但在摸索的过程中，系统忠实记录了每一个转弯、死胡同以及阶段性进展，绘制出了一张详尽的历史拓扑地图。当需要验证一套全新的迷宫探索策略（例如优先探索支路 A、迅速放弃支路 B 并深入支路 C）时，系统不再需要让智能体重新耗时走一遍迷宫，而是直接在已有的地图上进行思维推演。只要策略涉及的路径分支在先前的真实探索中已经发生过，推演就能在毫秒级内完成。这种完全摆脱模型调用与代码执行的轻量级推演回放，正是论文所定义的“做梦”。 --- ### 演化闭环：三阶段迭代与数学上的单调递增 在建立起发现树与重放模拟器的机制后，Dream-RSI 构筑了一个严密的“现实探索-构建梦境-策略进化-重返现实”三阶段运行闭环，驱动系统实现自我飞轮式增长： 1. **第一阶段：真实探索（Real-world Discovery）** 系统部署当前最新的正式探索策略，引导由 Gemini 驱动的底层发现智能体进入真实物理或代码环境。智能体通过调用大模型生成代码、执行编译、运行基准测试，并将探索过程中产生的所有分支路径、调度决策、中间报错与性能指标完整打包，作为新的结构化子树追加整合至历史数据库中。 2. **第二阶段：构建模拟器（Simulator Construction）** 系统提取更新后的全量历史数据库，将其快速编译并封装为一个高吞吐、可多线程并发调用的重放模拟器池，为后续的离线策略评估提供即时响应的沙盒环境。 3. **第三阶段：基于做梦的策略改进（Dream-based Policy Improvement）** 系统指派一个专门的**策略开发智能体**（Policy Developer Agent）进入模拟器池展开高强度的模拟进化。该智能体会以极快的速度自动重构和改写 Python 策略代码，短时间内生成数千个候选策略变体，并将其批量注入重放模拟器中进行快速打分与筛选。 在虚拟梦境中对候选策略进行打分时，系统采用了一套多维度的复合评价函数，其核心考察三项指标： * **解题质量上限**：该策略在模拟推演中所能发掘出的最高算法性能得分； * **算力消耗惩罚**：扣除策略在推演中所累计消耗的尝试次数与 token 成本，严厉惩罚盲目试错； * **并行调度奖励**：显式给予能够在一轮中合理批量发起并发探索的策略以额外加分，最大化计算吞吐量。 在这种严密的评估机制下，负责重写代码的策略开发智能体会深入审视当前策略在模拟推演中的运行轨迹、历史修改版本的得分反馈以及整棵发现树的结构特征，随后针对性地修改策略源码。每一轮生成的多个策略候选版本都会立刻在重放模拟器中接受全量检验。最为关键的是，**当前正在服役的旧策略本身也会作为基准保留在候选池中**。只有当某个新变体在模拟器中的综合表现严格超越当前基准时，它才会被遴选为下一代的正式策略并部署上线。 这一设计在数学逻辑上赋予了 Dream-RSI 一项核心优势：**新策略的进化下限是原地踏步，而上限则是无限迭代**。系统绝不会部署一套退化的策略，保证了算法在演进过程中的单调非递减性。当胜出的新策略被重新部署到真实环境中时，其卓越的搜索能力将开辟出更深、更广的未知区域，带回更庞大精细的发现树，进而让重放模拟器的空间更加广阔。真实探索扩展了做梦的边界，做梦又反哺了真实探索的效率，两者形成了正向增强的良性循环。 --- ### 实测验证：跨领域基准下的算力革命 为了严谨验证 Dream-RSI 的通用性与实际威力，研究团队在算法工程、数学优化以及底层硬件内核编译三个极具挑战性的垂直领域进行了全面的基准实测。 ``` +---------------------------------------+ | 真实探索 (Real Discovery) | | 底层智能体 (Gemini) 真实编译与执行 | +-------------------+-------------------+ | 写入完整探索轨迹与快照 v +---------------------------------------+ | 发现树 (Discovery Tree) | | 全量历史数据库 / 节点状态与反馈 | +-------------------+-------------------+ | 编译重放沙盒 v +-----------------------------------------------------------------------------------+ | 虚拟梦境 (Dream Simulation Pool) | | | | +---------------------------+ +----------------------------------+ | | | 策略开发智能体 | 生成候选变体 | 重放模拟器 (Replay Simulator) | | | | 自动重构 Python 策略代码 +------------->+ 毫秒级回放历史轨迹，纯内存打分 | | | +---------------------------+ +-----------------+----------------+ | | | | | 筛选出综合得分最高的优胜策略 | (零大模型调用开销) | +---------------------------------------------------------------|-------------------+ | v 部署至真实环境 +----------------------------------+ | 新一代正式探索策略 (上线执行) | +----------------------------------+ ``` 在**算法工程领域**，测试任务选用了高维统计学中的经典硬核难题——**Lasso正则化路径求解器**（Lasso Regularization Path Solver: 高维线性回归中用于特征选择与稀疏解计算的高效优化算法），目标是在严格确保数值精度的前提下最大程度缩短全路径计算耗时。 * 当搭载顶级模型 Gemini 3.1 Pro 运行时，Dream-RSI 仅调用了 317 次模型，就将求解器的平均执行时间从原始基线的 3587 毫秒大幅压缩至 2931 毫秒；作为对比，搭载固定策略的同款模型需要调用 550 次才能达到相近水准，而主流基线算法 SimpleTES 更是累计生成了 51200 次才勉强追平。 * 当换用轻量且成本更低的 Gemini 3.7 Flash 时，系统耗费 1879 次调用，将运行时间进一步突破性削减至 2350.6 毫秒。这有力证明了策略进化的增益独立于基础模型参数规模，即便小模型也能通过策略升级释放出惊人的性能。 * 更有价值的是其算法创新：传统基线做法仅是在 LARS 和坐标下降法之间根据维度机械地进行二选一，而 Dream-RSI 演化出的新方案直接在活跃集优化内部实现了自适应机制——首先利用强规则快速初筛特征，紧接着引入柯西-施瓦茨不等式进行严格的 **KKT条件剪枝**（Karush-Kuhn-Tucker Pruning: 利用非线性规划最优性条件在上界无法明确判定时再计算梯度的加速策略），唯有在上界无法收敛时才回退计算精确梯度，展现了高度精巧的数学工程美感。 在**数学优化领域**，算力利用效率的差距被进一步拉大。面对和差问题、**圆装填**（Circle Packing: 在受限几何空间内互不重叠地放置最大化半径圆的极值几何难题）以及自相关不等式等对算力吞吐要求极高的离散与几何优化基准： * Dream-RSI 在 1000 代演化以内便完全追平或超越了极具竞争力的强基线系统； * 相较于消耗 51200 代算力的 SimpleTES，Dream-RSI 实现了**超过50倍的算力开销节省**； * 在圆装填这一标志性挑战中，系统甚至直接追平了谷歌自家顶级工业级系统 AlphaEvolve V2 所保持的最强纪录。 在直接决定大模型训练与推理基础设施效率的 **GPU内核工程**（GPU Kernel Engineering）实测中，论文在四项核心算子上展开了对比验证： * 在算力节省维度：优化 VGG16 卷积网络内核与 LayerNorm 归一化算子达到固定策略相同性能时，Dream-RSI 所需的生成迭代次数分别仅为固定探索策略的 **1/2.43**（降低 2.43 倍）与 **1/1.79**（降低 1.79 倍）； * 在极致性能维度：在严格给予相同计算预算的前提下，Dream-RSI 在 ConvDiv（除法卷积）与 ConvMax（最大值卷积）两个算子上优化出的内核吞吐性能，分别达到了固定探索基线的 **2.09 倍** 与 **1.44 倍**。 --- ### 深刻洞见：抽象经验的诅咒与行动轨迹的价值 除了耀眼的基准跑分，这篇论文最具启发性、也最为颠覆认知的部分，来自于研究团队所进行的一组对比实验。研究人员尝试将前期的探索历史提炼为高层方向性提示，嵌入系统提示词中，试图手把手指导智能体避开陷阱。然而实验结果令人大跌眼镜：**在同等计算预算下，注入了人类方向性引导的智能体，其探索效率与最终成绩始终显著差于完全不加干预的自由探索**。 随后，研究团队又测试了大模型领域极为流行的“经验反思机制”，即让大模型自主将过往历史总结提炼为高层次的抽象指导原则，用以指导下一轮行动。然而测试结果同样惨败：被注入了高层经验总结的智能体，其探索性能不仅没有获得预期提升，反而大幅倒退，全面劣于没有任何先验指导的原始基线。 这一看似反常的实验现象揭示了认知科学与机器学习中的一个深刻规律：**任何形式的抽象总结，本质上都是对原始信息的高损压缩**。当系统得出“某条探索路线失败了”这一简单结论时，看似提炼出了精华，实则粗暴丢弃了绝大部分至关重要的上下文细节——它是在何种临界参数下失败的？失败的具体边界在哪里？该路径周围还存在哪些未曾展开的微观分支？当时是否存在尚未测试的潜在可能性？ 一旦将复杂的探索过程生硬地压缩为几条空洞的高层原则，这些所谓的“经验”便会迅速异化为 AI 的**认知偏见**（Cognitive Bias），人为划定思维禁区，过度约束了对广阔解空间的自由探索，严重扼杀多样性，最终将智能体死死困在局部最优的狭隘区间内。 相比之下，Dream-RSI 的做梦机制彻底摒弃了空洞抽象的教条。它完整保存了探索过程中的每一个微观现场：在历史发现树中，过去的“失败”不再是一句盖棺定论的废话，而是一个**随时可以被重新进入、重新推演的高维空间**。智能体可以站在任意历史节点上从容发问：“如果当时在这个分支上微调并行策略或放宽剪枝阈值，后续会发生什么？”通过让策略代码与具象的历史树在代码级进行细粒度的碰撞，系统在分支优先级、并发调度和提早停止规则上实现了精细化的参数寻优。这种保留全部具象细节的微观进化，在探索效率上彻底碾压了粗放的高层经验抽象。 这一重大发现直接重塑了构建智能体记忆与经验体系的范式。当前主流的智能体系统在构建长期记忆时，主流做法仍停留在“记笔记”的初级阶段——在任务结束后抽取几条文字规则存入向量数据库，在下次任务中检索并拼接入上下文窗口。而 Dream-RSI 向整个行业证明：**未来高阶智能体最宝贵的核心资产，绝不仅仅是静态的训练数据、庞大的上下文窗口或外挂知识库，更包含海量在真实物理与代码环境中实际运行过的完整行动轨迹（Action Trajectories）**。历史探索所消耗的算力并没有凭空蒸发，它们固化为了支持下一代智能体腾飞的坚实基础设施。 --- ### 范式重塑：通向超级智能的隐秘通道 Dream-RSI 所展示的全新范式，让业界重新审视通往通用人工智能与超级智能的技术演化路径。此前，谷歌前沿产品负责人**洛根·基尔帕特里克**（Logan Kilpatrick）曾向外界释放重磅信号，明确指出谷歌正高度聚焦于技术最前沿，并已经在内部观察到了递归自我改进（RSI）的早期确凿迹象。他以 Gemini 3.5 到 Gemini 3.8 保持每三到四周一次高频迭代的演进节奏作为力证，并透露代号为 **Gemini 4** 的下一代模型将是迄今为止参数规模最大、架构最具野心的预训练模型。基尔帕特里克特别强调，当前必须将核心的人力与算力资源坚决倾斜至代码生成、前沿研究与科学探索等核心领域，因为这些领域的突破最能够直接反哺下一轮模型的研发，让后续训练变得更便宜、更迅速。 谷歌之所以对 RSI 的到来抱有高度坚定的信心，根本原因在于**人工智能自我改进的底层逻辑正在发生结构性转变**。在过去十余年的传统认知中，行业内谈及 RSI，脑海中浮现的图景几乎无一例外是让 AI 自主修改底层神经网络权重、重新训练出下一代更加强大的基础模型。然而，Dream-RSI 照亮了一条更加可行且高效的全新道路：**基础模型的底层权重完全无需频繁变动，通过自主改写和优化外围的探索框架与决策编排代码，同样能够实现智能水平的指数级跃迁**。 这可以用一个生动的类比来解释：这就如同一位科研人员，在无需进行任何脑机改造或知识灌输的前提下，随着研究经验与项目历练的积累，他开始精准洞察哪些课题值得深挖、哪些实验大概率是徒劳无功、何时应当果断推倒重来。在这个过程中，科研人员的“大脑硬件”与知识底座并未改变，但其**研究方法论与探索策略**发生了质的飞跃。过往行业追求模型能力的提升，往往等同于堆叠更多参数规模、清洗更多无监督语料以及扩大强化学习的算力集群；而 Dream-RSI 证明，通过重构模型对已有能力的调度与探索组织方式，完全可以用最廉价的计算成本，解决最硬核的科学与工程难题。 当然，以严谨客观的技术视角审视，当前的 Dream-RSI 距离科幻作品中完全自主迭代的数字生命形态仍有明确的物理边界：它并未直接修改 Gemini 模型的底层权重，也未涉足自监督预训练的自动闭环；其能够进行高频做梦推演的根本前提，依然是现实环境中沉淀下的真实历史轨迹。面对历史上从未被探索触及的绝对盲区，Dream-RSI 无法凭空在梦境中推演出确定性结果。正因如此，系统无法永远沉溺在虚拟梦境中，每一轮在模拟器中完成策略迭代后，AI 依然必须坚定地重返现实世界，向着人类未知的处女地勇敢进发，将带回的新疆界转化为支撑下一轮深层梦境的基石。 尽管存在边界，这项研究的深远价值已经不可动摇。未来的高级智能系统，或许不再苛求每一轮都诞生一个智商更高的基座模型，而是首先让智能体学会一项看似质朴却极其强大的能力——**忠实记录自己曾经走过的每一步探索之路，在历史的梦境中反复咀嚼推演，从而在未来的探索中永远不再重蹈覆辙**。正如论文结语所言，智能体必须学会做梦才能开启真正的递归自我改进，而历史，就是它做梦时所拥有的整个世界。随着超大规模基座模型的演进与做梦式 RSI 架构的深度融合，人类距离智能大爆炸的奇点时刻，或许真的只剩下一步之遥。