AI进入算法研发的深水区

当我们还在讨论大语言模型能写多少行代码、能完成多少日常工作时，DeepMind的团队已经用大语言模型完成了曾经只存在于科幻构想里的事情：让AI自己设计并进化出了两款AI核心算法。这两款算法不仅在标准测试中全面超越人类设计的业界最优水平，而且其核心设计包含很多人类研究者凭借直觉和经验几乎不可能想到的"非直觉"机制。换句话说，AI已经进入了算法研发的深水区，开始探索人类认知无法触及的边界。

这篇题为《用大语言模型发现多Agent学习算法》的论文值得关注，源于多智能体强化学习（MARL: Multi-Agent Reinforcement Learning）领域的发展现状。过去几年里，多智能体强化学习领域取得了一系列突破，背后离不开两大核心算法家族的支撑。

多智能体强化学习的两大基石算法

第一个算法家族是反事实后悔值最小化（CFR: Counterfactual Regret Minimization）。这个算法家族的核心能力就是求解不完全信息动态博弈中的纳什均衡。简单来说，它能在你不知道对手的全部信息（比如扑克游戏里不知道对手手牌）的情况下，找到一个无论对手怎么出招，你都不会吃亏的最优策略。这类算法有着极其扎实的理论基础，经过了十几年的学术验证。

第二个算法家族是策略空间响应预言机（PSRO: Policy Space Response Oracles）。这个算法家族更擅长在高维度的元博弈层面上，通过迭代扩展策略种群来逼近均衡。我们熟悉的AlphaStar的联赛训练机制，核心就是PSRO的逻辑。这两大算法家族都是整个多智能体强化学习领域的基石。

然而，这个领域一直面临一个无法回避的痛点：这两大算法家族的高性能变体几乎全部依赖于人类研究者的人工调参和直觉驱动的试错。以CFR为例，核心是后悔值的累积和策略的平均，但后悔值应该怎么随时间折扣呢？早期的策略和后期的策略应该给多少权重呢？正负后悔值应该用一样的处理方式吗？这些问题没有绝对的数学最优解，人类研究者只能凭借经验和直觉提出启发式方案，然后在测试中不断试错调整。

关键问题在于，算法的设计空间是组合爆炸级的。仅仅是CFR算法的几个核心组件，每个组件都有无数种可能的设计方式，组合起来的设计空间是人类穷尽一生都无法遍历的。绝大多数时候，人类研究者只能选择那些数学上容易处理、容易做理论证明的方案，而不是真正性能最优的方案。人类在这个庞大的设计空间里能探索到的，仅仅是冰山一角。

AlphaEvolve框架：用大语言模型驱动算法进化

面对这个难题，DeepMind的团队给出的答案是用大语言模型来驱动算法的进化，其核心工具就是AlphaEvolve——一个由大语言模型驱动的进化式Agent。AlphaEvolve的核心思路听起来非常有想象力，但又极其符合逻辑：它把一个算法的完整源代码当成了生物进化中的"基因组"，而把大语言模型当成了执行进化操作的"智能遗传算子"。

在传统的生物进化中，基因组通过突变、交叉产生新的个体，然后通过自然选择留下适应度更高的个体。而在AlphaEvolve的框架里，算法的源代码就是基因组。大语言模型会对代码进行语义级的突变——重写算法逻辑、引入新的控制流、设计新的数学运算——生成新的算法变体，然后在标准的博弈测试中自动评估这些新算法的性能（即"适应度"），留下性能更好的变体加入种群，不断循环这个过程，最终进化出性能远超人类设计的全新算法。

VAD-CFR：波动性自适应的CFR变体

为了验证这个框架的通用性，DeepMind的团队分别选择了CFR和PSRO这两个主流范式进行算法进化。在CFR方向上，团队把CFR算法的三个核心组件全部暴露给了AlphaEvolve让其自由进化。这三个组件分别是：负责更新累积后悔值的后悔值累积器、负责从累积后悔值推导当前策略的策略推导器、以及负责更新平均策略的策略累积器。团队把这三个组件设计成了可以跨迭代维护状态的Python类而不是纯函数，这意味着进化出的算法可以追踪整个迭代过程中的历史信息（比如后悔值的波动性变化），而不是只能基于当前迭代的局部信息做决策。

更重要的是，这个设计的搜索空间表达力强到可以把所有已知的CFR变体都表示为这个框架下的一个特例。换句话说，AlphaEvolve不仅可以重新发现人类花了十几年时间设计出的所有高性能CFR变体，还能探索这个框架下人类从未触及过的全新设计。

最终，AlphaEvolve进化出了一款全新的CFR变体——波动性自适应折扣CFR（VAD-CFR: Volatility-Adaptive Discounted CFR）。这款算法在11个标准博弈基准测试中的10个上匹配或超越了此前的最优性能。VAD-CFR的核心优势来自于三个AlphaEvolve进化出来的、完全反人类直觉的机制。

第一个核心机制是波动性自适应折扣。传统的DCFR算法（折扣CFR）给正负后悔值设置的是固定的折扣因子，整个迭代过程中都不会变化。但VAD-CFR完全抛弃了固定折扣的设计，它通过指数加权移动平均（EWMA: Exponential Weighted Moving Average）来实时追踪瞬时后悔值幅度的波动性，然后根据波动性的大小动态调整正负后悔值的折扣因子。当波动性很高时，说明当前的策略正在剧烈变化，早期的后悔值已经没有太大参考意义，算法就会加大折扣，更快地"遗忘"那些不稳定的历史信息。而当波动性很低时，说明策略已经趋于稳定，算法就会减小折扣，保留更多的历史信息做更精细的调整。更进一步，AlphaEvolve还进化出了不对称的折扣设计——正后悔值和负后悔值的折扣因子是根据波动性分别动态调整的，两者的计算公式完全不同，并且保证负后悔值的折扣力度始终大于正后悔值。这种完全动态的、基于波动性的自适应折扣设计是人类研究者从未提出过的。

第二个核心机制是不对称瞬时后悔值增强。传统的CFR变体对后悔值的不对称处理都是针对累积的历史后悔值，而VAD-CFR则把不对称性直接应用到了瞬时后悔值本身。AlphaEvolve进化出的规则是：正的瞬时后悔值（当前表现更好的动作对应的后悔值）会被直接放大1.1倍，而负的瞬时后悔值则会被限制在不低于负20的范围内，防止负后悔值无限累积。这个设计的逻辑非常巧妙——它能让算法立即捕捉到当前表现更好的动作，消除了传统累积机制带来的滞后性，同时避免了负后悔值过度累积导致算法错过更优的策略。这种针对瞬时更新的不对称增强同样是人类研究者从未想到过的设计。

第三个、也是最反直觉的核心机制是硬预热策略平均启动。CFR算法的收敛性定理要求必须使用所有迭代轮次的平均策略才能保证收敛到纳什均衡。因此，从2007年标准CFR算法提出开始，几乎所有的CFR变体都是从第一轮迭代就开始累积平均策略。但AlphaEvolve进化出的VAD-CFR直接打破了这个延续了近20年的设计传统，强制执行了一个"硬预热"规则——延迟到第500轮迭代才开始累积平均策略。在前500轮迭代中，算法的后悔值累积过程完全正常进行，Agent一直在学习和更新策略，但完全不会把这些早期的、不稳定的策略纳入到最终的平均策略里。

最惊人的细节在于，论文特别说明AlphaEvolve在生成500轮这个预热阈值时，提示词里完全没有告诉它后续的评估会固定使用1000轮的迭代总长度。也就是说，大语言模型完全是"盲"的进化出了这个规则——它自己发现在迭代过程的一半节点开始累积平均策略是最优的设计。这个设计完全超出了人类研究者的直觉，因为从理论上来说，平均的轮次越多，收敛性应该越有保证，但AlphaEvolve却发现过滤掉早期不稳定的策略反而能让算法的收敛速度和最终性能都得到质的提升。

当500轮之后开始累积平均策略时，每一轮策略的权重也不是传统的线性权重，而是三个因子的乘积：第一个是随迭代轮次增长的多项式时间权重，第二个是基于当前瞬时后悔值幅度的幅度权重，第三个是基于波动性的稳定性权重。三个权重相乘，最终决定了当前轮次的策略在平均策略里的占比。

除了这三个核心机制外，VAD-CFR还引入了衰减乐观主义和非线性概率缩放两个辅助机制。衰减乐观主义会在早期的迭代中给后悔值加上一个随时间逐渐衰减的乐观偏差，让算法在早期更激进地探索。而非线性概率缩放则让策略的概率正比于累积后悔值的1.5次方（而不是标准CFR里的1次方），放大了高后悔值动作的优势，进一步加快了收敛速度。

Shor-PSRO：动态退火的混合元策略求解器

在PSRO方向上，DeepMind的团队抓住了传统PSRO算法的两个核心痛点进行突破。首先，传统PSRO的元策略求解器是静态的——在整个迭代过程中，无论是训练阶段还是评估阶段，用的都是同一个固定的元策略求解器。但PSRO的迭代过程早期和后期的目标完全不一样：在迭代早期需要的是种群的多样性，要尽可能探索更多的策略类型，避免种群过早收敛到局部最优；而到了迭代后期需要的是精确的均衡求解，让种群的策略尽可能接近纳什均衡。静态的元策略求解器根本无法适配这种动态的需求，人类研究者只能手动调优或在不同迭代阶段手动切换求解器，效率极低且很难找到最优的调度方案。

其次，传统PSRO算法训练时和评估时用的是同一个元策略求解器，但这两个场景的需求其实是完全相反的。训练时的元策略求解器需要驱动新策略的生成，要偏向探索；而评估时的元策略求解器是用来计算当前种群的可利用度、衡量种群的性能，需要的是精确、低噪声的求解。把这两个求解器绑定在一起本身就是一个不合理的设计。

而DeepMind的团队正是抓住了这个痛点，把PSRO的训练时元策略求解器和评估时元策略求解器完全解耦，分别暴露给AlphaEvolve进行进化。最终，AlphaEvolve进化出了一款全新的PSRO变体——平滑混合乐观后悔PSRO（Shor-PSRO: Smoothed Hybrid Optimistic Regret PSRO）。这款算法在11个标准博弈基准中的8个上匹配或超越了此前的最优性能，而且不需要针对不同的博弈手动重新调优它的核心参数。

Shor-PSRO的元策略求解器是一个线性混合的混合架构。在每一次求解器的内部迭代中，最终的元策略是由两个完全不同的组件线性融合而成的。第一个组件是乐观后悔值匹配（ORM: Optimistic Regret Matching），这个组件的优势是有着严格的理论收敛保证，能让元策略稳定地收敛到均衡，缺点是收敛速度比较慢。第二个组件是平滑最优纯策略（对最优纯策略的Boltzmann Softmax分布），这个组件的优势是能快速捕捉到当前收益最高的策略模式、收敛速度快，缺点是稳定性不足、容易陷入局部最优。

AlphaEvolve进化出的这个混合设计完美地结合了两个组件的优势——用乐观后悔值匹配保证收敛的稳定性，用平滑最优纯策略提升收敛的速度。通过一个混合因子Lambda来控制两个组件的权重。最关键的是，这个混合因子Lambda不是固定的，而是随着PSRO的迭代过程动态退火调整的。随着迭代轮次的推进，混合因子Lambda会从0.3逐渐下降到0.05，这意味着在迭代早期Lambda的值更大、平滑最优纯策略的权重更高，算法会更偏向于激进的探索和利用、快速扩展种群的多样性；而到了迭代后期Lambda的值越来越小、乐观后悔值匹配的权重越来越高，算法会逐渐转向稳健的均衡求解。

除了混合因子外，AlphaEvolve还进化出了另外两个同步退火的参数。一个是多样性奖励，从0.05逐渐下降到0.001，早期给种群里的稀有策略更高的奖励、鼓励探索更多的策略类型，后期逐渐取消、专注于均衡求解。另一个是Softmax分布的温度参数，从0.5逐渐下降到0.01，让早期的策略分布更平滑、探索更充分，后期的分布更尖锐、更聚焦于最优策略。这个动态退火调度的本质就是完全自动化地完成了从"种群多样性探索"到"严格均衡求解"的过渡，不需要人类研究者做任何的手动调优和切换。

Shor-PSRO还有一个非常巧妙的设计——训练时和评估时的元策略求解器采用了完全不同的配置、实现了彻底的解耦。训练时的求解器使用的是前面说的完整动态退火调度，返回的是内部迭代的平均策略，保证训练过程的稳定性。而评估时的求解器使用的是固定的低混合因子Lambda=0.01、没有多样性奖励，返回的是内部迭代的最后一轮策略，同时设置了更低的动量和更多的内部迭代次数。这个解耦设计让训练时的求解器可以安全地做充分的探索，而评估时的求解器可以提供低噪声、高精度的可利用度估计，不会被探索的噪声干扰，真实反映种群的实际性能。

严格的实验验证与泛化能力

为了检验进化出的算法的健壮性和泛化性，DeepMind的团队设计了一套严格的评估协议。他们把测试的博弈分成了两个完全独立的集合：训练集包含4个中小规模的博弈（3人Kuhn Poker、2人Leduc Poker、4张牌Goofspiel、5面Liars Dice），AlphaEvolve只在这4个博弈上完成进化搜索；测试集包含4个更大、更复杂的、算法从未见过的博弈变体（4人Kuhn Poker、3人Leduc Poker、5张牌Goofspiel、6面Liars Dice），专门用来检验算法的泛化能力。加上额外的测试场景，整个实验一共覆盖了11个标准博弈基准。所有的实验都基于开源的OpenSpiel博弈论框架实现，AlphaEvolve的骨干大语言模型选择了Gemini 2.5 Pro。

最终的实验结果完全验证了AlphaEvolve框架的有效性。VAD-CFR在11个博弈基准中的10个上都匹配或超越了此前的最优性能（唯一的例外是4人Kuhn Poker），无论是在训练见过的博弈上，还是在从未见过的、更大规模的测试博弈上，VAD-CFR的收敛速度都显著快于其他最优算法，最终的可利用度也降到了更低的水平。Shor-PSRO的表现同样亮眼，在11个博弈基准中的8个上匹配或超越了此前的最优性能，无论是在小规模的训练博弈上，还是在更复杂的测试博弈上，它的收敛速度和最终性能都全面超过了传统的均匀分布、纳什均衡、AlphaRank等静态元策略求解器，而且不需要针对不同的博弈做任何的手动调优。

从范式突破到现实局限

这项研究的意义绝不仅仅是提出了两款性能更好的CFR和PSRO变体，而是验证了一种全新的、范式级的算法研发方法论。过去，算法的设计是人类研究者凭借自己的直觉和经验在庞大的设计空间里低效地试错。而现在，我们只需要定义清楚算法的核心框架、优化目标和评估标准，就可以用大语言模型驱动的进化框架自动化地探索整个设计空间，发现那些人类直觉根本无法触及的、但是性能极其优异的算法机制。这个范式理论上可以推广到任何有明确评估指标的算法设计问题。

然而，我们也要客观地看待这项研究的局限性。首先，目前所有的实验都是在中小规模的博弈上完成的，这些博弈的状态空间相对较小、可利用度可以被精确计算。但在那些无法遍历全博弈树的大规模场景里——比如复杂的实时战略游戏、城市级的交通调度系统、大规模的多Agent协作场景——这个进化框架能不能同样有效，还有待进一步的验证。其次，进化出的这两款算法虽然实证性能非常优异，但目前还缺乏严格的理论收敛性证明，这也是这类自动算法发现方法普遍面临的挑战。

在论文的最后，DeepMind的团队提到未来的工作会把这个进化框架应用到完整的深度强化学习Agent的设计中，以及在"一般和"博弈中发现多Agent的协作机制。我们可以想象，在不远的未来，算法研发的模式可能也会发生彻底的改变。人类研究者的角色会从具体的算法设计者变成目标的定义者和进化方向的引导者，而具体的算法设计、优化、调优工作都可以交给AI来完成。人类的智慧和AI驱动的算法洞察会结合在一起，打开我们现在根本无法想象的技术边界。当AI开始设计AI的核心算法，我们距离真正的算法自我进化还有多远呢？这个问题，或许很快就会有答案。