大家好，这里是最佳拍档。

最近，一场在斯坦福大学的博士答辩引起了AI界的广泛关注。杨紫童，这位斯坦福大学统计学博士、Thinking Machines Lab的核心研究者，其毕业论文《持续自我提升式AI》的答辩视频，不仅获得了OpenAI前CTO、PyTorch之父等行业领军人物的认可，更被誉为定义下一代AI发展路径的里程碑式研究。

AI的自我进化之路

这场答辩在2026年3月3日于斯坦福举行，并由一支“神仙配置”的答辩委员会主持，包括斯蒂芬·博伊德、Percy Liang、埃马纽埃尔·康德斯、立木健典等知名教授，以及刚从Meta跳槽至OpenAI的研究员庞若鸣。他们的认可，本身就预示着这项研究的重要性。

这项研究之所以引发轰动，核心在于它精准地指出了当前AI发展面临的三大致命局限，并提出了系统性的解决方案。

核心定义：持续自我提升式AI

杨紫童给出了严谨的界定：一旦创造出来，AI就能自主且持续地自我改进，并且其改进效果要优于人类创造者。为了使定义更具实操性，他提出了两个前提假设，几乎涵盖了当前所有大语言模型：

1. 参数化（Parametrization: AI系统知识编码在一组明确的参数权重中）：AI系统基于神经网络，所有知识被编码在参数权重中。
2. 预训练（Pre-training: 资源密集型阶段，吸收人类知识并转化为参数权重）：AI系统经历资源密集型预训练，吸收大部分人类知识并转化为参数权重。

简单来说，我们现在使用的 GPT、Claude 等模型都符合这两个假设，而早期纯硬编码的智能系统则被排除在外。

基于这两个假设，持续自我提升式AI需要具备三个核心特性：

• 在初始预训练后，能持续获取新知识并融入参数权重，同时不遗忘已有能力，解决当前AI“学新忘旧”的问题。
• 能自主生成训练信号，且从自生成信号中获得的提升超过从人类生成信号中获得的提升，直接回应“人类数据终将枯竭”的担忧。
• 能自主设计学习算法以适配自生成信号，这意味着AI不再依赖人类研发新算法就能进步。

当前AI发展的三大致命局限

杨紫童一针见血地指出了AI发展面临的天花板，这源于人类创造者固有的三个局限性：

1. 训练后权重静态化：现有的AI模型一旦部署，核心参数权重就固定了。例如，与 ChatGPT 对话时，上下文长度上限导致模型进行有损的上下文压缩，容易遗忘细节。这与人类持续学习的能力形成鲜明对比。
2. 人类数据的有限性：语言模型的缩放定律（Scaling Laws）显示，模型性能随训练token数量提升，但前沿模型已接近互联网公开token总量。即使购买私有数据，人类产生的数据终究有限，而训练更强大模型的需求却是无限的，这构成了不可调和的矛盾。
3. 算法发现依赖人力：人类研发算法的过程成本高昂且效率低下，涉及想法产生、实验验证、成果形成等迭代循环。目前所用的梯度下降、Transformer 等算法仅是可能算法的子集，大量潜在优秀算法因人类认知和精力限制未能被发现。杨紫童的目标是让AI自主完成这一过程，实现“用AI来设计AI”。

持续知识获取的新范式

针对这三大局限，杨紫童提出了三个核心研究方向。第一个方向是“持续知识获取”，核心技术是合成持续训练。

合成数据与实体图：突破小众知识壁垒

这一技术旨在解决模型在预训练后如何持续学习小众领域知识，同时不遗忘已有能力的问题。例如，模型可能精通线性代数，但对最新GitHub代码库中具体类之间的关系一无所知，因为这类知识数据稀疏且缺乏多样化表征。

为解决此问题，杨紫童团队提出使用有策略地生成多样化和高质量的合成数据。他们设计了名为Quality的数据集（包含265本专业书籍，约180万token）和4000个高质量选择题，用于测试模型对新知识的掌握程度。

• 基准测试：Llama 3 8B基础模型的开箱即用准确率仅39.49%。原始数据微调后准确率降至38.15%，显示出灾难性遗忘。GPT 3.5准确率为44.81%，GPT 4为51.30%，表明即使是先进模型在小众领域闭卷测试中表现也不理想。
• 简单重写方法的局限：使用“像维基百科文章一样重写”等固定提示词生成合成数据，虽有提升，但提升缓慢且缺乏多样性，本质上是对原始内容的简单复述。
• 实体图合成数据生成技术：
  • 两阶段流程：首先从源文档中提取核心实体（如“氟化物”、“牙釉质”）。
  • 然后，让模型描述随机抽取的实体之间的关系（如“氟化物和牙釉质在预防蛀牙中的相互作用”）。
  • 这种方式通过改变提示词中的实体组合，引发模型输出的非线性变化，获得多样化训练语料。

实验结果显著：采用实体图技术，模型的闭卷问答准确率快速上升至56.22%，接近GPT 4水平。当与“开卷问答”（检索工具）结合时，准确率达到62.60%，超过单纯开卷问答的60.35%。这表明合成持续训练与检索工具是互补的，合成训练让模型记住核心知识，检索工具提供精确上下文，两者结合能实现“一加一大于二”的效果。这被认为是未来开源模型适配个性化应用场景的核心范式。

预训练能力的自主飞跃

第二个研究方向是“预训练能力的自我提升”，核心技术是合成引导预训练（Synthetic Guided Pre-training, SBP）。如果说第一个方向解决了预训练后如何学新知识，那么这个方向则旨在让预训练本身更高效、更强大。

跨文档相关性：挖掘未被发掘的知识

杨紫童团队的关键发现是，模型的后训练能力本质上是对预训练知识的泛化，而预训练才是模型能力的主心骨。困惑度（Perplexity）是衡量预训练效果的核心指标，与模型最终性能高度相关。

模型能从自然语言中学习，是因为语言存在结构性相关性，可从统计学和计算学视角理解。然而，当前预训练范式忽略了一个丰富的相关性来源：文档之间的相关性。例如，《哈利·波特与魔法石》与电影剧本、**《Attention is All You Need》**论文与 GPT 2 代码库之间存在强相关性。这些跨文档相关性包含了大量未被挖掘的知识，但现有预训练方法只单独处理文档，忽略了这种联系。

合成引导预训练（SBP）的核心正是利用合成数据挖掘这种跨文档相关性，实现预训练能力的自我提升。为避免被质疑为教师模型蒸馏，团队设计了严格的三步流程：

1. 用固定真实数据从头预训练模型。
2. 将该模型微调为一个合成数据生成器，不引入新真实文本。
3. 结合真实数据和合成数据重新预训练模型，观察性能提升。若成功，则实现预训练能力的真正自举（Self-bootstrapping）。

SBP技术实现流程

• 第一步：最近邻配对：使用DCLM数据集子集，通过嵌入模型将文档转化为词向量，依据相似度进行配对（如Transformer论文与PyTorch注意力机制代码）。构建文档关联图。
• 第二步：合成微调：以预训练模型为初始化，采用监督微调目标训练：以关联图中一侧文档为条件，最大化另一侧文档的对数概率。每个源文档可能对应多个目标文档，增加模型熵，使其捕捉复杂关联。
• 第三步：规模化合成：生成合成数据时，不使用复杂提示词，仅将生成温度设为1，对所有真实文档反复生成。目的是保证多样性，如对小众小说生成评论、分析；对咖啡馆推荐文档扩展至咖啡机、咖啡豆等。

实验验证

• 实验对比：基准组（重复真实数据）、SBP组（合成数据替代重复数据）、Oracle组（无限真实数据）。计算量相同。
• 结果：SBP组和Oracle组的测试损失持续线性下降，说明两者不断吸收新知识。基准组很快进入“饱和期”。SBP组证明了模型能突破数据限制实现预训练能力自我提升。
• 定量提升：
  • 200B token, 3B参数规模：SBP组平均问答准确率比基准组提升2.32个百分点；Oracle组提升5.54个百分点。
  • 1T token, 6B参数规模：SBP组仍提升1.32个百分点。
• 合成数据质量提升：模型规模越大，合成数据质量越高（200B规模下非事实错误率15.1%，1T规模下降至6.5%），形成“模型越强，合成数据质量越高，模型更强”的正向循环。

AI设计AI：迈向自主研究

第三个，也是最具前瞻性的方向，是“迈向AI设计AI”。杨紫童的目标是让AI自主完成从提出算法思路、编写代码、运行实验到迭代优化的全过程，摆脱对人类研究者的依赖。

AI为何能超越人类研究者？

AI在AI研究领域做得比人类更好，源于其独特优势。罗纳德·费希尔的观点指出，科学进步核心是“提出假设到实验证伪”的循环。对AI而言，提出假设即生成文本（语言模型强项），实验证伪即编写代码（计算机擅长）。Swe-Bench准确率从20%升至80%，证明AI编写和调试代码能力强大。

AI研究环境与工作流程

• 研究环境抽象：包含“上下文”（如代码库）和“价值函数”（评估想法优劣，实验结果）。
• 具体AI研究环境：
  1. 预训练环境：Python脚本执行GPT 2预训练，8张H100 GPU，评估指标为在OpenWebText 2数据集上达到测试损失3.28的时间。
  2. 后训练环境：在GSM8K数据集上训练GRPO算法，在MATH 500数据集上测试数学推理能力，1张Blackwell GPU。
• 自动化AI研究员工作流程：
  1. 构思器：根据上下文生成算法想法。
  2. 执行器：将想法转化为代码diff。
  3. 价值函数：输入diff，评估性能。
  4. 学习模块：从实验结果总结经验，迭代优化构思器。核心是迭代测试时搜索，维护想法库，结合“Exploit”（融合高价值想法）和“Explore”（生成全新思路）。

实验展现的惊人潜力

• 数学推理任务：基准准确率48.0%，AI自主优化后达69.4%，超过人类专家（68.8%），实现对人类在该特定任务上的超越。
• 预训练任务：基准完成时间36.9分钟，AI优化后缩短至19.7分钟，效率提升近一半（人类专家2.1分钟）。
• 定性结果——数学工作记忆模拟：AI生成想法“数学工作记忆模拟”，通过维护上下文缓冲区模拟人类复杂计算过程，并完整编写了MathContextBuffer类。该方法使数学推理准确率提升10%。AI产生的原创性思路甚至与研究者个人经验不谋而合。

算法演化：超越创造者的必然

在答辩最后，杨紫童提出了一个深刻观点：AI超越人类是必然的，这并非源于数量堆叠，而是源于算法本身的演化力量。当前AI胜过人类的方式（数据量大、实验次数多）只是过渡。真正的超越将源于算法的自主演化。

他引用爱因斯坦的例子：广义相对论场方程精准预言了宇宙膨胀，但爱因斯坦为迎合当时主流观点（宇宙静止）而加入了宇宙学常数，被他晚年称为“一生中最大的错误”。这说明理论一旦被创造，就可能演化出超越创造者认知的内涵。

同样，人类创造的AI也可能演化出超越人类认知的智能，这种超越并非AI是人类能力的子集，而是算法演化过程本身就是对客观规律的探索，而客观规律的深度是无限的。

杨紫童总结道：“我们不该问AI能否超越人类，因为创造物超越创造者，本身就是宇宙演化的常态。”

这项研究不仅提出了解决当前AI发展核心痛点的方案，提供了严谨的实验支撑，更引导我们思考人类与AI的关系：AI可能不仅仅是人类发明的工具，更是人类文明自身的延续和演化。

感谢收看本期视频，我们下期再见。