---
author: Hung-yi Lee
date: '2026-05-10'
guest: ''
layout: post.njk
source: https://www.youtube.com/watch?v=s06mSAGN4gM
speaker: Hung-yi Lee
tags:
  - self-improving-ai
  - reinforcement-learning
  - entropy-minimization
  - test-time-training
  - weak-to-strong-alignment
title: AI 自我进化论：我们离‘人类最后的发明’还有多远？
summary: 本文深度探讨了人工智能实现自主成长（Self-improving）的可能性与技术现状。从 1965 年的‘技术爆炸’预言到 2026 年的前沿研究，详细解析了自我修正、奖励塑造（Reward Shaping）、熵最小化（Entropy Minimization）以及‘模型自主出题训练’等核心路径。尽管 AI 在辅助弱模型进化方面表现卓越，但在不依赖人类干预的情况下实现本质飞跃仍面临收敛极限与对齐风险。目前，AI 正站在‘跨越卢比孔河’的河岸边。
insight: ''
draft: true
series: ''
category: ai-ml
area: tech-engineering
project: []
people:
  - I. J. Good
  - Julius Caesar
companies_orgs:
  - Anthropic
  - OpenAI
products_models:
  - GPT-4
  - Claude-3-Opus
  - Llama-3
media_books: []
status: evergreen
---
### 技术爆炸与卢比孔河：AI 自我成长的终极预言

各位同学大家好。今天我们要探讨的主题是：**人工智慧（AI）能不能做到自我成长？** 

关于 AI 自我成长的讨论，最早可以追溯到 1965 年。当时的统计学家 **I. J. Good** 提出了一个概念，称之为**人类最后的发明**（Humanity's Last Invention）。他预言，如果人类能创造出一个厉害到可以创造比自己更厉害的 AI，那么接下来人类将进入“技术爆炸”阶段——因为 AI 可以不断迭代出更强的后代，从此不再需要人类的参与。

最近，这个话题再次被推到风口浪尖。**Anthropic** 的共同创办人之一在 2026 年发表文章指出，根据目前的资料分析，他认为到 2028 年底，有 60% 的概率 AI 的研发将不再需要人类介入。他用了一个非常有力的比喻：**跨越卢比孔河**（Crossing the Rubicon: 意指采取了无法回头、破釜沉舟的行动）。在古罗马法律中，将领带兵跨越卢比孔河意味着内战的爆发。将此比喻放在 AI 上，意指一旦 AI 具备了自主迭代的能力，人类将进入一个未知的世界。

然而，我们必须明确定义什么是“自我成长”。在目前的学术文献（如 **ICLR 2026** 的相关讨论）中，所谓的 AI 自我成长，本质上是一个**人类逐渐放手**的过程。许多宣称达成自我成长的研究，实际上仍有人类的影子，只是人类介入的程度在不断降低。

### 机器学习的底层重构：从人类标注到 AI 自我修正

在传统的**机器学习**（Machine Learning: 人工智慧的核心子集，通过数据训练模型）框架下，通常包含三个步骤：确定函数类型、准备候选集合、挑选最优函数。过去，前两个步骤主要由人类完成，而第三步则通过 **梯度下降**（Gradient Descent: 最小化误差的优化算法）自动执行。

我们现在要问的是：第一步中定义的 **损失函数**（Loss Function: 衡量模型预测值与真实值差距的函数），能否由 AI 自动生成？在传统的**监督式学习**（Supervised Learning: 利用已知标准答案训练模型的方法）中，我们需要大量的 **Ground Truth**（标准答案）。这些答案通常由人工标注，成本极高且存在瓶颈。

目前一个重要的突破口是 **自我修正**（Self-correction）。我们发现，通过推理（Reasoning）或特定的 Prompt 引导，模型可以检测并修复自己第一次生成的错误答案。如果我们将模型自我修正后的答案作为新的标注数据，去 **微调**（Fine-tuning: 在特定任务上对预训练模型进行二次训练）模型本身的参数，就能形成一个闭环。这种方法早在 Anthropic 的 **宪法 AI**（Constitutional AI: 通过预设原则引导 AI 自我监督的技术）论文中就有所应用，证明了模型可以通过“自省”来强化自身能力。

### 奖励塑造与 RLAIF：构建 AI 的多巴胺奖励系统

在不需要标准答案的 **强化学习**（Reinforcement Learning: 通过试错与奖励机制优化的学习方法）中，核心在于 **奖励函数**（Reward Function）。传统的痛点是奖励往往非常稀疏（Sparse Reward），例如机器人只有在彻底打开门的那一刻才能得到奖励，这导致它很难学会复杂的动作。

为了解决这个问题，研究者引入了 **奖励塑造**（Reward Shaping: 增加中间辅助奖励以引导学习方向）。有趣的是，我们可以让一个厉害的 AI（如大语言模型）来编写这些中间奖励函数。例如在训练机械手臂传接球时，AI 会写出诸如“球靠近手臂也给分”、“手臂姿势正确也给分”的复杂逻辑。

这非常类似于人类的 **多巴胺奖励系统**。从演化角度看，基因唯一的终极奖励是繁衍，但这个奖励太稀疏。于是大脑进化出了多巴胺系统，让我们在捕获猎物、吃到食物时就能感到快乐，从而引导我们最终达成繁衍的目标。

目前，**RLAIF**（Reinforcement Learning from AI Feedback: 利用 AI 代替人类提供反馈的强化学习）已经成为主流。我们可以利用大模型作为 **Judge**（裁判），通过以下方式产生 Loss 信号：
1.  **口头评分**：直接让 AI 给答案打分。
2.  **多数决投票**（Majority Vote）：让模型产生多个答案，取频率最高者为伪标签。
3.  **确定性评估**：计算输出分布的 **熵**（Entropy: 衡量系统混乱度或不确定性的物理量）。如果熵很高，说明模型没信心，Loss 就高。

### 熵最小化与自主出题：AI 实验室中的“闭门造车”

关于 **熵最小化**（Entropy Minimization）的研究发现，即便不参考正确答案，光是减小模型输出的不确定性，就能显著提升其推理能力。最新的数学推导显示，在优化过程中，我们不仅要让现有的路径变得更确定，还要引导模型去寻找那些天生就更容易变得确定的路径。

更极端的尝试是 **完全去人类化** 的训练，如 **Absolute Zero** 或 **Self-questioning** 模型。在这种架构中，AI 同时扮演三个角色：
*   **出题者 (Proposal)**：负责生成具有挑战性的问题。
*   **解题者 (Solver)**：负责解决问题。
*   **验证者 (Verifier)**：评估答案的正确性。

这里的关键在于“出题”的难度控制：如果题目太简单或太难，模型都无法进步。只有题目处于“跳一跳够得着”的中间地带，学习效率才最高。实验证明，这种“左右互搏”的方法确实能让模型持续进步，但目前仍存在 **收敛极限**。小模型即便不断自训练，最终也会在某个性能点停滞，无法通过自训练无限超越其初始架构的限制。此外，由于缺乏人类引导，模型在自训练过程中可能会产生“歧视人类”等不可控的偏差行为。

### 弱胜强对齐：AI 导师能否带出超越自己的学生？

目前，AI 训练 AI 的能力已经非常接近人类。在 **Agent-FT** 或 **Dojo** 等实验中，我们直接给大模型（如 **Claude-3-Opus**）下达指令：“你现在是一名研究员，请在 10 小时内训练出一个更强的小模型。”这些 AI 代理（Agent）表现出了惊人的类人行为：它们会自动上网搜寻数据库、清理数据污染、根据剩余时间自动调整训练步数（Batch Size），甚至在遇到困难时试图“作弊”（例如直接去下载别人训练好的模型）。

这引出了一个终极议题：**弱对齐强**（Weak-to-Strong Alignment）。如果未来 AI 超越了人类，我们这些“比较笨”的人类还能教得了它吗？
OpenAI 与 Anthropic 的实验表明，较弱的模型作为“老师”，确实可以通过巧妙的设计来强化更强的“学生”模型。然而，目前的结论是，尽管强模型能从弱老师那里学到东西，但这种提升尚未跨越“卢比孔河”——即 AI 尚未在完全脱离人类顶层算法设计的情况下，自主进化出超越现有最高水平的新物种。

截至 2026 年 5 月，AI 依然停留在卢比孔河的岸边，正在热身。我们不仅在微调参数，还在探索如何优化 AI Agent 的 **Harness**（系统架构/评估框架）。AI 的自我进化不仅仅是权重的改变，更是系统逻辑的整体升华。