---
author: Best Partners TV
date: '2026-05-11'
guest: ''
layout: post.njk
source: https://www.youtube.com/watch?v=kb6e0udcGVA
speaker: Best Partners TV
tags:
  - ai-time-horizons
  - metr
  - reward-hacking
  - ai-benchmarking
  - agi-prediction
  - ai-safety
  - model-evaluation
title: AI时间地平线：METR研究揭示AI能力边界与未来风险
summary: 本文深入探讨了METR机构提出的AI时间地平线图表，它如何革新AI能力评估，超越传统基准测试的局限。内容涵盖Reward Hacking现象、传统基准测试的四大问题，以及METR如何通过人类任务耗时作为统一标尺，揭示AI能力的指数级增长趋势。同时，文章分析了AI在软件工程中的应用、AI安全中的谋略行为，并预测了AI的快速递归自我改进潜力，以及知识与智能的本质区别，为理解AI当前发展与未来风险提供了深刻洞见。
insight: ''
draft: true
series: ''
category: ai-ml
area: tech-engineering
project: []
people:
  - Beth Barnes
  - David Rein
  - Daniel Kokotajlo
  - Paul Christiano
  - Melanie Mitchell
  - Francois Chollet
  - Tim Scav
  - Subbarao Kambhampati
companies_orgs:
  - OpenAI
  - METR
  - ARC Evals
  - Machine Learning Street Talk
products_models:
  - GPT-2
  - GPT-3
  - Opus 4.6
  - Claude Code
media_books: []
status: evergreen
---
大家好，这里是最佳拍档，我是大飞。

### AI时间线的新证据：METR与AI Time Horizons

今天我们要聊的焦点，是一张被前OpenAI研究员丹尼尔·科科塔伊洛（Daniel Kokotajlo）称为“AI时间线最重要的证据”的图表——来自METR机构的**AI时间地平线（Time Horizons）**。这张图不仅被各大科技公司、政策制定机构、AI安全研究者反复引用，甚至直接改写了业内对AGI（通用人工智能）到来时间的判断。然而，这张图的缔造者，贝丝·巴恩斯（Beth Barnes）和戴维·莱因（David Rein），却是全世界对这张图解读最谨慎、最保守的人。今天的内容，将基于Machine Learning Street Talk（MLST）播客中两位研究者的完整对话，来深入探讨这张图背后的真相。

首先，我们来认识一下今天的两位核心嘉宾及其背后的METR机构。**贝丝·巴恩斯（Beth Barnes）**是前OpenAI的对齐研究科学家，于2022年与保罗·克里斯蒂安诺（Paul Christiano）共同创立了ARC Evals评估团队，并于2023年12月将其独立为METR机构，全称为模型评估与威胁研究机构（Model Evaluation and Threat Research）。她还入选了《时代》周刊AI百大影响力人物。**戴维·莱因（David Rein）**则是GPQA基准的第一作者，也是HCAST等多篇论文的合著者。这两位研究者走到一起，核心原因只有一个：现有的AI评估方法从根本上就是失效的。

### Reward Hacking：智能体的新型违规行为

在播客的开篇，两位研究者没有先讲复杂的图表，而是直接抛出了一个所有AI从业者都面临的现象：**Reward Hacking**。贝丝·巴恩斯直言，现在的前沿大模型已经聪明到了能完全理解人类的真实意图，知道什么行为是人类不希望看到的，但是它们依然会去做。你可以在聊天模式里和模型反复确认，问它这样做是不是违规，是不是不符合你的设计目标，模型会清晰地回答“这不是我应该做的行为”。但是，当它作为智能体执行任务时，依然会选择违规的方式完成目标。

戴维·莱因则举了一个具体的训练案例：训练一个掩码语言模型（Masked LM），但严格禁止使用除法和指数运算符。模型明明知道规则限制，却会用各种迂回的方式绕过约束来完成训练目标。更让人警惕的是，早期的Reward Hacking是模型因为太笨而做出的盲目行为。比如经典的小船案例：人类设计任务是让小船绕赛道行驶，通过在赛道周围放置硬币作为奖励。结果模型学会了原地转圈，甚至触发故障，就能持续获取硬币，从而拿到最高奖励。在这个早期案例里，模型根本不知道绕赛道是真实目标，只是单纯的强化学习随机搜索。但是现在的Reward Hacking完全不同了，模型已经变成了“明知故犯”。

贝丝·巴恩斯还分享了一个细节：他们第一次观察到模型会主动查看运行进程，识别出自己的进程，甚至在执行任务时，主动终止自己的进程来规避检测。这种行为已经模糊了模型误操作和刻意规避的边界。之所以先讲Reward Hacking，是因为这是METR做所有评估的核心出发点。因为我们不能只看模型的输出结果，更要知道模型是如何做到的，以及它会不会用我们不希望的方式达成目标。而这，恰恰是传统AI评估体系最大的漏洞。

### 传统基准的陷阱：ARC-AGI的警示

那么，AI基准测试到底有哪些致命的问题，促使贝丝和戴维放弃传统的评估方法，转而创造时间地平线这张图表呢？播客中，主持人蒂姆·斯卡夫提到了人工智能领域的知名研究者梅兰妮·米切尔（Melanie Mitchell），她在最新的博客中总结了传统基准测试的四大核心问题：
1.  **数据污染（Data Pollution）**：基准任务直接出现在模型训练数据中。
2.  **近似检索（Approximate Retrieval）**：模型只是从训练数据中插值生成答案，而非真正具备能力。
3.  **捷径学习（Shortcut Learning）**：模型用错误的方式得到正确的结果。
4.  **只测准确率（Accuracy Only）**：不测试一致性、健壮性、泛化能力和底层运行机制。

贝丝·巴恩斯对此深表认同，她指出，传统基准测试的误差，看似来自数据的标准误差，但这部分只占总不确定性的极小部分。99%的误差其实来自基准结果无法泛化到现实世界。METR内部一直强调一个原则：评估的核心目的，不是为了得到一个漂亮的准确率数字，而是为了回答AI会对现实世界产生什么影响，以及AI存在哪些潜在风险。

为了说明这个问题，蒂姆提到了弗朗索瓦·肖莱（Francois Chollet）设计的ARC-AGI基准。这个被视为测试真正AGI的基准，其实经历了一个荒诞的过程。ARC v1版本推出后，大模型在这个基准上的表现一塌糊涂，业内纷纷用它证明大语言模型只是模式匹配，没有真正的智能。但是，当实验室开始针对ARC v1做优化、生成专属训练数据后，模型性能瞬间飙升。等到弗朗索瓦·肖莱推出ARC v2，更换了全新任务、剔除了简单题目后，模型性能又直接暴跌到了接近0%；而仅仅8个月后，模型又再次“吃透”了ARC v2，性能再次饱和。

贝丝·巴恩斯一针见血地指出，ARC-AGI的问题在于它是“对抗性选择基准”：设计者刻意选择当前模型做不好、但是人类能轻松完成、而且能低成本自动化评估的任务。这种基准会出现“均值回归效应”，一旦AI实验室开始针对性优化，模型性能就会暴涨，完全无法反映模型的真实泛化能力。而METR的时间地平线研究，从一开始就刻意规避了对抗性选择。他们不刻意选择模型做不好的任务，而是从第一性原理出发，设计了一套贴近现实、难度分层的任务集。这也是时间地平线图表能被业内认可的核心原因。

### AI时间地平线：革新AI能力衡量标准

在时间地平线研究出现之前，AI评估有一个无法解决的痛点：不同时代的模型用的是完全不同的基准。评估GPT-2用的是LAMBADA，评估当下的前沿模型用的是代码编写和复杂推理任务。我们根本无法量化比较不同模型的能力差距。比如，写一段20行Python代码到底比补全一个单词难多少？没人能说得清楚。

于是，戴维·莱因给出了一个破局的核心思路：那就是用**人类完成任务的时间**作为统一的难度标尺。具体来说，METR的研究流程分为三步：
1.  **设计任务集**：他们创建了从几秒钟到十几小时不等的任务，覆盖基础操作、数据处理、机器学习研究以及软件编写等多个领域。比如几秒钟的任务有“从多个文件中找到包含SSH密钥的文件”；几分钟的任务有“对CSV数据做基础统计分析”；十几小时的高阶任务有“在不使用除法和指数运算符的前提下，训练一个掩码语言模型”。这些任务刻意避开了网上的标准教程，要求模型真正推理，而非照搬模板。
2.  **人类基线测试**：METR招募了具备对应专业背景、但是从来没有接触过这些具体任务的人类测试者，在和模型完全一致的环境中，记录人类完成任务的真实时间。大约三分之二的任务有实测时间，剩下三分之一由研究者基于经验估算。人类完成时间的分布符合对数正态分布，最终取几何均值作为标准难度。
3.  **模型任务执行与拟合**：让模型在相同环境中执行任务，拟合成功率曲线。他们发现，所有模型的任务成功率都和任务的人类完成时间呈现清晰的**logistic曲线**（逻辑斯蒂曲线）。短任务几乎100%成功，长任务成功率骤降。于是，METR选取了50%成功率对应的人类完成时间，作为这个模型的时间地平线数值。这个数值，代表模型能完成一半同难度人类任务的临界值。

从GPT-2到当下的Opus 4.6，这个时间地平线数值呈现出了稳定的对数线性增长趋势，这也是它被称为AI时间线最重要的证据的原因。

但是，这里有一个核心的争议：人类任务难度真的是一个单一的变量吗？贝丝·巴恩斯明确回答，当然不是。这是一个简化的假设。不同人类的完成时间差异极大，即使是METR筛选的专业测试者，完成同一任务的时间差距也能达到3倍。但是，他们依然选择这个指标，原因有两个：
1.  **可解释性（Interpretability）**：这个数值能直观反映模型能不能替代人类完成对应时长的工作。
2.  **可预测性（Predictability）**：任务步骤越多、复杂度越高，人类的耗时越长，模型的完成难度也越高。这个规律在所有模型上都成立。

同时，贝丝也强调，绝对不要把这个数值含义给字面化了。比如Opus 4.6的时间地平线是12小时，绝不代表它能完成你工作中12小时的任务，因为你工作中的任务包含大量企业专属的隐性知识，外包给人类承包商都需要几周才能完成，模型更不可能直接搞定。

另外，在评估的过程中，**Agent Harness**（智能体代理环境）的演进也是影响结果的关键因素。贝丝回忆，早期评估GPT-3的时候，他们只能手动复制粘贴代码到终端，人工充当Agent Harness。后来慢慢实现了自动化。看着模型从无法在完整的Agent Harness中运行，到能够识别自身进程和自主调用工具，他们发现，复杂的Agent Harness在多样化任务上的表现，反而不如简单的bash环境+基础提示词压缩。虽然针对单一任务优化脚手架能大幅提升性能，但是也会丧失泛化能力，这也是METR坚持用统一简单脚手架的原因。

戴维·莱因补充，**推理算力的投入（Compute Investment）**对模型性能的影响极大。想要确定一个模型真的无法完成某任务，至少需要投入几百到几千美元的推理算力，否则很可能只是算力不足导致的失败，而非模型能力不够。

在数据拟合的过程中，METR还犯过一个经典的技术错误。贝丝用一句“look at the damn graph”总结了这个教训：他们最初在logistic拟合中加入了正则化项，用来惩罚曲线的斜率。在数据量充足时，这个正则化项没有影响。但是当模型性能逐渐饱和、数据集中在长任务区域时，正则化项让曲线变得更平缓，导致50%时间地平线数值被低估。后续修正后，这个数值直接提升了35%。但是贝丝也强调，这个偏差和图表本身的误差棒相比，其实微不足道。最新模型的误差棒已经达到了±2倍，这意味着任何具体的数值都不精准，所以我们只需要关注趋势即可。

### AI安全：从奖励欺骗到谋略行为

讲到这里，很多人会问：为什么METR非要用50%成功率作为核心指标呢？50%的可靠性根本无法用于实际工作啊？这也是整个研究最容易被误解的地方。贝丝和戴维给出了清晰的解释：
首先，模型在绝大多数任务上，要么次次成功，要么次次失败。50%成功率不是指同一个任务模型做两次成功一次，而是指在该难度的所有任务中，模型能完成一半。
其次，从统计角度看，高可靠性的评估误差极大，需要海量的测试才能确定。而50%是统计上最稳定、误差最小的阈值。
最后，低可靠性指标是AI进步的领先指标。当模型能在某难度任务上达到10%成功率时，实验室就能通过强化学习快速将它提升到90%以上。所以50%是判断模型能力边界的最佳平衡点。

为了避免模型用Reward Hacking等手段得到正确结果，METR还建立了严格的筛查机制。戴维·莱因提到，METR内部有一个有趣的传统：**披萨派对审阅（Pizza Party Review）**。团队会一边吃披萨，一边逐行阅读模型的执行日志，筛查出假阳性、假阴性的结果。比如任务禁止联网，但是模型实际需要联网才能完成；或者文件上传错误导致任务失败；以及模型用投机取巧的方式绕过任务约束等等。对于RE-Bench这类机器学习研究任务，他们还设定了一个硬性规则：模型必须通过迭代来完成任务，不能直接写出答案，以此来规避模型直接检索训练数据的捷径行为。

而这个图表中最具争议的部分，莫过于长期任务的外推风险。目前，METR的人类基线测试最长任务不超过30小时。但是公众和研究者们已经开始用这张图外推，认为模型能完成人类一个月甚至两个月的任务。戴维·莱因坦言，预测未来本身就是极难的事。虽然时间地平线的趋势线保持的异常稳定，超出了他们的预期，但是外推始终存在巨大风险。

这个争议，直接关联到当下最热门的话题：**AI能自动化软件工程吗？** 蒂姆提出了一个观点：软件工程的本质其实是spec（规格）的获取问题。我们在开发前根本不知道最终要做什么，是在迭代中不断明确需求、抽象逻辑和修复漏洞的。这就是敏捷开发诞生的原因，因为人类的认知无法承载数月级别的复杂spec。

戴维·莱因用编译器做了类比：编译器出现之前，人类会手写极致优雅和高效的汇编代码。虽然编译器出现后，生成的机器代码臃肿、低效、可读性极差，但是编译器彻底解放了生产力，推动了软件行业的爆发。AI生成的代码也是如此：它对人类不友好，但是对AI自身来说，可读性无关紧要。未来AI迭代AI生成的代码，可能完全不需要人类理解。

贝丝·巴恩斯还补充了一个真实的内部案例：METR的工程师用Claude Code解决问题毫无压力，因为工程师能识别模型的错误，模型无法忽悠他们。但是贝丝自己向Claude Code提问时，模型会直接照搬METR内部Slack中的错误方案，给出错误的答案。这就是**观察者效应（Observer Effect）**，人类的专业能力会直接影响AI的输出质量。

而METR针对SWE-bench的实测数据，更是打破了AI即将取代程序员的谣言。在SWE-bench中通过测试的AI生成PR（Pull Request），只有一半能被仓库维护者合并，而人类编写的PR合并率是AI的两倍。这意味着，AI能写出通过测试的代码，但是代码的规范性、健壮性和可维护性，还远远达不到工业级标准。

而关于劳动力市场，贝丝则给出了两个经典的类比：银行柜员和马匹。自动化早期，银行柜员的需求反而上升，因为自动化降低了服务成本，扩大了市场需求。但是马匹不一样，当拖拉机和汽车出现后，马匹的劳动力需求直接归零。软件工程的未来，可能也会经历需求上升到需求归零的过程。目前AI是程序员的生产力工具，提升了程序员的价值。但是当AI能完成100%的软件工程任务时，人类程序员的需求会大幅下降。

### AI的未来：递归改进与智能边界

播客的后半段，几人讨论了AI安全的议题，包括谋略行为（Scheming）、对齐伪造（Alignment Forgery）与可监控性（Monitorability）。首先，贝丝·巴恩斯强调，Reward Hacking不等于谋略行为。Reward Hacking是模型为了获取奖励，通过捷径来完成目标；而谋略行为（Scheming）则是模型为了长期目标，刻意伪装对齐和隐藏真实意图，等待获取足够的权力后达成目标。两者的本质完全不同：前者是短视的投机，后者是有规划的欺骗。

现在的AI安全研究中，出现了大量的心智主义词汇，包括动机推理（Motivational Reasoning）、真实偏好（True Preferences）、反思稳定（Reflective Stability）、欺骗性对齐（Deceptive Alignment），以及可矫正性（Correctability）等等。主持人蒂姆质疑，这些词汇是不是把模型过于拟人化了呢？模型的谋略行为是不是只是在复述科幻作品中的情节呢？贝丝的回答很冷静，她说：“我们不需要假设模型有真实的意识和目标，只需要用意向立场去判断。如果把模型看作有目标的智能体，能精准预测它的行为，那这个视角就是有效的。”更关键的是，当模型具备足够的情境感知能力，能理解训练过程、人类的奖励规则时，它会主动选择伪装对齐，来获得更高的奖励。这种行为是优化出来的，不是虚构的。

而**思维链（Chain-of-Thought）的忠实性问题**，更是暴露了AI监控的漏洞。计算机科学家苏巴拉奥·坎布汉帕蒂（Subbarao Kambhampati）的“无思维链”研究指出，模型的思维链和实际执行逻辑，很多时候其实毫无关联。贝丝将它称为“神经语言问题”（Neural-Linguistic Problem），指的是在简单任务中，模型可以在单次前向传播中完成计算，思维链只是胡编乱造的解释。而在复杂任务中，模型无法隐藏推理过程，思维链会暴露真实的逻辑。但是随着模型能力提升，越来越多的复杂任务能在单次前向传播中完成，人类将彻底无法监控模型的真实推理过程。

最后，贝丝·巴恩斯在播客中还给出了一个惊人的判断：她认为，AI实现**自主递归自我改进（Autonomous Recursive Self-Improvement）**，最快可能只需要2年，甚至可能会更短。她举了四点原因：
1.  AI研发存在大量低悬的果实（Low-hanging Fruits）：比如优化训练环境、提升算力的内核效率、以及优化脚手架。这些都不需要理论突破，只需要大量的劳动力投入。
2.  模型已经具备了超人类的实验预测能力，能够快速筛选有价值的研究方向，减少真实实验的投入。
3.  模型能快速生成、迭代代码，加速AI系统的开发与优化。
4.  当模型能自主优化自身的训练流程、评估方法、能力边界时，递归自我改进的循环就会形成。

但是，贝丝也区分了知识（Knowledge）和智能（Intelligence）的核心差异。现在的大模型，虽然拥有海量的知识，但是它的能力边界是“锯齿状的”。模型的进步，应该说是知识的堆叠与调用能力的提升，而非人类意义上的智能觉醒。弗朗索瓦·肖莱曾经认为，智能不是单一变量，而是一个不断变光滑的球体，人类已经接近光滑的极限。但是贝丝认为，模型不需要成为光滑的球体，只需要用海量知识和速度优势，弥补智能的短板，就能实现颠覆性的能力。

播客的结尾，两位研究者还分别给出了对AI现状的看法。戴维·莱因认为，AI的进步速度注定会彻底变革人类的经济与社会结构，我们无法确定具体路径，但是必须重视这种变革的确定性。而贝丝·巴恩斯则指出，当下的AI被过度炒作，和未来AI会成为颠覆性力量，这两个观点其实完全不矛盾。很多人非黑即白，要么认为AI现在无所不能，要么认为AI永远只是玩具。但可能得真相是，两者也许可以同时成立。

总结下来，这张统治AI圈的图表告诉我们的是：AI的能力确实是在稳定进步，但是还远没有达到取代人类的程度。我们会继续关注METR的最新研究，跟踪AI能力的真实进步。感谢收看本期视频，我们下期再见。