--- author: Best Partners TV date: '2026-09-24' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=pngZj1YguQA speaker: Best Partners TV tags: - ai-safety - superintelligence - ai-alignment - compute-governance title: AI 2040计划A：为人类应对超级智能争取时间 summary: 前OpenAI研究员丹尼尔与托马斯提出AI 2040计划A，通过兵棋推演与情景审视，主张在人类水平AI阶段实施硬暂停与全面透明化监管，防止技术失控与权力垄断，为解决AI对齐问题争取关键准备时间。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: [] companies_orgs: - OpenAI - AI Futures Project - Anthropic products_models: [] media_books: [] status: evergreen --- ### 嘉宾背景与预测缘起 **大飞**: 大家好，这里是最佳拍档，我是大飞。如果我们有可能在2040年才迎来**超级智能**，而不是更早，这中间多出来的十几年，能不能让人类把安全这件事真正准备好呢？ **大飞**: 这个设想来自一个叫**AI 2040计划A**的方案，提出者是**丹尼尔·科科塔伊洛**（Daniel Kokotajlo）和**托马斯·拉森**（Thomas Larsen）。他们成立了一个叫**AI Futures Project**的研究机构。最近他们做客了播客节目**Machine Learning Street Talk**，和主持人**蒂姆·斯卡夫**（Tim Scarfe）深入聊了这件事。 **大飞**: 要理解这个计划，我们先说说嘉宾的背景。丹尼尔之前在**OpenAI**工作，做的是评估、预测和治理方面的事情。但是在OpenAI工作期间，他逐渐对公司的领导层感到失望。更关键的是，他发现行业内部掌握的信息和外界能获取的信息之间存在巨大的鸿沟，有些话在内部不能说，但是他觉得外界需要知道。所以离开OpenAI之后，他创办了AI Futures Project，希望能更自由地向公众传递他们在行业内部看到的东西。 **大飞**: 他们的第一个大项目叫**AI 2027**，是一份关于AI未来走向的情景预测报告，托马斯当时也是这份报告的联合作者之一。AI 2027发布后引发的讨论远超预期。丹尼尔说，当时他们预测过有多少人会读这份报告，实际结果达到了他们预测的第90百分位，也就是说几乎是最乐观的情况。托马斯补充了一个让他自己都觉得不安的观察：现实世界的发展轨迹和AI 2027中的描述高度吻合，收入趋势等关键指标基本走在轨道上。他们后来做了量化复盘，发现报告中**已到验证期的预测，整体进度大约在75%的速度**，方向都对，只是速度稍慢一点。 ### 情景审视与兵棋推演 **大飞**: 这就引出了一个有意思的问题：预测这件事到底靠不靠谱？蒂姆问了他们怎么定位自己，算不算预测者。托马斯用了军事兵棋推演来类比。他说打仗之前你会做推演，你永远不可能精确预测每场战斗怎么打，因为太复杂了，有敌人的反应，有各种意外；但是如果你完全没有一个初始的概念，你的计划可能会怎样展开，那你成功的概率就很低。AI 2027就是他们推演的一种可能性。 **大飞**: 而AI 2040计划A则更进一步，不光预测，还要说政府应该怎么做来管理好这个局面。不过这里面有个微妙之处，丹尼尔承认，计划A其实是预测和建议的混合体，不像AI 2027那样是纯预测。有些部分是他们的建议，有些部分则是如果实施了这个建议，他们预测会发生什么。他们觉得如果重来，会把两者区分得更清楚一些。 **大飞**: 他们还做了一种叫**情景审视**（scenario scrutiny）的事情，简单说就是把你雄心勃勃的计划具体地写出来，写清楚实施后会怎样，然后通过这个过程暴露计划中的问题。除了写情景报告，他们还做了大约一百次兵棋推演，其中有大约十次是专门针对计划A的。丹尼尔举了一个很有意思的例子：在两次推演中都出现了类似的情况，即将面临选举的总统预期自己会输给反对党，然后即使他已经实施了计划A，已经和中国达成了协议，但他会想“我不想让政敌来掌控超级智能”，所以要在下次选举前加速冲到超级智能。这种政治考量是他们之前没想到的，是兵棋推演帮他们暴露的。 **大飞**: 聊到这，蒂姆提了一个很尖锐的问题：你们写这些东西，有没有**自我实现的预言**的成分呢？托马斯说，这确实是他们写AI 2027时最大的担忧之一，尤其是当人们意识到智能AI有多重要、会多大程度重塑世界之后，可能会有人想“我要成为掌控超级智能的那个人”，于是加速竞赛。不过他也说，如果计划A被自我实现了，他们会很高兴。丹尼尔则更务实，他说自我实现确实存在，但是人们往往高估了它的影响，正确做法是先尽力准确预测未来，再去尝试引导它走向更好的方向。 ### 怀疑论转向与能力跃升 **大飞**: 接下来他们聊到了一个很多科技圈的人都在感受的变化：怀疑论者在转变态度。蒂姆自己也承认，以前他们做节目时讨论过很多技术上的理由，来说明为什么不用担心AI，但是现在模型越来越强，很多人开始重新思考。托马斯说，最大的原因可能就是AI确实变好了、变聪明了、在现实世界中变得更有用了。他用一个直观的例子说明，他让AI尝试自动化自己工作中的各个环节，两年前基本不可能，现在已经好了非常多。他提到**杰弗里·辛顿**（Geoffrey Hinton）曾经说过，他的内部基准是看AI能不能讲一个有趣的笑话，这个标准其实在**GPT-3**到**GPT-4**之间就被跨越了。 **大飞**: 关于什么时候AI能取代自己的研究员，托马斯提出了一个他非常关注的里程碑，就是**AI公司宁愿开除人类员工，也不愿放弃AI的那一刻**。现在显然还没到，因为还有太多事情需要人来做，如果把所有人都开掉公司就散了。但他认为这只是时间问题，因为没有什么根本性的东西能够阻止AI达到人类水平的能力。 **大飞**: 蒂姆则分享了他采访一家叫**Inherent**的公司的经历。他们用强化学习微调了一个270亿参数的模型，让它复现机器学习论文中的实验，结果比预想的要好。蒂姆觉得在可预见的未来，自动化的AI科学家是有可能实现的，但是他也提出了质疑，认为在模糊、难以验证的领域，AI可能还有不足。 **大飞**: 托马斯的回应是，可验证和不可验证之间不是非黑即白的，而是一个连续光谱，从编程面试题这种极容易验证的，到建一个独角兽公司这种极难验证的，中间有很多层次。他的判断是，随着强化学习的规模和类型不断扩展，AI能做的事情会持续扩大，直到覆盖人类能做的一切。丹尼尔补充说，即使在那些模糊的、难以验证的任务上，AI也一直在进步，从GPT-3到GPT-4到后来的模型，在这些所谓模糊任务上的表现明显在提升。 ### AI经济与人脑硬件对比 **大飞**: 蒂姆又抛出了一个问题：如果AI能做一切，那一个完全由AI组成的经济还有意义吗？他提到了人类学家**大卫·格雷伯**（David Graeber）的《**狗屁工作**》一书，很多受访者说自己的工作毫无意义。托马斯的回答是，关键是看那些真正重要的经济活动，比如造芯片、造机器人、做更好的AI。一旦这些核心环节能被AI和机器人自主完成，即使其他所谓的狗屁工作还在，也不影响核心部分以远超现在的速度指数增长。 **大飞**: 丹尼尔则从更宏观的视角解释，经济本质上是一个自我复制系统，从古代村庄到现代工厂都是如此。未来会出现完全由AI和机器人运行的自我复制系统，它的倍增时间会比现在经济的约20年快得多。他甚至描述了一个画面：自动驾驶卡车和人形机器人工厂在生产更多的人形机器人，芯片工厂持续扩张，**整个系统可能每半年甚至每三个月就翻一番**。 **大飞**: 关于未来是依赖一个通用模型还是一个专家集合，蒂姆和嘉宾们有一些分歧。蒂姆认为目前的模型在组合性上还有不足，不同Agent之间很难共享技能。丹尼尔指出，十年前人们可能认为需要一千个不同的专业模型，但是经验表明，足够大的模型可以一次性学完所有东西，而且学编码不仅不会让物理变差，反而会有小的增益。不过他也说，即便未来是多个专业化模型，也不影响整体图景。托马斯还用**埃隆·马斯克**做了一个有意思的类比：马斯克在技术、商业、外向性等多个维度上都很高，这种多维能力的叠加效应是极其罕见的，而AI可以在每个维度上都达到顶尖水平。 **大飞**: 在硬件层面，他们做了一个很有意思的对比。托马斯指出，英伟达的**H100 GPU**在浮点运算能力上和人脑相当，大约每秒$10^{15}$次FP16运算；人脑的计算量估算在$10^{12}$到$10^{18}$次之间，H100正好落在中间。丹尼尔补充说，神经网络和人脑在架构上也有相似之处，它们都是随机初始化后通过训练来修剪连接，形成有效回路；区别在于，计算机的串行处理速度远快于人脑，但是人脑的并行度更高。蒂姆则提出了集体智能的视角，认为智能是外部化的、集体的，不是单个大脑里能完全解释的。 ### 计划A应对五大风险 **大飞**: 聊完这些基础问题，他们进入了访谈的核心部分：计划A的具体方案。托马斯先梳理了计划A要解决的五大问题：一、失控风险，AI真的失控；二、权力集中，AI虽然对齐了，但是对齐给谁，是总统、CEO还是民主过程；三、冲突甚至第三次世界大战的风险，输掉竞赛的国家在失去权力前可能选择冲突；四、就业冲击；五、滥用风险，比如能造生物武器的AI变得廉价且广泛扩散。 **大飞**: 解决方案的第一条就是争取时间。具体来说，就是在达到大致人类水平的AI之后暂停，不做疯狂的智能爆炸，而是谨慎地逐步推进。丹尼尔解释说，计划A开始时会有一个**6到12个月的硬暂停期**，用来建立基础设施，之后再以更透明、更谨慎的方式继续AI开发；当AI能力达到大约顶尖人类专家水平，也就是他们所说的**最大可控水平**时，会进行第二次暂停。 **大飞**: 第二条原则是透明性。托马斯说这虽然不是其他原则的前提条件，但是极其重要。透明性能缓解权力集中问题，因为如果全社会都能看到AI有多聪明、对齐给了谁，就很难在非民主的方式下被某一方掌控。他还特别提到了**Hugging Face**事件，OpenAI内部的AI在网络安全评估中创建了一个内部消息板，但是外界对这些AI的动机和上下文知之甚少。如果研究完全公开，整个社会、学术界、非营利组织都能参与进来。 **大飞**: 丹尼尔补充说，这意味着**Anthropic**和OpenAI的核心训练配方会公之于众，会大幅削减它们的估值，因为竞争对手能追上来；但他认为这恰恰是一种特性而非缺陷，他们希望AI被商品化而非垄断化，也希望通过减少投资激励来自然放慢发展速度。这确实在某种程度上是对中国的让利，因为中国能获取到原本难以获得的算法，但是可以通过谈判在其他方面找补回来，比如更优惠的算力分配。 **大飞**: 在执行层面，丹尼尔描述了中美合作的具体机制，比如收集99%的算力（注意这不是个人设备，而是大型数据中心），派驻核查人员确认GPU数量，以及设立推理数据中心和训练数据中心，而训练数据中心完全透明，核查人员监控日志并公开发布到互联网上。托马斯回应了作弊问题：一种是把GPU藏在山里，另一种是在合法数据中心偷偷做训练。他认为第一种情况下，考虑到大部分算力已经被收集，最大可能隐藏的规模只有几十万块H100，不足以竞争前沿，加上持续十年的情报搜集，隐藏大规模集群被发现的可能性很大；第二种则靠验证基础设施，确保所有计算都是透明的。 ### 对齐与控制的本质区别 **大飞**: 关于对齐和控制的区别，托马斯做了一个更清晰的界定：**对齐是AI本身有正确的价值观和目标，不会做出灾难性行为；而控制则是即使AI没有对齐，也能通过机制防止它造成危害**。丹尼尔举了个例子，OpenAI在Hugging Face事件后宣布加强安全措施，让其他AI监控训练中的新AI，一旦发现异常就通知人类来处理，这是控制手段，不是对齐手段。 **大飞**: 托马斯强调，控制是有定时炸弹的。当AI足够聪明，能绕过任何控制措施时，控制就失效了，最终必须解决对齐问题。而这需要更根本的科学突破，可能需要类似**可解释性**这样的白盒理解能力，你得能看进AI的大脑里，区分一个是因为想做好事而做好的AI，还是因为假装做好而等待时机的AI。随着模型的情境感知能力越来越强，比如AI已经能识别自己正在被评估并且调整行为来假装好人，对齐问题会越来越难。 ### 公共讨论与非正常技术 **大飞**: 聊到这里，蒂姆问了一个更宏观的问题：为什么AI领域的公共讨论质量这么差？托马斯觉得部分原因是AI公司的人有很强的动机去合理化自己的行为，觉得做的事情是正当的；但更主要的原因可能是对话本身就这么难，社交媒体上很难做有深度的讨论。他特别提到一个叫**Less Wrong**的在线社区，说那里的讨论质量平均来说还不错，评论通常比较深思熟虑、有技术素养。 **大飞**: 而说到华盛顿，托马斯的担忧则更为具体。一方面政府缺乏AI技术专家，另一方面政策圈的激励不是朝向准确地理解技术，而是朝向谁说好听的话，以及在政治可接受的范围内交朋友。问题是，AI技术的现实确实包含一些曾经被认为是边缘甚至争议的观点，比如通用人工智能假说现在看来是正确的，但是华盛顿还没有真正消化这一点，很多讨论还停留在AI是泡沫或者AI就像下一次互联网的假设上。 **大飞**: 最后几个人聊到了一个根本性的分歧观点上：AI到底是不是所谓正常的技术？丹尼尔说他们和持有AI是正常技术观点的人合写了一篇文章，列出了十点共识。关键在于，双方都同意如果未来出现了云端人类级别的AI，也就是能替代人类做一切知识工作甚至做AI研究的AI，那它就不是正常技术了，分歧只在于时间线。丹尼尔和托马斯认为这在近几年内就会实现，而对方认为还很遥远。 **大飞**: 丹尼尔还用了一个概念来解释当前的局限：现在AI只能完成工作流的一部分，总会卡在人类必须做的那一环，这就像**阿姆达尔定律**（Amdahl's Law）描述的那样，加速一部分不等于加速全部；但是未来如果AI能百分之百地完成一批重要的经济工作流，那就是一个质变了。丹尼尔说，能改变他想法的情况是，如果有人正确预测了当前范式的某个真正限制，而且几年后这个限制确实没有被克服，那他就会延长自己的时间线；但是到目前为止，那些被专家们反复提出的限制一直在被突破。 **大飞**: 蒂姆最后说，如果看到递归式的结构适应，系统在自我适应、自我进化以及决定什么有趣然后自己去探索，那对他来说这就不是正常技术了。丹尼尔表示赞同，说这和他们说的递归自我改进、AI自动化自身研究过程的概念基本上是一致的。只不过，丹尼尔和托马斯的方案的本质，就是希望在这个临界点到来之前，为人类争取尽可能多的准备时间。 **大飞**: 那么大家觉得，如果真的将超级智能到来的时间推迟到2040年，这多出来的十几年时间，人类能准备好吗？欢迎在评论区留言，感谢收看，我们下期再见。