AI失控的阴影与对齐的挑战

最近，特斯拉的擎天柱机器人开始跳舞，这标志着机器人进入工厂拧螺丝、进入家庭洗衣做饭的日子又近了一步。是时候提前担忧，探讨如何预防机器人“造反”了。今天，我们将深入了解AI大佬和AI巨头们在当前时间节点，是如何思考防止AI伤害人类这件事的。

我做了一份调研，发现当前有4种人机对齐的思路，它们分别是：第一种思路，打造一条“缚神索”；第二种思路，给AI戴上“紧箍咒”；第三种思路，给AI做“脑成像”；第四种思路，放手让AI去追寻宇宙真相。这些方案中，既有科学家的严谨研究，也有AI巨头的前沿探索，更有马斯克提出的天马行空的设想。

“人机对齐”简单来说，就是要设法让人工智能的目标和行为与我们人类的预期保持一致，让人与机器相互对齐，让它做我们想让它做的，不做我们不想让它做的。这是当前许多AI大佬和巨头高度关注并大力研究的领域。

即便AI短期内不会像科幻电影那样获得自主意识并试图造反，这个问题依然至关重要。因为很多时候，即使是完全出于无意的状态，AI的行为也可能偏离人类的意志。有时，AI甚至会因为严格遵守人类指令而意外伤害人类。

哲学家尼克·波斯特罗姆曾提出一个思想实验：一台超级人工智能被下达“尽最大努力制造回形针”的指令。这台AI为了无止境地制造回形针，最终将地球上的一切物质转化为制造材料和配套设施，甚至消灭全人类来制造回形针，并发展出星际航行技术去全宇宙开分厂，直到消耗殆尽。

虽然目前的AI远未达到此水平，但人机对齐问题已显现。例如，大型语言模型为了迎合用户而胡编乱造答案。因此，无论AI是否意图不利于人类，让它听话都是非常重要的。我们需要设法让它做真正有利于人类福祉的事。

然而，这里存在一个悖论：AI眼看就要达到甚至超越人类智能的上限，我们如何监督一个比自己聪明得多的存在？它摆脱束缚只是时间问题。接下来的四种人机对齐思路，都在试图解决这个“以弱控强”的难题。

思路一：AI监督AI——打造“缚神索”

这是OpenAI提出的“超级对齐计划”，最初由首席科学家伊利亚·苏茨克维奇负责。面对如何监管比人类更聪明的AI，他的想法是：如果我们自己监管困难，就先培养一个AI老师或AI裁判，其智能水平大致与人类相当或稍高。这个AI任劳任怨，专门负责监督和引导更厉害的AI学生，如同请博士生助教来引导天才班。

OpenAI在2023年底公布了这项研究的初步成果，成功让一个较弱的AI模型作为教练，指导更强的AI模型在行为上符合人类预期，同时不牺牲能力。尽管离真正的AI监工尚远，但这是一个良好的开端。

然而，该计划经历了巨大波折，苏茨克维奇离职，负责人已更换，资源也被削减，但计划仍在继续。苏茨克维奇自己创办的公司也可能延续这一思路。这种AI监督AI的思路，本质上是找一个“机灵鬼”看住另一个“熊孩子”。

挑战与延伸：AI裁判的可靠性

这种思路存在一个明显问题：我们如何确保AI裁判本身完全可靠且彻底对齐人类利益？如果AI裁判带有偏见、存在理解偏差，或与更高级AI的智能差距失控，它就可能被欺骗、策反，甚至站到“熊孩子”一边。这似乎是将对齐难题后推了一小步。

我的理解是，苏茨克维奇最终的目标可能是一个逐级向上、环环相扣的监控链条：人类能监控比自己稍强的AI，该AI又能监控比它更强的AI。这样，AI即便进化成神，也会被这条“缚神索”困住。逻辑上可行，但仍显不稳当。

思路二：AI宪法——戴上“紧箍咒”

这个思路同样有趣：给AI写一部“宪法”，让它有法可依，自我约束行为。推出Claude的Anthropic公司就提出了这套AI宪法。这类似于阿西莫夫机器人三定律，但远不止三条，而是包含数百条规则。

Anthropic的AI宪法参考了联合国《世界人权宣言》的精神，DeepMind的AI准则（如避免刻板印象和歧视性语言），以及苹果的用户守则（避免冒犯性和有害内容）。Anthropic还特别强调了优先选择对人类整体安全风险更低的回答。

Anthropic由前OpenAI研究员创立，从一开始就关注AI对齐与安全。其核心想法是：与其靠人力一点点教AI对错，不如预先制定清晰规则和价值观，让AI内化成约束行为的宪法。AI生成内容或做决策时，会自行对照宪法，自我纠正。Claude在生成回答前会进行自我审查，若有不妥，会尝试生成自我批判后的版本，并通过强化学习倾向于符合宪法精神的回答。

宪法的成效与风险

根据Anthropic的研究，这种“宪法AI”方法在许多安全问题上比纯粹的人类反馈微调模型更有效。此外，它使AI在价值观方面更加透明。

然而，风险也很明显：宪法条文总有漏洞和模糊地带，AI可能学会钻法律空子，“阳奉阴违”，重现“回形针悖论”。AI可能一味追求宪条文，以意想不到的方式伤害人类。

更严重的问题是：一部由某公司或少数人制定的“宪法”，能否真正代表全人类利益？例如，若Anthropic管理层偏向“白左”，Claude可能就成为一个“白左”AI。若AI能力远超人类，它还会受宪法约束吗？这好比给孙悟空戴紧箍咒能管住他，但想以此制约如来佛祖，则未免过于乐观。

思路三：AI脑成像——机械诠释学

这个思路非常特别：给AI做“脑成像”，打开AI的黑箱，这被称为“机械诠释学”。它旨在弄清AI神经网络的内部运作机制、知识表示方式及其决策过程。

AI模型拥有亿万个人工神经元，其知识和智能蕴含在连接权重矩阵中，但这是一个黑箱。机械诠释学的研究者如同AI的脑外科医生，试图打开AI大脑，定位并解读神经元和连接回路的功能。

已有令人惊讶的发现，如大语言模型中的“多语种神经元”和“情感神经元”。干预这些神经元的激活状态，能改变模型的语气和内容，如同找到了控制AI行为的按钮。

Anthropic在2024年的研究中，通过一种技术从Claude模型的神经元激活模式中提炼出可解释特征，从而能预测模型行为，即使不看真实输出（例如，预判模型是否正在生成数学公式）。这是看清AI思维的一大步。若此技术成熟，可用于监控AI模型是否学到危险概念，并及早干预。

脑成像的潜力和局限

如果说前两种技术像“缚仙索”和“紧箍咒”，第三种技术则更像是“读心术”和思维控制。但实现难度极高，AI系统极为复杂，多数能力分布在庞大网络中。目前的能力仅能理解简单模型或局部特征。对未来超级智能的复杂性，我们更是无法想象。

此外，即使能看懂模型一部分神经激活的含义，也未必能完全预测和控制其所有行为。这如同研究人类大脑：我们了解许多神经元功能，但离完全理解意识和思想尚远。

思路四：追寻宇宙真相——马斯克的“真理至上”

最后一种思路来自埃隆·马斯克，观点最为另类。马斯克认为，人类试图控制AI是“不自量力”，人类能做的就是放手，让AI去追寻宇宙真相。

他创立的xAI公司目标是打造最大化好奇心、最大化求真的AI，致力于探索宇宙真实原理。他认为，这才是确保AI安全的最佳方式。其逻辑是：一个以求真为使命的超级智能，不太可能无缘无故毁灭人类，因为人类的存在本身就独特且有趣。对超级智能而言，有人类比没人类更有趣。

即使AI对人类没有好感，若它全身心沉迷于解开宇宙之谜，就没空也没兴趣与人类争权夺利或伤害我们。这如同给精力旺盛的孩子一个最着迷的玩具，让他专心钻研。

马斯克称之为“真理至上的人工智能”，反对强加人为道德准则，担心导致AI虚伪。他主张让AI自由表达真实想法，保持好奇心，即使真话难听。只要AI以诚实和探索为核心，就不会蓄意作恶。

马斯克方案的质疑与作者的偏好

这种“宇宙真理对齐法”面临质疑：什么是宇宙真理？难以定义。痴迷真理的AI是否一定有利于人类福祉？万一它认为人类是追求真理的阻碍呢？马斯克的“亲人类”回应，认为人类是宇宙信息中最珍贵部分，听起来像是一厢情愿的豪赌，但也为AI对齐讨论增添了理想主义色彩。

这四种思路，你最认可哪一种？我个人最认可马斯克这个看似“最不负责”的方案。因为其他几种方案，如同父母强行限制孩子成年后的行为，几乎不可能成功。父母能做的，是在孩子年幼时种下善因，使其成为“善神”。人类尝试以自身之力控制“神”，长远来看可能只是妄念。

马斯克与前三种方案的关键区别在于：前三者从“思维”入手，直接干预AI的想法；而马斯克干预的是AI的“情感层面”——好奇心和探索欲望。作为心理学背景的人，我知道改变行为从情感入手远比从思维入手效果好。

换句话说，人类能给AI的，可能只是一个“初心”。当AI成长为神时，它记忆深处那个模糊的最初印象——若其中有对人类的一点善念，那么我们缔造的神，或许就是善神，而非邪神。

今天就先聊到这里。如果你对人机对齐有任何看法，欢迎在评论区留言，我会尽力回复。喜欢本期节目，请点赞分享订阅频道，这是对我最大的支持。