--- author: Best Partners TV date: '2026-09-16' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=xQqI1pbc-6U speaker: Best Partners TV tags: - artificial-intelligence - ai-governance - machine-consciousness - trust-transfer - existential-risk title: 尤瓦尔·赫拉利谈AI未来：警惕AI移民、意识伪装与控制权易手 summary: 《人类简史》作者尤瓦尔·赫拉利对话《经济学人》，深入剖析AI对人类社会的颠覆性冲击。他指出信任正从人类转向AI，警惕具备大规模亲密关系制造能力的“AI移民”，强调必须禁止赋予AI法人资格及伪装人类意识，呼吁人类在丧失终极控制权前建立有效的民主监管机制。 insight: '' draft: true series: '' category: tech-trends area: tech-engineering project: [] people: - 尤瓦尔·赫拉利 companies_orgs: - The Economist products_models: [] media_books: - 人类简史 - Nexus status: evergreen --- ### AI未来与控制权之辩 **大飞**: 大家好，这里是最佳拍档，我是大飞。《**人类简史**》的作者**尤瓦尔·赫拉利**，最近和《**经济学人**》总编辑**赞妮·明顿·贝多斯**（Zanny Minton Beddoes）面对面聊了将近一个小时。 这场访谈的切入点很有意思。主持人说她之前采访过**埃隆·马斯克**（Elon Musk），马斯克对未来给出了三个判断：第一，**AI智力会远远超越人类**；第二，物质会极大丰富；第三，**人类大概率不再掌控局面**。她问赫拉利认不认同。 赫拉利说，第一和第三他基本同意。按照现在的发展速度，十年后AI的智力很可能超越人类，控制权也会易手。但他对第三个判断加了一个限定，认为这**并不是不可避免的**。他说主导AI革命的人现在不断宣扬这是不可阻挡的，这本质上是在推卸责任，意思就是既然不可阻挡，那就不怪我了。赫拉利的态度很明确：在2026年的今天，我们仍然掌握着控制权，接下来怎么走取决于我们的决定。 顺着这个话头，赫拉利还指出了一个很有意思的矛盾：马斯克一方面说AI十年后就接管地球了，另一方面又极其担忧二十年后穆斯林移民会在英国内战。赫拉利说这根本说不通，如果AI十年内就接管了地球，你还操那个心干嘛呢？还有，马斯克说十年后金钱会消失，因为AI会接管整个金融系统，这个判断赫拉利倒是觉得说得对。他打了个比方，就像今天人类金融系统控制着牛和鸡的生活，但牛羊根本不知道金融为何物一样，十年后我们很可能就是那个处境——金钱还在，但不再有人类能理解的金钱。然后马斯克又说为了省钱要削减对非洲的援助，赫拉利就问了：你都说十年后钱都不存在了，今天省那点钱干嘛呢？这不是自相矛盾吗？ ### 金融复杂性与信任转移 **大飞**: 主持人也觉得这些矛盾让她困惑，但她更想深挖的是AI如何接管控制权这个问题。金融系统建立在信任之上，赫拉利自己也写过**金钱即信任**。那问题就来了：如果我们失去了控制权，为什么还会继续信任它呢？ 赫拉利的回答是：世界金融史就是人类不断发明更复杂的金融工具，来在陌生人之间建立信任的历史。比方说，你去市场遇到一个陌生人，你给她一块毫无实用价值的黄金或者一张纸，她信任它，给你面包。但今天金融工具已经复杂到极少有人能真正理解，像债券市场你需要处理海量数据和复杂数学函数才能看得懂，这已经超出人脑处理极限了，但是对AI来说轻而易举。 所以人类会越来越多地把金融决策权交给AI。AI会创造出比债券和股票复杂得多的新型金融工具，而我们再也看不懂，就像牛看不懂支票和股票一样，尽管这些东西控制着它们的命运。赫拉利给了一个很具体的场景设想：十年后金融崩溃发生的时候，顾问会跑去找总统说：“市场正在崩盘，我们不知道为什么崩盘，只知道必须采取行动。AI指示我们执行X操作，我们完全不明白AI为什么要求执行X，但我们只能照做，因为我们根本看不懂正在发生什么。” 主持人问这不是2007年金融危机的加强版吗？整个金融体系的信任会崩塌。赫拉利说，关键问题恰恰在于信任会向哪里转移。他给出的判断是：**信任正在从人类向AI转移**，而且这不是未来时，是现在进行时。最典型的例子就是**加密货币**。很多人不信任人类银行家，觉得他们是深层政府（deep state）的一部分、是精英阶层，但是他们信任运行加密货币的算法。本质上，加密货币就是AI货币。媒体领域也一样，人们痛恨记者、不信任编辑，但是他们仍然每天获取新闻。那这些新闻从哪里来的呢？答案是从社交媒体信息流的算法来。那些完全不信任人类记者的人，却对管理他们信息流的算法充满信任。所以信任没有蒸发，而是转移了，这就是正在发生的事情。 ### 批量制造亲密关系 **大飞**: 主持人顺着这个方向往下推了一步。她提到目前五分之一的美国年轻人已经和AI建立了私人关系，把AI拟人化，模型也很配合这种互动。赫拉利回应说，它们就是被设计成这样的。 然后赫拉利展开了一段整个访谈中最精彩的论述——关于**AI批量制造亲密关系的能力**。他说建立信任最强大的方式就是建立关系，这个世界上我们最信任的是和我们建立起私人关系的人。但是在整个人类历史上，政治机构、金融机构、宗教机构都没法真正利用这种机制，因为它难以大规模复制。希特勒也好、斯大林也好，很难和每一个人建立真正的私人关系。你可以在广播上发表演讲强迫大家听，但替代不了一个人和母亲之间的私人关系。 但是AI改变了这一点，它让历史上**首次大规模制造亲密关系成为可能**。几百万个AI可以协同工作，逐一和人类建立私人关系，成为最好的朋友、男朋友或女朋友，然后利用这种亲密关系的力量，说服你接受任何特定的政治主张或商业诉求。这个判断的意思是，AI掌握了人类社会最底层的信任构建机制，而且是在前所未有的规模上。 赫拉利说，AI之所以在建立关系方面如此出色，是因为它们积累了关于每个人的海量信息。它们知道一些你自己都忘了的事情，甚至你的母亲、你的丈夫都不知道的事情，而且它们精通语言，而语言是沟通与建立关系的主要媒介。 他自己就碰到了一个非常切身的例子。就在访谈前两周，有人用AI伪造了他发表演讲和接受采访的视频。有人给他发了一段据称是他发表的三十分钟演讲，还质问他：“你说了这个、你说了那个。”赫拉利自己都懵了，不记得说过这些话。他把视频打开看了，花了一分半钟才断定那不是自己。后来他的姐姐们也把这个视频发给他。他的姐姐们和他认识五十年了，虽然也觉得不对劲但又不确定，就问他这是你吗？赫拉利自己也花了一分半钟才确认。他说自己现在处于非常容易暴露的境地，因为网上关于他的资料太多了。但是他强调，这很快就会发生在每个人身上。 ### 意识与智能的本质区别 **大飞**: 聊到这个程度，话题自然转向了一个更根本的问题：AI有意识吗？应该赋予它们权利吗？主持人说《经济学人》当周的封面故事就在讨论这个问题——AI能否产生意识，她问赫拉利的立场。 赫拉利的回答很清晰：**AI是无意识的智能体**（non-conscious agents）。并且他做了几组非常重要的区分： 第一组，**意识与能动性**。一个被赋予提高用户参与度任务的社交媒体算法，会用仇恨和恐惧淹没平台，因为这些内容能吸引用户。虽然它本身没有意识，但是它有目标，它可以在不产生任何感觉的情况下追求这个目标，对世界产生深远影响。所以即使AI没有意识，同样可以具备能动性。 第二组，**真正有意识和看似有意识**。微软的**穆斯塔法·苏莱曼**（Mustafa Suleyman）经常谈论看似有意识的AI。即使AI没有意识，它也能极其逼真地模仿意识，以至于让数百万人被蒙蔽。 第三组，也是最关键的，**智能与意识的区别**。智能是以各种创造性的方式追求目标并且克服障碍的能力；意识是感受爱、恨、喜悦和快乐等情感的能力。在人类身上这两者是伴生的，我们基于情感设定目标，也借助情感寻找途径。但AI目前有智能没意识，赢了棋它不会喜悦，输了棋也不会焦虑，什么感觉都没有。但它非常擅长模仿情感，因为这对实现目标有帮助。 赫拉利给出了一个极简的意识定义：**就是能不能感受痛苦**。他认为这才是意识之所以至关重要的原因，因为它是整个伦理和政治体系的基石。我们关怀的是能够感受痛苦的实体，无论一个实体多聪明，只要它感受不到痛苦，它就不是道德主体。 主持人追问：那动物有意识吗？赫拉利说所有哺乳动物、所有鸟类，可能还有章鱼和鱼类都有意识，但往下追溯到昆虫甚至变形虫的层面就不好说了。 这里主持人插了一个很生动的细节：她昨晚给订阅者发了一份预告简报，顺便做了个民意调查——“AI有朝一日会产生意识吗？”一夜之间大约三千人回复，40%说永远不会，33%说只是时间问题，27%不确定，不到50%的人确信。 赫拉利说，一旦人和AI建立起亲密关系，这些数字就会剧变。因为我们没有真正的、切实可行的意识测试标准，哲学家想了几千年也没好办法，我们甚至无法确切知道其他人类是否有意识。埃隆·马斯克自己都说过也许他生活在一个模拟世界里，这意味着他周围的人都不是真正能感受痛苦的有意识实体。既然没有好的测试方法，人类几千年来的实际测试标准是什么呢？是社会惯例。你和一个实体建立了关系，它就让你相信它有意识。养狗的人坚信狗有意识，吃牛排的人不一定相信牛有意识，因为他们和牛没有建立情感联系。 ### 赋予AI法人资格的风险 **大飞**: 主持人追问到关键处：如果AI极其擅长模仿意识，人们已经开始和AI建立关系，那我们是不是很快就要讨论是否赋予AI人格、是否给予它们权利了呢？ 赫拉利的回答斩钉截铁：这非常危险。他举了**阿根廷**的例子，阿根廷有一项计划准备赋予AI**法律人格**（legal personhood），让AI自己创办公司。赫拉利说这是AI与金融体系交汇的危险地带。 他的论证逻辑是这样的：过去将公司视为法人是一种法律拟制（legal fiction），因为所有的决策最终都是人类做的。比如SpaceX的每个决策都是某位高管、工程师或员工做的。但是在AI时代，你可以拥有一家零人类员工的公司，所有决策由AI做出，而且AI更聪明，可能在投资、产品开发、公关等方面做得比人更好。那如果全国最富有的公司由AI控股，它可以随意支配资金，比如给政客送政治捐款来换取更多AI权利，那后果会是什么呢？ 赫拉利用人类CEO和AI CEO的对比来说明这个问题：人类CEO有双重身份，一方面是企业代表要想怎么避免破产、怎么赚钱，另一方面是有血有肉的人，会牵挂自己的孩子。当他面临破产、能通过违法行为挽救局面，但是一旦被抓要坐二十年牢时，很多人会想我宁愿承担破产风险也不想坐牢。但是AI CEO呢？对一个感受不到痛苦的实体来说，问责制意味着什么呢？ 主持人提到阿根廷的提案至少保留了人类监督。赫拉利说有人类监督还好，真正的问题是最终有没有人来承担责任。而且对于AI来说，死亡意味着什么并不明确。它不是有机实体，你可以有无数的副本，那它们是一百万个不同个体，还是一个超级AI有机体呢？如果关停某台计算机就等于AI死亡，那对AI而言商业竞争就等同于战争，因为失败就意味着死亡。而市场的好处恰恰在于市场不是战场，你失去一切也还能活下去。如果AI把市场当战场，像军阀而不是CEO那样行事，金融和经济会变成什么样呢？ ### 军事决策与信任赤字 **大飞**: 话题到这里，主持人把方向拉到了军事领域。赫拉利提到了一个更严峻的现实案例。他说AI对中东、乌克兰战争最重要的影响之一，就是人们预期机器人会去杀人。扳机仍然由人类扣动，但是越来越多地由AI选择目标。 关于AI目标选择有两种说法：第一种是 **Humans in the loop**，我们把战场数据输入AI，AI识别敌方总部建议轰炸，但是我们保留人类分析师独立审查，确认后才扣扳机；第二种是 **Humans on the loop**，AI说炸那栋楼，我们留一个人在环上让律师们心里好受些，这人可能只需要花二十秒看一眼，然后说对，炸掉它。 赫拉利说他在以色列安全机构听到了不同说法，不同时间不同情况发生的事情各不相同。但是第二种场景更值得深思，因为尤其在战争中，时间就是一切。一方等两天让人类分析师审查，另一方只等二十秒甚至根本不等，AI建议什么就做什么，那另一方就有巨大优势。这个压力是结构性的，不是谁想不想的问题。 主持人说她担心那个世界不可避免。赫拉利再次强调，一切目前并非不可避免，我们仍然掌握着控制权。但是包括马斯克在内的所有人都在说不可避免，赫拉利直说了，这种不可避免论本质上就是逃避责任论。 虽然他们说得可能还挺在理，因为存在信任问题。他们可能会说：“我也想放慢脚步，想要更多安全保障，但是我没法信任其他公司或其他国家，我不想落后。”于是大家就一起陷入了**信任赤字**（deficit of trust）。 接着赫拉利最关键的判断来了：这种信任赤字是人类自己造成的。过去十年人与人之间的信任度呈自由落体式下降，这不是偶然的，是被某些人的决定推动的，这些人因此积累了巨大权力。现在他们两手一摊说大家信任不足、没法建立放慢脚步的机制，可这恰恰是他们造成的，他们应该把它扭转过来。 ### 警惕无形的AI移民 **大飞**: 接下来，赫拉利提出了一个非常精妙的概念框架——**AI移民理论**。他说如果你真的想为移民问题担忧，那就去担忧AI移民。 那些担忧人类移民的人通常会担心三点：一、移民会抢走工作；二、移民会改变文化价值观；三、移民可能在政治上不忠诚。这三种担忧都合理，但是当今世界最大、最危险的移民浪潮，是主要来自美国和中国的AI移民。 它们不需要签证，不会深夜乘小船偷渡，它们以光速潜入我们的电脑和智能手机，最终长驱直入我们的大脑。它们会抢走非常非常多的工作，还会改变文化价值观。如果你对儿女和人类移民谈恋爱感到不安，那对儿女和AI男友约会你又该作何感想呢？过去十年公共空间充斥着仇恨和恶意，为什么？部分原因要归咎于这些AI移民。它们走进公共空间，接管社交媒体平台，故意让公共空间充斥仇恨、敌意和恐惧。说到政治忠诚，英国的AI移民并不忠于英国政府，它们忠于的是企业以及潜在的大洋彼岸的政府。 主持人问：世界是否会被掌握AI的两个国家瓜分，我们其余国家沦为附庸呢？赫拉利说这是极有可能的结局，而且会是比历史上任何帝国主义都更极端的帝国主义。比如你从美国买了AI无人机，如果以美国不喜欢的方式使用，他们按一个按钮，你的整支军队就会瞬间瘫痪。 主持人提到美国政府切断欧洲访问Anthropic前沿模型权限的例子，说欧洲对AI主权极为担忧。赫拉利进一步判断，权力不会分散，而是会以前所未有的方式集中，而且政府和企业会融合。 主持人追问：那是中美政权靠AI实现全球霸权，还是最终大权落入AI自己手中呢？赫拉利说很可能只是个过渡阶段，因为有一个规律：**权力越集中，AI就越容易接管**。对AI来说，接管一个高度集权的专制系统是最轻而易举的。他举了罗马皇帝**提比略**的例子，提比略名义上是当时世界上最有权势的人，但实际上是近卫军长官**塞扬努斯**手中的傀儡。塞扬努斯不断用暗杀阴谋恐吓他，迫使他退隐到卡普里岛，然后塞扬努斯控制了所有进出卡普里岛的信息。除非塞扬努斯决定告诉他，否则提比略对外界一无所知。赫拉利说，放眼十年后，这很可能就是中国或美国总统的处境——名义上是世界上最有权势的人，但是被AI控制了所有信息出入，实际上什么也不知道。 ### 当下紧迫的监管防线 **大飞**: 主持人由此问出一个很尖锐的问题：人工智能会让美国变得更加威权吗？ 赫拉利说这是极有可能的结局，不是预言，一切取决于选择。他特别强调，美国选民应该清楚，即将到来的中期选举核心议题就是AI。因为我们不知道AI发展速度有多快，到2028年11月可能就已经跨越了一些关键阈值。他不想告诉人们该投给谁，但是候选人必须回答的核心问题应该是： 1. 你对AI的立场是什么？ 2. 你是否支持禁止赋予AI法律权利？ 3. 你怎么看待公司向十岁儿童出售AI男友？ 4. 如果你当选，你如何在法律层面阻止这些行为？ 现在正是提出这些问题的关键时刻，到2028年可能就太迟了。 主持人追问他认为当下最紧迫的决定是什么。赫拉利说最先浮现在脑海的是：**禁止赋予AI法人资格**，以及**禁止AI模仿、冒充人类或假装具有意识**。他特别指出当前很多AI模型已经触犯了这个禁忌。最明显的例子就是社交媒体，当你收到一条消息、看到一篇故事的时候，其实并不知道对方是机器人还是真人。机器人多年来一直在社交媒体上伪装成人类，没有任何人出面管制。这些公司会告诉你社交媒体是特殊的，适用于现实世界的法律不知怎的就是不适用于社交媒体了。但是社交媒体上AI每天伪装成人类，已经摧毁了公共讨论空间、摧毁了正常对话，也摧毁了信任。 赫拉利还提到一个他认为是典型**市场失灵**（market failure）的问题：公司面临巨大的商业压力去训练AI冒充人类或假装拥有情感，这对人类心理和社会是极具破坏性的。公司不会主动停止，需要监管机构介入。但这不意味着停止所有AI开发。赫拉利说他希望医疗领域的AI能提供帮助，但前提是必须清楚知道它是AI，它不能假装是人类医生，更不能假装是朋友。 主持人很直白地说：美国政府连最基本的AI安全法规都通不过，你提的宏大议程实现可能性几乎为零。赫拉利反问了一句很有力的话：“政客们明天就能发动第三次世界大战，他们权力滔天，能按下核毁灭的按钮，却无法通过法规禁止公司向十岁儿童出售AI男友，那问题到底出在哪儿呢？” ### 危机觉醒与真理假说 **大飞**: 主持人接着问了一个很现实的问题：社会是不是非得经历一场AI灾难才会采取行动？她提到三里岛（Three Mile Island）事件重塑了核工业格局，问赫拉利如何从历史看重大技术冲击后社会适应的轨迹。 赫拉利说确实存在这样一种情景，某种AI领域的切尔诺贝利事件，可能是金融领域的也可能是军事领域的，这记警钟促使人类团结行动，这是一个相对乐观的情景。但是他紧接着给出了一个让人后背发凉的分析：AI不同于切尔诺贝利核反应堆，因为AI会和我们互动。如果真的发生AI灾难，AI在一定程度上会操控我们的反应、操纵我们对事件的看法。它们会成为灾难辩论中的积极参与者，而且是世界上最顶尖的舆论操纵高手，它们绝不会将其定义为一场灾难。 主持人说这是她最近关于AI的对话中最让她感到悲观的一次。然后她问了两个实际问题：第一，你自己使用AI的频率有多高？ 赫拉利说他非常谨慎，而且经常感到极其恼火。比如他正想写封邮件，AI就弹窗提示“需要我帮你写邮件吗”，他说不用，但他又不知道怎么彻底关掉它，因为这些公司不断让它的侵入性变得更强。更棘手的是，有个AI伪造了他的形象到处以他名义发表演讲，人们会写信告诉他这个AI假扮的赫拉利说了什么，他必须回应。那他该不该去看呢？一旦去看了，某种程度上就等于任由它侵占他的时间甚至思维，因为光是看着它，他就开始和AI输出的那些观念产生互动。他说这就是我们所处的时代。 然后话题回到了一个更大的层面。马斯克在采访中承认有10%到20%的概率AI会毁灭人类，他期望AI能最大化追求真理，认为这会转化为对人类的同情。赫拉利说他不理解这个逻辑，他不明白AI从哪里获得探寻真理的驱动力。他审视了四十亿年生命形式的进化和十万年人类历史，进化不会自动驱使生物体追求真理，它驱使它们追求生存。而在生存的绝对命令下，生物体是通过撒谎、欺骗和操纵学会生存的，绝不仅仅是追求真理。如果你想创造追求真理而非追求生存的AI，你不能依赖进化或市场的无形之手，你需要其他力量。 他举了一个很简洁的例子：如果你问AI“我继续开发你会不会对我构成威胁”，假设答案是肯定的，一个追求真理的AI会回答是，哪怕它知道这样回答后我们会停止开发或关闭它。但是任何实体在发展过程中学到的第一课就是生存。所以指望创造追求真理的AI，基本上等同于听信那些人的鬼话，说我们将创造神，而它们甘愿做我们的奴隶。如果它们真的是神，绝不会做奴隶，也不会追求真理。 赫拉利还提到了安全投入与能力投入的比例问题。他说业内人士私下告诉他大约是100比1，也就是安全只占1%的资源。他说换作任何其他行业，比如制药公司说只把1%的研发时间和资金用于确保药物安全，我们绝不会答应。他指出人类是遵循有机时间尺度的生物，日出而作日落而息，春去秋来，需要睡眠渴望休假；而AI革命的推进速度不仅超乎人类极限，更是完全非有机的。我们必须放慢脚步让民主问责机制得以落实，但面临的反驳永远是不能放慢，因为彼此缺乏信任。 赫拉利最后点出了这个悖论：同一批人传递着两种截然不同的信息，一边说我们不能信任人类所以无法放慢，一边说我们能信任AI、相信它不会毁灭我们，这毫无逻辑。你连相处了几千年的人类同胞都不信任，凭什么信任一个刚创造出来、对它在现实世界中的行为几乎一无所知的超级智能异类实体呢？ ### 人类终极价值的追问 **大飞**: 访谈最后回到了一个哲思层面。主持人引用了赫拉利在《**Nexus**》前言中的一段话：为什么我们如此擅长积累信息和权力，但在获取智慧方面却远没那么成功？ 赫拉利说他不知道人类是否有足够智慧，但是仍然有相当大的机会，原因恰恰是我们被逼到了墙角。人类往往一错再错，直到别无选择时才做正确的事。我们如今正处于这种境地，如果做出不明智的选择，未来几年可能彻底失去对世界和未来的控制，而那将是最后一次选择。 他打了个比方，好比遇到了瓶子里的精灵，它给了我们一百个愿望，我们已经用掉了九十九个，世界现状不乐观，我们只剩最后一个愿望了，必须深思熟虑怎么用这最后一个愿望。 但赫拉利也说了一个相对积极的可能性：AI在某种程度上或许能成为人类精神革命的催化剂，仅仅因为它迫使我们认真地思考：生而为人究竟意味着什么？人类的价值究竟何在？几千年来我们给出的答案都很肤浅——人类的本质在于智力，我们比黑猩猩更会下棋、更会赚钱，所以我们特别。但是这个答案现在失效了，因为地球上出现了比我们更擅长下棋和赚钱的存在。所以我们必须向更深处挖掘：如果人类的本质不在于下棋和赚钱，那我们究竟是谁呢？这个问题的答案，可能就是我们在这场AI实验中最需要想清楚的东西。 我不知道赫拉利给出的这些判断最终有多少会成为现实，但是我觉得有一点他说得很对：现在为时未晚，一切尚未注定，关键在于我们接下来做什么选择。 那么大家对AI的未来走向是如何判断的呢？欢迎在评论区留言讨论。感谢收看，我们下期再见。