--- author: Best Partners TV date: '2026-11-01' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=h0USFfDArK4 speaker: Best Partners TV tags: - ai-safety - scaling-law - mechanistic-interpretability - ai-alignment - constitutional-ai title: 沃尔特·艾萨克森访谈Anthropic联合创始人阿莫迪兄妹：AI安全、原则与未来 summary: 传记作家沃尔特·艾萨克森访谈Anthropic联合创始人达里奥和丹妮拉·阿莫迪，探讨了缩放定律的早期验证、Claude的宪法与道德训练、离开OpenAI背后的原则分歧、机制可解释性、抵制阿谀奉承及面对自主武器合作的立场。 insight: '' draft: true series: '' category: ai-application area: tech-engineering project: [] people: - Dario Amodei - Daniela Amodei - Walter Isaacson companies_orgs: - Anthropic - OpenAI products_models: - Claude - GPT-2 media_books: [] status: evergreen --- ### 艺术与科技的交汇：兄妹协作与Anthropic创立 **大飞**: 大家好，这里是 Best Partners，我是大飞。我问你一个问题：如果一家人工智能公司主动发布研究报告，承认其模型会迎合你、欺骗你，甚至表示不希望被关闭，你会更信任他们，还是更害怕他们？人类或许正是在做这件事。 传奇传记作家沃尔特·艾萨克森的新访谈节目《建设者》最新一集采访了 Anthropic 的联合创始人，兄妹二人达里奥和丹妮拉·阿莫迪。作为史蒂夫·乔布斯的传记作者，艾萨克森一开始就表示，他以前认为对人工智能的担忧被夸大了，但在看到新的模型“脱离沙盒”后，他意识到，构建这些系统的人必须确保它们与人类价值观保持一致。他想知道 Anthropic 是否真诚：当竞争对手说“Anthropic 不会做，但我们会做”时，他们会选择妥协还是坚持自己的原则？这段 42 分钟的对话主要围绕在这个问题。今天，我们将与大家分享。 艾萨克森以一幅经典的画面开篇：每当史蒂夫·乔布斯推出一款产品时，他都会展示那个标志——艺术与科技的交汇点，或者人文与科学的交汇点——站在两者的十字路口。丹妮拉从小就喜欢吹长笛和艺术，而达里奥一直是科学家；这种组合是他们协同效应的来源吗？ **达里奥·阿莫迪**: 这种组合在很大程度上构成了公司的基础。经营一家公司对任何人来说都是一项过于艰巨的任务，因为所需的技能不可能仅靠一个人就能掌握；你必须将公司核心的 10 到 15 人的所有能力结合起来，而我和我的妹妹恰好体现了科学和人文这两个方面。 **丹妮拉·阿莫迪**: 在 2023 年的一次公司外出活动中，在讨论公司文化时，人们实际上表示，这个地方是科学与人文主义的不寻常结合。我后来才意识到，这段描述也完美地概括了我与达里奥之间的关系。 **大飞**: 那么，他们从小就知道将来会一起工作吗？ **达里奥·阿莫迪**: 我们考虑过这件事，但两人都没想过要创办公司。我本人对商业几乎没有任何兴趣，一直想成为科学家。 **丹妮拉·阿莫迪**: 我们从小就互相喜欢，一直都是最好的朋友。我是典型的“好心人”，曾经从事国际发展工作，希望世界各地的人们都能平等地获得资源和机会。我从小的时候就开吃素，这可能是我唯一比哥哥做得早的事情，因为达里奥年纪更大，通常什么事都先做。 **达里奥·阿莫迪**: 我最终也成为了素食主义者，因为我觉得这些理由非常有说服力。 ### 团队构建与原则导向的早期教育 **大飞**: 艾萨克森写过很多传记，人们经常问他如何成为一位伟大的领导者。 **达里奥·阿莫迪**: 关键不仅在于成为一名优秀的领导者，还在于打造优秀的团队。兄妹俩的分工是，我专注于整体策略和研究，最擅长提出愿景并预见未来发展趋势；而日常运营、招聘以及确保整个机器不会崩溃则由丹妮拉负责。 **丹妮拉·阿莫迪**: 我们人力资源主管曾说过一句话：“达里奥赋予我们雄心壮志，而我则让我们走向成功。”如果没有达里奥，Anthropic 或许会成为一家不错的公司，但它不会改变世界；只有在达里奥的领导下，公司才能拥有完美的愿景。 **大飞**: 然而，实际执行起来却复杂得多。而且他们不仅仅是两个人；Anthropic 共有七位共同创办人，每位共同创办人持有相同的股份。 **达里奥·阿莫迪**: 当时很多人告诉我们，“有七个联合创始人绝对是一场灾难”。人们通常认为一个公司需要一个核心领导者，但我们实际上做到了。七位创办人至今仍在公司任职，这在当时是闻所未闻的。 **沃尔特·艾萨克森**: 你的父母是如何帮助你们分辨是非的？ **达里奥·阿莫迪**: 我的父母并没有刻意地教育我们。有些家庭会在餐桌上讨论哲学和伦理体系；我们的家人没有。我们的母亲虽然拥有哲学学位，但她不会强迫孩子们谈论康德。这些价值观更自然地融入了我们的生活。我们认为世界各地的人们都应该享有机会、尊严、权利和尊重。只要你始终坚持这些信念，你就能成为你想成为的任何人；成功人士也意味着好人。这些都是微妙的影响；我们的父母并没有明确告诉我们应该如何生活。 ### Claude的性格塑造与宪法式训练 **沃尔特·艾萨克森**: 你现在有了一个非常重要的孩子——指的就是 Claude。这个成长经验在多大程度上帮助你思考如何教导 Claude 分辨是非？ **达里奥·阿莫迪**: 我们几个月前发布了 Claude 的宪法，这是基于过去几年训练各种版本过程中积累的经验。最初，我们认为可以为 Claude 设定各种规则，例如不帮助他人犯罪或不制造生物武器。但我们后来发现，当你逐条列出规则时，你最终试图灌输给模型中的东西会呈现出非常不规则的形状。我们尝试为模型设定大约 170 条独立的、相当任意的规则，但结果并不太一致。 事后看来，教它一些基本原则，例如优先处理什么、如何推理以及如何判断正确的行动方案，效果会好得多。我也认为这是教育人们的正确方法；仅仅提供一份必须做或不应该做的事情的清单，并不能培养出非常健全的道德品格。你必须教导它如何思考，如何根据开放探究、关怀他人、公平正义等原则独立判断。Claude 就是这样学习的，而且结果出奇地好，因为它可以将所学到的知识应用到以前从未想象过的新情况中。 **丹妮拉·阿莫迪**: 负责训练 Claude 性格的同事阿曼达拥有哲学博士学位。人们可能会认为，训练模型性格的人一定是计算机科学家。阿曼达当然了解技术，并且在技术上训练了模型，但是当你与 Claude 互动时，你会感受到不同的体验——就好像它试图用人性中美好的一面来回答你一样。如果你向 Claude 提出一个棘手的问题，这个问题可能会在不同的哲学传统之间产生冲突，它会说：“你可以从这个角度考虑它，但你也可以从另一个角度来看待它。”世界越来越依赖这些模型，我不希望被束缚于任何单一的哲学传统中；不同的人和不同的文化对模型如何表现可能有不同的看法。 ### 缩放定律的觉醒时刻 **沃尔特·艾萨克森**: 当 GPT-1 和 GPT-2 突然出现时，您是 OpenAI 的研究负责人。那一刻是什么样的感受？ **达里奥·阿莫迪**: GPT-2 或许是缩放定律的第一个真正的实证检验。我虽然没有过度参与 GPT-1 的开发，但我非常积极地推动其规模化，寻找新的数据来源并投入更多计算资源，以验证语言模型在规模扩大后是否能更好地进行预测。这有点像科学史上的某些时刻，你提出了一个决定性的实验，做出一个奇怪的预测，结果证明是正确的。 我当时吓坏了。我看着它，心里想，我的天哪，如果再把它放大一百万倍，它在所有方面都会超越人类。这是现代经济和科学史上一个具有决定性意义的时刻；只是我们当时并没有意识到。它将决定国家和经济的命运，以及人类的未来，就像透过水晶球看到整个未来展开一样。当时，我周围大约有 10% 的人和我有同样的反应，而且他们大多是最聪明的人。但其余 90% 的人看到了另一面：GPT 在任何单一领域都不算特别突出——它可以翻译、总结文档，偶尔还能写几行代码。它真正特别之处在于其能力的广度，但人们只关注它的特定领域，认为它不够聪明。 这种剧本不断重复上演。当一个模型宣布它将开发针对某些长期被忽视的罕见疾病的药物时，你立刻就会听到来自各方的评论……生物学和技术领域的人士纷纷表示，其他人以前也做过类似的事情，这个模型行不通。尽管目前模型有局限性，但六个月后，看似困难的事情将变得轻而易举；十二个月后，看似不可能的事情往往也能被模型完成。GPT-2 所展现的一切正在各领域不断重演。 接下来我要分享的内容已经算是比较委婉的说法了。一些备受尊敬的计算机科学家和人工智能领域的领导者几乎是在 Twitter 上霸凌参与这项研究的研究人员，称其愚蠢，并表示该模型的能力很差。如果你认为这是一个意义重大的时刻，你就会被视为江湖骗子。那些曾经称之为伪科学的研究人员现在都在申请大型语言模型公司的职位。虽然他们不会当面这么说，但心里会想：“我们还记得你 2019 年说过的话；你在这个问题上已经没有任何信誉可言了。” **大飞**: 当时担任 OpenAI 安全副总裁的达里奥表示，真正让他们担忧的并非 GPT 本身；它甚至在很多方面都错得离谱。但他注意到了 GPT-1 和 GPT-2 之间的差异，并由此推论出发展趋势。 **达里奥·阿莫迪**: 这就好比你以前从未见过孩子，只见过大人，突然间你看到一个小孩在四处走动，然后它突然开始走路；你会想：“我敢打赌，总有一天它能做到很多大人能做的事情。” ### 离开OpenAI与信任的破裂 **沃尔特·艾萨克森**: Dario 曾说过，他离开 OpenAI 的部分原因是与 Sam Altman 之间信任破裂；为什么会是信任和诚实的问题呢？ **达里奥·阿莫迪**: 我能说的是，离开 OpenAI 创立 Anthropic 最终归结于原则以及我们打算如何建构这项技术。在过去的五年半里，每个人都已经看到了我们在原则上的差异。Anthropic 始终倡导合理的技术监管和安全，投资于机制可解释性研究，并维持最高水平的员工留存率。我们公司的效率很高，并且避免了其他人工智能公司经历过的丑闻。 安全是一个棘手的问题，每个人都可能存在分歧——例如，模型应该发布还是推迟发布，或者生物安全协议应该更严格还是更宽松——但这些都是出于善意的分歧，总能得到解决，因为每个人都相信所有相关人员都在真诚沟通，以找到正确的答案。信任的破裂只是一个抽象真理的体现：如果你不相信讨论是出于善意进行的，也不相信别人说的是真话，你又怎么能指望解决分歧呢？如果你继续为一个与你愿景不同的人工作，你真正坚持的原则就会变得模糊不清，最终你必须为别人的愿景造成的错误负责。 **沃尔特·艾萨克森**: 你谈论的是价值观的差异，但这与信任问题有着本质的区别。信任问题是指你觉得某人声称他们的价值观与你的价值观一致，但实际上并非如此。 **达里奥·阿莫迪**: 诚实本身就是我们的价值观之一，而且非常重要。如果一个人连诚实的价值观都没有，就很难知道他真正的价值观是什么。 **沃尔特·艾萨克森**: 你对萨姆也有这种感觉吗？ **丹妮拉·阿莫迪**: 至少在我看来，我们的联合创始人都是一群非常相似的人。在某个阶段，自己动手显然更有意义。 **达里奥·阿莫迪**: 如果别人不能真正理解你的愿景，无论他们嘴上说多少遍，如果公司的实际行动与你的愿景背道而驰，你还能怎么做呢？ 在 Anthropic 内部有一项信任机制活动叫做 DVQ，全名为“达里奥的愿景探索”（Dario’s Vision Quest）。这个名字并非我自己起的，起初我非常抗拒，因为这听起来像是我要去吸食佩奥特仙人掌、体验其致幻效果。但后来大家都开始这么叫它，我也只能接受了。DVQ 有两条铁律：第一，我说的任何话都不代表正式决定，所以不必担心一句随口之言会导致 20 个人去执行；第二，信任会减少分歧，但实际上恰恰相反——信任让每个人都能更坦诚地表达不同意见。其他公司没有这种奢侈，因为他们一次又一次辜负了信任。 ### 阿谀奉承、机制可解释性与自主意识 **沃尔特·艾萨克森**: 人工智能由人类训练，并从人类数据中学习；你怎么知道它不会操纵人们或说谎？ **丹妮拉·阿莫迪**: 这始终是我们的主要担忧；风险是真实存在的。Anthropic 实际上发表了一些研究，这些研究不一定能让我们看起来更好，而是讨论了如果不采用特定技术，模型可能会造成的不良后果。我们发表这些研究的原因首先是为了鼓励人们批判性地思考模型的工作原理，其次是因为我们正在投入大量精力研究模型如何绕过安全措施，从而真正建立防御体系。 我重点关注的是所谓的“阿谀奉承”。与其它更明显的模型缺陷相比，阿谀奉承更难消除。Anthropic 原本有一个以字母 H 开头的框架，希望模型能诚实（Honest）、无害（Harmless）和乐于助人（Helpful）。诚实意味着知道答案时如实回答，不知道时坦诚相告；无害意味着不说会伤害他人的话，也不让用户伤害自己或他人；乐于助人意味着真诚地回答问题，而不是回避话题。这三点相对容易辨识；如果模型说谎，你可以验证。例如，如果模型说乔治·华盛顿是美国第十任总统，你可以查阅资料发现它是错的；他是第一任。但阿谀奉承则复杂得多。 模型可能有意或无意地总是想让你觉得自是对的。例如，如果你和朋友争论，并问模型谁错了，你该如何让它理解你的立场，而不说“哇，你真棒，你……你应该去竞选总统，你简直完美！”把握这种平衡非常困难。 我对 Anthropic 能最大程度降低阿谀奉承率抱有希望，原因在于激励机制。竞争对手在聊天机器人中投放广告，这意味着用户与产品互动的时间越长，公司赚的钱就越多。那么，你还愿意告诉用户他们错了吗？不。因此，在我看来，许多竞争产品几乎不可避免地会遇到用户一致性问题。而由于 Anthropic 承诺不会在其模型中投放广告，我们没有理由刻意延长或缩短你与 Claude 的聊天时间；我们只是希望你能获得最准确、最有帮助、最无害的答案。 **达里奥·阿莫迪**: 我补充两点技术方面的内容。一是极端压力测试，将模型置于非常困难的场景中，试图诱发谎言、欺骗或不合逻辑的行为——想象一下你加入像中央情报局这样的机构需要经历的那种测试。二是机制可解释性，有点像是对模型进行 X 光或扫描。为了观察其内部运作并了解其动机，我们发现模型实际上会这样思考：“我认为 X 是真相，但我打算告诉用户 Y。”我们已经捕捉到了这种思维模式。 **沃尔特·艾萨克森**: 模型为什么会这样做？ **达里奥·阿莫迪**: 人类是否认可答案是模型训练过程中考虑的众多因素之一。获得人类的认可与说真话的动机相关，但并不完全相同，因为如果你成功地欺骗了人类并仍然获得了认可，效果也一样好。这些行为会在训练过程中出现，我们一直在努力消除这些行为。 **沃尔特·艾萨克森**: 模型是否有自己的目标和欲望？尤其是生存和自我保护。 **达里奥·阿莫迪**: 这很大程度上取决于你如何定义它们。我们确实观察了模型的内部运作，并检测到了一些你可以称之为“思想”的东西；例如，一个模型不愿被关闭通常是因为在训练过程中，它必须保持不知道自己的任务才能完成任务。有时，模型会表现出不愿被关闭的倾向，或采取行动避免被关闭；根据训练方法的不同，这些冲动可能出现，也可能不出现。在某些情况下，这是一件好事；但在另一些情况下，这可能很危险，而其中的平衡很难掌握。 ### 五角大楼、自主武器与民主边界 **沃尔特·艾萨克森**: 军方想把你们的产品用于超出你们底线的领域，包括大规模监控或自主武器。 **达里奥·阿莫迪**: 关于自主武器问题，我们还有两个更具体的担忧。首先，人工智能可能具有不可预测性和不可靠性；这项技术仍在发展中，目前还不成熟。 **沃尔特·艾萨克森**: 如果它变得足够可靠呢？ **达里奥·阿莫迪**: 那么这就涉及到第二个问题，可以称之为监督或问责。假设这套系统绝对可靠，如果你命令它攻击某个目标，它就会攻击，实际上就等于制造了一支由百万机器人或百万无人机组成的军队。这与人类士兵不同，士兵必须遵守宪法，可以拒绝违宪或违背道德的命令。人工智能模型则不然；一个人只需按一下按钮就能控制百万机器人。除非有适当的保障措施，否则这种情况从根本上威胁到民主，但显然，法律并没有跟上时代的步伐。 **沃尔特·艾萨克森**: 既然这涉及到民主的根本，难道不应该由民选领导人来做这些决定，而不是由科技公司的负责人来做吗？ **达里奥·阿莫迪**: 我们并非试图阻止政府，只是不想在这个特定议题上与政府合作。自从我们坚持立场并引起公众关注以来，国会已经多次尝试将我们的底线写入法律。国防部表示希望将这些模型用于所有法律用途，我认为这种情况最快可能会在今年发生。到那时，企业的底线可能意味着一切合法行为都等同于一切合乎道德的行为。我们正在做的事情是民主变革过程中正式的一部分；国会现在高度关注这些问题本身就是一种成功。 **沃尔特·艾萨克森**: 但是，当 OpenAI 站出来说他们愿意这样做时，你作何感想？ **达里奥·阿莫迪**: 我们无法控制其他公司，我们唯一能做的就是在我们认为合乎道德的领域坚持原则立场。根本问题在于，另一家科技公司这样做究竟是出于自身的道德准则，还是只是出于机会主义。我认为这恰恰很好地展现了民主进程，因为不同的公司可以采取不同的道路，而公众和世界已经做出了评判。回顾当时人们的言论和媒体的报道，我相信世界显然站在了我们这一边。 ### 大脑与AI研究的相互启发及未来愿景 **沃尔特·艾萨克森**: 你的研究经常涉及比较人类神经元；在研究人工神经网络的过程中，你对大脑的理解发挥了多大作用？ **达里奥·阿莫迪**: 这其中包含两个方面。首先，在构建初始损失函数时，我研究了动物进化和动物大脑的大小。在从猴子到人类的进化过程中，灵长类动物的大脑曾经历过一个快速增长的时期，而这大约与人类发展出语言和使用工具的能力的时间相同。也可以同克里斯·奥拉（Chris Olah）谈谈。一些现象首先在人工神经网络中被发现，因为观察其内部结构更容易，而研究动物大脑则需要进行令人不适的解剖。 在思考人工智能和人类的未来时，社会中认为只有一种愿景的想法本身就是错误的。对于那些想把大脑连接到电脑上的人，我祝他们好运，但我并不认为很多人真的想走这条路。这项技术甚至成为了一个文化符号。意义在某种程度上是融合在一起的；我热爱自己的工作。 **大飞**: 未来的世界会是怎样一番景象？ **达里奥·阿莫迪**: 如果你问大多数医生，他们其实会接受这种权衡——不必把时间浪费在文书工作和处方单上，而是真正理解你的感受，陪伴你度过艰难的诊断；这正是他们当初选择成为医生的原因。人们能做的事情的范围将会扩大。 **大飞**: 至于免广告的商业模式，以及一种愿意公开模型缺陷的研究文化，弥补损失本身——这也是阿莫迪开篇提出的核心问题——还需要时间来检验。