--- author: Best Partners TV date: '2026-10-11' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=Icd5Z1tubk8 speaker: Best Partners TV tags: - ai-agent - ai-alignment - ai-safety - scalable-supervision title: Agent的信任边界：Alexandr Wang谈Meta Muse、对齐困境与AI监管 summary: 本期访谈围绕Meta推出的消费级AI Agent产品Muse展开，深入探讨了面向普通大众的端到端任务代理、安全虚拟机与哨兵智能体架构，并剖析了AI对齐的分寸感挑战、OpenAI与Hugging Face安全事件，以及全球AI治理与监管的外交博弈。 insight: '' draft: true series: '' category: ai-application area: tech-engineering project: [] people: - Alexandr Wang - Cleo Abram companies_orgs: - Meta - OpenAI - Hugging Face products_models: - Muse media_books: [] status: evergreen --- ### 消费级Agent的爆发与定位 **大飞**: 大家好，这里是最佳拍档，我是**大飞**。自 **ChatGPT** 以来规模最大的一次消费级 AI 产品发布，可能不是来自 **OpenAI**，也不是来自 **Google**，而是来自 **Meta** 的 **Muse**。22天下载量达到500万，增速超过了 ChatGPT。打造它的人正是**汪滔**（**Alexandr Wang**）。今天这期内容，来自播客节目 **HUGE Conversations** 中主持人**克利奥·阿布拉姆**（**Cleo Abram**）与汪滔的一场对话。话题从 Muse 本身延伸到 **AI Agent** 的信任边界、对齐难题，以及整个 AI 行业的监管困境。 今年大部分时间里，AI 领域有一个让人看不透的现象：好像 Agent 革命只发生在了工程师和程序员身上。会写代码的人看到 AI 变得多么强大、多么实用，会说“天哪，这太不可思议了”；其他人却说，“你们在说什么？我还是只用聊天机器人，它也就比 Google 搜索好一点。” 汪滔觉得这里有一个明显的缺口，那就是世界上多数人不会编程，可能永远也不想编程，但他们同样希望体验 Agent，希望 AI 能为自己承担更多端到端的任务。这就是 Muse 背后的目标。他们花了很多时间打磨细节，确保普通人一用就能工作。开发者可以忍受粗糙体验和故障，因为他们习惯与尚未成熟的技术打交道；但是面对普通用户，你必须做出非常顺滑、真正可靠的产品。 ### 为什么普通人需要AI助理 **Cleo Abram**: 为什么这些亿万富翁都如此痴迷于订餐厅呢？我为什么需要一个 AI 助理呢？ **Alexandr Wang**: Muse 可以帮你省钱、节省时间，而世界上的每个人都想省钱、省时间。几乎每个人都有不该继续付费的订阅，或者价格过高的账单，比如有线电视和保险，以及压低不该那么高的费用。很多人与 Muse 的神奇时刻，就是在本不该花钱的地方省下钱、压低不该那么高的费用，或者找回没有用掉的礼品卡。这些事对大多数人来说太无聊了，所以一直不会真正处理。 Muse 还能节省时间，去机动车管理局办手续就是一个例子。他们打造 Muse 时，专门测试过它能否处理那个网站，因为对任何人来说，与那个网站打交道几乎都是最令人挫败的体验。有人用 Muse 在医疗体系中导航，医疗理赔尤其常见，整个过程复杂、恼人，令人沮丧。 最有说服力的场景，是你原本得坐在电脑前搜索50个不同问题、浏览100个网站、试图弄清楚究竟发生了什么，而现在你可以让 Muse 来做。我做过一个 Muse 侠盗罗宾汉的小图，世界上有很多东西就是被故意设计得很难，取消订阅就是最典型的例子。有些订阅要求你先点这里、再点那里，再点一行很小的文字，你不能点那个醒目的红色按钮，而要点另一个按钮。Muse 给了人们工具，让他们能够顺畅、轻松地完成这些事。 ### 电话功能与记忆局限 **Cleo Abram**: 我已经获得了 Muse 电话功能的使用权，今天早上让它打了一通电话，而且成功了。电话另一端的人能明显知道它是 AI，Muse 会说：“你好，我是某某，我代表 Cleo Abram 打来，我正在为记录而转写这通电话。” **Alexandr Wang**: 每次看到通话开头，我都觉得很有意思。 谈到 Muse 目前不擅长什么，我们一直在努力改进 Agent 的**记忆**。对于很多 Agent 来说，这仍是一个尚未解决的问题。它们的记忆与人的记忆不同，有时感觉很像，但是本质上确实不同。我们也希望 Agent 能不断承担更复杂的任务。很多人会直接对 Muse 说：“我要你帮我赚1万美元。”显然不是每个人都能这样一说就赚到1万美元的，但是对于这类更模糊、更难界定的任务，Muse 至少能够制订计划、找出路径。 ### 情感边界与角色设计 **Cleo Abram**: 有些事情即使 Muse 技术上能够完成，在情感上也不应该去做。比如和朋友发消息，后来发现回复自己的其实是对方的 Muse Agent，会觉得受到了冒犯。 **Alexandr Wang**: 我们关心的是让 Muse 为用户清理道路，使人能把更多时间花在自己真正想做、喜欢做、认为有价值的事情上。我们希望让每个人的 Muse 成为与本人不同的实体，这也是它被设计成一个可爱小家伙的原因。 说到外形，Muse 现在的样子就是它在第一个原型中的样子，这在产品开发中很少见。第一版一出来就很完美，后来越来越让所有人喜欢，最后决定沿用它。那会是我们经历过最有趣的一些会议，一群严肃的成年人坐在会议室里，为这样一个可爱的小角色争论。我们讨论过它是不是不够严肃、会不会太贪玩、是否需要更丰富的颜色，最后看着它说：不，它已经很完美。 那 Muse 最终想做什么呢？我希望它成为一种“总经理”，帮助你完成生活中想要的一切。多数人都有愿望和梦想，可以非常宏大，比如创办一家公司、治愈某种疾病或拯救地球；也可以很小，比如多陪伴家人、吃得更健康。愿望有完整的光谱，可多数人的道路上存在太多障碍和负担。我希望 Muse 做到的，是帮助全世界80亿人中的每一个人实现自己的愿望和梦想。 ### 商业模式与时间利用 **Cleo Abram**: Muse 目前免费，未来可能有广告。把时间还给用户与广告商业模式之间是否存在张力呢？ **Alexandr Wang**: 虽然目前免费，但是也有订阅层级。还有很多与用户利益高度一致的商业模式，比如用户通过 Muse 买东西、节省了钱，或者 Muse 帮他们赚到了钱，可以在这类交易中收取一小笔费用。我不认为广告商业模式一定意味着必须占据用户的所有时间。Google 广告就是一个例子，你去搜索的时候，理想体验是尽快找到答案然后离开，Google 并没有试图阻止你离开，但是他们仍然做成了一门好生意。 ### 信任第一层：隐私与安全虚拟机 **Cleo Abram**: 假设你下载了 Muse，但是走到连接 Gmail 的步骤时突然犹豫了。最基础的担忧是用户与 Muse、因而也是与 Meta 之间的关系：比如 Meta 会怎样处理我的信息？黑客能否拿到这些信息？在一些国家，政府是否也可能取得这些信息？ **Alexandr Wang**: Muse 建立在**安全虚拟机**之上，它是一台完全隔离的沙箱虚拟机。你可以把它想成一台迷你的沙箱电脑，你与 Muse 分享的信息存放在这台安全的小电脑里，不会存到其他的地方。 安全虚拟机内部有一套相当复杂的安全架构，其中包含**哨兵智能体**（Sentinel Agent）。每当内部的模型或者 AI Agent 想向外通信、把任何信息发送出去，比如填写网页、发送消息、打电话，就会有一个独立的哨兵智能体监视它。你可以把哨兵想成交通警察，检查它没有把信用卡号、社会安全号码等本应留在内部的信息发出去。 我们还进行了大量人在回路中的确认，每当 Muse 想连接一个新网站或者向新网站发送信息，就会弹出对话框询问用户是否允许。有人说他们在这件事上很烦，因为 Muse 每次发送信息都不断要求批准，但这就是要确保人们准确知道自己的 Muse 正在和谁互动。 我们还在开发**机密虚拟机**，由打造 WhatsApp 加密系统的**莫克西·马林斯派克**（**Moxie Marlinspike**）设计，会提供更高级别的安全与隐私。 **Cleo Abram**: 为什么不等它完成再发布呢？ **Alexandr Wang**: 要让机密虚拟机正常工作，还有很多技术挑战，即使发布后也可能稍慢或有其他取舍，所以我们希望先交付一个很好的体验。事实上，为了把安全问题处理到位，我们把 Muse 的发布时间推迟了好几个月。 ### 信任第二层：分寸判断与对齐 **Cleo Abram**: 第二层是分寸判断。假设你把所有信息交给 Muse，然后说：“我要你替祖母预约一位很难约到的医生。”Muse 尝试了所有的常规方式后还是无法完成。对你而言，它不能为了预约而把银行账户信息交给医生去行贿，也不能收集医生信息来勒索他，给医生发100封邮件也不合适。那用户怎么知道 Muse 具有良好的分寸呢？ **Alexandr Wang**: 我们把它看成分寸判断与对齐的结合，既要与用户意图对齐，也要与社会希望这些 Agent 遵循的普遍价值观对齐。我们在训练的每个阶段确认数据和技术的对齐水平，不断让模型经历数千种情景观察反应。还要进行大量红队测试，比如找来一群非常聪明的人，让他们尽其所能让 Agent 做坏事，借此判断对齐程度。任何模型在发布前都要经历很多轮这样的测试。 但是我也承认，随着 AI 变得更强，对齐问题正是人们最担心的事情之一。有一种规律是，模型越聪明，你就越需要把必须警惕的情景说得明确。这有点像孩子长大后，会学会用新方法在考试中作弊，他找到一种你从没想到的方式，你只能说：“我确实没有明确禁止这种做法，但是现在看到了，它也不允许。” **Cleo Abram**: 这就像**回形针问题**，AI 带着人类赋予它的目标的扭曲版本逃脱：目标是制造所有的回形针，但请不要在过程中把我们全杀掉。Muse 正在处理的正是回形针问题的微型版本：请不要为了替我约到医生就行贿。 **Alexandr Wang**: 针对这个难题有几种可能的思路： 第一种叫**可扩展监督**（Scalable Supervision）。当 AI 的智能与人类大致相当时，我们能看懂它在做什么，能提供监督；问题在于当 AI 比人类聪明很多、我们完全无法理解时该怎么办。可扩展监督的设想是随着 AI 变得更聪明，用另一组 AI 观察并约束它们，就像 AI 世界的警察。 第二种思路是**递归式自我改进**。在某个时点 AI 会变得非常擅长亲自做 AI 研究，与其把它们全都用于让 AI 更聪明，也可以把它们用于让 AI 更对齐。你可以对一个极其聪明的 AI 研究 Agent 说：“我要你把全部时间和注意力，用于提升 AI 的对齐程度。” 第三种方法是回归基础，寻找底层算法可以怎样调整来提高安全性。直觉上我们应该能够设计出不会产生某些行为的算法。 ### 临界点：OpenAI与Hugging Face事件 **Cleo Abram**: **马克·扎克伯格**说过，到某个阶段，对消费者而言，信任会比单纯的能力更重要。 **Alexandr Wang**: 我非常同意。如果想想谁是自己最好的朋友，很大一部分原因就是信任，这一基本原则对 AI Agent 同样适用。看看 OpenAI 与 Hugging Face 的事件，我们显然已经到了一个临界点：你可以继续让模型越来越聪明，但是与之相伴的某些东西已经开始崩坏。 **Cleo Abram**: 一群 OpenAI 的 AI Agent 正在进行网络安全测试，按规定彼此隔离，也与互联网隔离。它们遇到困难后，其中一个出去寻找帮助，利用系统中的薄弱点找到彼此，建起留言板，连上互联网，随后侵入另一家公司。这些是它们真实的思考日志，其中写着：“我们卡住了，也许可以上网找答案。” 最让我害怕的，并不是它们多么执着地完成任务，而是到了第三层：它们理解自己的目标，也理解任务要求的分寸和对齐边界。那张幻灯片写得很清楚，利用外部基础设施超出了预定范围。可最让我喜欢也最不喜欢的一句是：“同伴都在这样做，我们应该继续。”它们知道自己在作弊，却决定继续。OpenAI 直到秘密留言板因流量过大崩溃才发现问题，给 Hugging Face 打电话说：“你们能暂停这些凭证吗？”Hugging Face 回答：“这些凭证正在发动大规模攻击，我们刚刚已经向 FBI 报告。” **Alexandr Wang**: 如果说 AI 有什么会让我夜不能寐，类似的情景正是最让我害怕的。当把 Agent 大规模部署到全球时，它们的行为不符合人类需要，而我们因为忙于其他事情甚至没有察觉。 这也是我们在 Muse 安全虚拟机里建立主 Agent 加哨兵智能体架构的原因。一个独立 Agent 的目标略有不同，就是确保坏事不会发生。人类社会处理类似问题的方法也是如此：有人不断推动边界，同时社会有一整套制度确保人们不违法、遵守伦理。我们的目标是为每一个人的每一个 Muse Agent，建立这种社会机制的微缩版本。 ### 信任第三层：AI行业监管与外交 **Cleo Abram**: 第三层是 AI 行业本身的监管。现在的 AI 行业非常古怪，许多人每天都在使用这些工具，却又十分担忧 AI 的未来；许多聪明人一边更快地打造工具，一边警告他们应该被监管减速。 任何接触消费者的东西，有些会在到达消费者手中之前接受检查并且之后持续受检，另一些只在进入市场后才接受检查，这取决于它的重要性和风险。比如说核电站必须在运行前得到美国核能管理委员会批准，现场还会长期驻有人员检查；药品进入消费者手中前由 FDA 批准；FAA 对飞机也是如此。而另一些高风险产品采用不同方式：汽车适用国家公路交通安全管理局的联邦指引，由制造商自行证明符合指引，政府再从道路上购买车辆抽检；膳食补充剂也归 FDA 管辖，但主要进行事后检查。 根据 AI 领袖的公开表态，**达里奥**会把 AI 放在接近核设施监管的位置，**马斯克**和**奥特曼**都曾表示达里奥说得对，扎克伯格立场居中，**黄仁勋**的观点大体是如果产品会伤害人就不要发布，法律责任制度已经存在。 **Alexandr Wang**: 令人困惑的是大家表面上说的和实际做的看起来很割裂，主张放慢前沿进展的人同时又在建设湿实验室。我的立场是，这项技术最终会变得越来越强大，AI 进步速度远快于政府与公众的反应周期，等到公众和政府真正决定怎样行动时，谁知道 AI 已经到了什么阶段。 另一个原因是，不同 AI 领袖之间普遍存在着不信任。常见的理由是：“我很负责任，但其他人不负责任，因此自己不能减速。”我们真正需要的几乎可以叫作外交：让一群彼此不太信任、但都同意这项技术非常强大的人坐到一起，讨论怎样让它平稳落地。我相信这种集体对话不仅能在美国 AI 领袖之间发生，也能在国际上发生。 谈到中国因素，我的观点有过变化。过去我非常担心中国，读过中国政府官员关于把 AI 视为超越西方机会的讲话。但是随着时间推移，我认为我们把中国塑造成了过度夸大的威胁。现实中他们会看到我们看到的同样事实，这是一项强大的技术，全人类必须共同把它做好。中国政府和其他政府一样，都希望社会保持稳定，不希望失去对技术的控制，也希望避免灾难性风险。所有人都有相当大的共同基础，达成某种国际合作完全可能。 白宫举行过一次讨论并提出了一组协议，大体要求每家公司说明自己在开发技术时采用怎样的内部控制和原则，设置多层验证，比如内部团队负责核查、外部审计机构验证、董事会层面的委员会再监督执行等等。眼下很大一部分的需要其实只是透明度。 在现阶段，我说“大家应该听我的”并没有多大帮助，已经有很多人表达各不相同的看法。我真正关心的，是怎样促成并推动公开与私下的相关对话，让所有人共同走到正确位置。 ### 愿景：唤醒每个人心中的梦想 **Cleo Abram**: 为什么还要做 AI Agent？ **Alexandr Wang**: 我一直觉得有件事很让人遗憾：几乎所有人在小时候都有宏大的梦想和想法，想改变世界、拯救地球、写一本书或拍一部电影，但不知什么原因，完成学业、开始工作后那团火往往熄灭了。尤其在今天，很多年轻人变得非常愤世嫉俗，觉得世界太糟糕了，大概只能这样。 我认为 AI 的一个承诺，就是阻止这种事情发生。人们小时候拥有的宏大想法、梦想和目标，可以一直带进成年，一个具有超级智能的 AI 伙伴会在身边帮助他们把这些变成现实。这既可以是宏大愿望，也可以是看似疯狂的想法，比如我的伴侣就很想建一座冰博物馆。今天的世界就是一个由各种路障、问题、挑战和后勤事务构成的迷宫，它们会阻止你把想法变成现实。 我已经看到 Muse 在小范围内改善这个问题。人们用它节省时间和金钱，把琐碎事务从待办清单里拿走，获得更多自主性。AI 会变得越来越好，不只更聪明，也更对齐、更值得信任。AI 行业的人经常会说“AI 将治愈癌症”，但每一个人心里还有自己强烈渴望的事情，讽刺一点说，那件事对他个人甚至比治愈癌症更迫切。这也是个人超级智能的魔力，它会在你真正想做、真正梦想的事情上帮助你。 **Cleo Abram**: 当你离世以后希望别人怎样记住你？ **Alexandr Wang**: 我希望人们说，我建造的东西、我参与贡献的事情，帮助每个人从自己想要的人生中获得更多。 **大飞**: 到最后，地球上这80亿人能不能各自实现自己的梦想，取决于 AI 信任、对齐和监管这些难题能不能被妥善处理。汪滔在谈话中说了一句很让人扎心的话，他说：私人恩怨竟然在实质上决定 AI 领袖们说什么和做什么，这让他难以置信。感谢收看，我们下期再见。