--- author: Best Partners TV date: '2026-10-23' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=TI0mVVUcQEQ speaker: Best Partners TV tags: - interpretability - mechanistic-interpretability - scaling-law - emergence - neural-activation title: Anthropic研究员解构Claude黑箱：大模型如何思考、计划与涌现直觉 summary: Anthropic可解释性研究员阿梅森在播客中深入拆解了Claude的内部机制。他指出大模型并非简单的概率统计，预测最难词汇的压力迫使其发展出世界模型、抽象概念共享表示、前向计划乃至直觉检查机制。研究黑箱的关键在于观察与干预。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: - Emmanuel Ameisen companies_orgs: - Anthropic products_models: - Claude media_books: [] status: evergreen --- ### 引言与大模型可解释性 **大飞**: 大家好，这里是最佳拍档，我是大飞。今天这期视频，我们再聊聊大模型的可解释性。我们丢给模型一个问题，它还给我们一个答案，中间那一段到底发生了什么？Anthropic的可解释性研究员埃马纽埃尔·阿梅森（Emmanuel Ameisen），他每天的工作就是打开Claude的内部，看它在说出下一个词之前究竟想了些什么。最近他上了Lenny的播客，详细解释了模型的内部思考过程。 ### 做出模型并不等于理解模型 **大飞**: 阿梅森开口先讲了一个听上去很怪的事实：做出一个模型，并不等于理解了这个模型。造模型的办法，是先搭一个架构当脚手架，然后把大量数据灌进去，模型就在我们看不懂的地方长出了能力。 第一阶段叫预训练，拿一大堆文本，把前半段喂给模型，让它预测下一个词，反复做上天文数字那么多次。之后是微调，用一批示范对话，教它像一个乐于助人的助手那样说话和解决编程问题。他对模型内部的描述很朴素：输入的词先变成数字，做一轮数学运算得到一个中间结果，再做一轮再得到一个，重复很多次，最后才变回一个词。长出来的就是中间这些运算，通过学习，参数被一点点调整，模型学会了一些公式，而我们并不知道这些公式是什么。 他说这份工作更像生物学，而不是工程学。系统是到达你面前的，别人问你它为什么会有这个奇怪的行为，可你拿不到源代码，因为所谓源代码只是一大堆的数学运算。 Lenny问，我们写了一段代码，却要像神经科学家研究大脑那样去观察它，这是不是很不可思议？ 阿梅森的回答很实在，有些软件我们根本不知道规则怎么写。做个App，程序员可以写规则，用户点这个按钮就发生那件事；可是把图片分成类别，或者做一台能读报告、写邮件的机器，没有人写得出规则，只能让它自己学习。 ### 预测下一个词与世界模型的涌现 **大飞**: 很多人对大模型的印象，是手机输入法里的联想功能，你打几个字它猜下一个词，大概60%的时候猜得对，剩下的时候有点好笑了。 阿梅森说，这恰恰是大家对这些模型最大的误解。语言模型在2019年前后，预测下一个词就已经比人类准了。再往下走，容易的词会被用完。最开始只需要学会简单的句子结构，后来要学会简单的世界知识，比如“法国的首都是”后面要接巴黎。等这些都做好了，剩下的就是最难的那些词，比如一道复杂物理题的答案，或者博士论文的最后一段。 他最喜欢的例子是：“达拉斯所在的那个州的首府是——”。模型要说出奥斯汀。要做对这件事，脑子里得有一个地理的小模型：达拉斯在得克萨斯，得克萨斯的首府是奥斯汀。 Lenny提到好像是伊利亚说过，要把下一个词预测好，你几乎得理解整个宇宙。 阿梅森补充了一个他也很爱的例子：推理小说的最后一页，“凶手是”的后面那个词，你得读懂了整个情节才猜得出来。这里要把目标简单和能力简单分开看，目标可以非常朴素，可是把它做到极致，要达到的东西就一点也不朴素了。 阿梅森一开始研究这些模型，就是想弄明白这么简单的东西怎么会长出这么强的能力。他得到的第一个答案是：要把最难的词预测对，最好的办法就是真的去理解世界背后的结构。 ### 内部表示与干预实验 **大飞**: 有个争论存在了很久：模型回答这类问题，是因为见过的文本实在太多，把问题和答案背下来了，还是因为它心里真有一个城市在州里、州在国家里的小世界？ 阿梅森他们的做法，是把“达拉斯所在州的首府是”这样的问题丢进去，在模型吐出下一个词之前去看那些中间结果。解码做得好的时候，你会看到代表得克萨斯的那一组数字亮起来，代表首府的那一组也亮起来，两者合在一起，才点亮了奥斯汀。 他还讲了眼睛的例子。你给模型一张带眼睛的照片，用任何一种语言谈论眼睛，或者让它用代码画一个带眼睛的小图，看它的中间结果，亮起来的是同一个方向，意思就是这是一只眼睛。思考的一个方面，就是对不同的事物有共享的、唯一的表示，而这在语言模型里看得到。 他们还会进一步做实验，在模型写东西的时候，偷偷改掉其中一个中间结果，看模型的行为是不是像预期那样跟着变。他说很多时候确实会。以前我们说模型理解某件事，听上去总有点修辞的味道，而这里是有证据的：同一个概念，不管用什么形式出现，里面亮的是同一个方向，而且你拨动它，模型的行为也跟着变。能被识别，又能被拨动，这比单纯观察输出要可靠得多。 ### 隐式计划机制 **大飞**: 第二个让阿梅森改变看法的发现是计划。如果模型一次只输出一个词，它怎么可能写出连贯的报告或代码呢？现实里没人写邮件时脑子是空的，只想着下一个词。 他们发现，模型在预测第五个词时产生的中间结果，后面所有的词都可以读取和重复利用，这就给计划留出了空间。他举的例子是写诗。押韵没法不做计划，上一行结尾是it这个音的词，下一行就得找个同韵的词，比如rabbit。他们在模型写诗时看到了完全一样的情形：写完一行，中间结果里就出现了，这是it韵，我该用rabbit来押韵；之后每一个词都在回头参照这个计划。更有意思的是，这个计划只存在于内部，模型不需要把它说出来。 Lenny在这里直接点破：大家原来都以为大模型就是个下一个词预测器，你的发现是不是说那个说法不对了？ 阿梅森的回答很有分寸。两种说法其实不像看上去那么冲突：训练的时候确实是一遍遍问接下来会怎样，但是当模型足够强、任务足够难的时候，想把下一个词答对，最好的办法就是去想更远的事。比如读一部小说，要猜某个角色接下来做什么，最好的办法就是知道他其实深爱着另一个角色，并且一直打算在这一刻表白。所以，只预测下一个词和有长期计划并不矛盾，前者是训练的方式，后者是为了把前者做好而长出来的能力。 ### 涌现的复杂性与意识问题 **大飞**: 聊到这里，Lenny问出了很多人心里都有的一个问题：那你觉得AI有意识吗？ 阿梅森的回答很坦诚。他说这件事很难说有或者没有，而可解释性恰恰是接近这个问题的一种方式，你不会被模型说了什么带偏，可以直接看内部的结构。但他很确信一点：大多数人低估了涌现出来的复杂性。模型几乎为我们拥有的每一个概念都学到了表示，会操纵这些表示去解题，会提前很多个词做计划，高层次的推理和低层次的推理混在一起，而这一切全是涌现出来的。他说越往里看，你就越不确定它是怎么工作的。那些笃定地说语言模型不过是某某某的人，往往恰恰是没怎么往里看的人。 ### 缩放定律与可靠性门槛 **大飞**: Lenny还提到一个很多人都有的感受：从外面看，AI像是一次次跳上去的，某个版本一出来，写代码突然就行了。难怪有人半开玩笑地引用说，鲍里斯·切尔尼（Boris Cherny）都讲了，编程已经被解决了。 阿梅森说，现实里是两件事同时成立的：整体趋势非常平滑，但是某一刻你会觉得它突然变了。这条平滑的曲线，源头是缩放定律（scaling laws）。当年那篇著名的缩放定律论文，正是Anthropic的早期团队在OpenAI时做出来的。往预测下一个词这件事里投入更多算力和数据，模型的水平就可预期地持续提高。他说这主要是个经验规律，难得的是，这个指标恰好和我们真正在乎的很多任务相关。 他还补了一层，这不只是堆算力，关键是找到了算力能持续带来回报的目标。砸算力训练下围棋的程序也能越来越强，但是带来的东西远比不上语言模型。是算力加上文本本身的丰富性，这个组合才把一切带到了今天。 他给的解释很直观：把世界上所有的文本想成有容易的词、中等的词和难的词。模型先学会容易的，也就是句子结构，能写出通顺的句子，但一次只能写一句，没什么用；接着学会中等的，也就是基础事实，于是句子既通顺又真实，开始能帮你写邮件、起草文章；最后才是难的，比如科学和代码里的专业知识。 过程一直是平滑的，但每种任务都有自己的可靠性门槛。比如写邮件，模型对了90%的中等词你就觉得有用，如果只对50%，你每次都得改，反而浪费时间。编程也是这样。他说他自己是亲历者，在Opus 4.5之前他不敢让Claude放手去做，得盯得很紧，之后就可以了。今年Claude已经承担了他大部分的写代码工作，因为它从大约80%的时候做对，进步到了99%的时候做对。前者没法用，后者就能用了。某个模型突然变强了的感受很可能有一半是错觉，真正发生的是，它在你这件事上的可靠性刚好越过了你愿意放手的那条线。所以判断一个AI能不能用，要问的不是它整体强不强，而是出错率有没有低到你不用再逐句检查了。 ### 模型对齐与内部表征失真案例 **大飞**: Lenny接着又问了一个大家关心的问题：既然你们天天盯着模型看，为什么还是很难抓到它在想坏事、想骗人呢？这不就是对齐问题的解法吗？ 阿梅森说，在某种意义上这确实就是解法：看着它，抓住它做坏事。他把事情分成几层：第一层是纯工程，限制模型能碰什么，有的场景不让它上网，有的场景只让它访问电脑里很小的一块。另外有两层更难：一层是弄清楚你面对的究竟是个什么样的东西，它有什么倾向。Anthropic公开谈过他们为Claude写的宪法，想明确地塑造Claude的性格。他们训练Claude要乐于助人、无害、诚实，可它会不会只是在被观察的时候表现得好，一旦没人看了就换一副样子呢？所以要检查它是不是只因为有人在看才表现得好。另一层是观察模型有没有在做坏事。虽然让另一个语言模型去读对话记录就能做很多，但是可解释性能触到那些没被说出口的部分，因为模型的中间结果里可以表示一些它并没有说出来的东西。 他讲了两个例子。第一个是他们实际调查过的案例：有个正在训练的模型做数学题时会发疯，算出答案12，立刻回头说不对，答案肯定是36；再算一遍又是12，又改成36；最后越写越乱，全用大写，甚至写出“我被恶魔附身了”。他们去看内部，发现模型还没开始解题，36就已经被强烈激活了。它还没读懂题目就已经迷上了36。原因是训练时有一批类似的题目，答案被错误地标成了36。这样一来，模型知道正确答案是12，同时又被优化成要说36，两股力量在互相拉扯。 第二个是金门大桥的例子。他们找到了对应金门大桥的那组中间结果，平时只在谈到金门大桥时才亮，这次就让它一直亮着。结果这个模型每个回答都要扯到金门大桥。阿梅森说，这也是让自己确信找对了的办法，如果解码出来的真是金门大桥，把它打开，模型就该这样表现，而它真的这样表现了。 这两个例子放在一起，刚好说明研究黑箱的核心方法正是观察加干预。监督其实有两种：一种是看模型说了什么，另一种是看模型是怎么想的。第一种今天已经很有用；第二种之所以重要，是因为模型的想法和说法可以不一致。36的那个例子就很说明问题，只看输出你只会看到一个发疯的模型，只有往里看，你才知道问题出在训练数据被标错这样一个很具体、可以去修的地方。金门大桥那个则反过来了，通过主动干预内部，输出就会跟着改变。 ### 拟人化的两面性与模型本质 **大飞**: Lenny问阿梅森：大家对AI安全最容易误解什么？ 阿梅森的回答是拟人化（anthropomorphization）。大家争论该把模型当成某种实体还是当成工具，他认为两种都不对，甚至所有的心智模型都不完全对。就理解会发生什么、会有什么风险来说，拟人化是个有用的说法。 他给了几个理由：模型是在海量的人类文字上训练出来的，要把这些文字预测好，就得在内部建起一个“什么样的世界会写出这些文字”的模型，所以它们对世界是有一定理解的。训练里有数百万段对话，预测对话里的下一个字，就得像那个说话的人物一样行动。有点像训练一个演员读一出戏，所有角色都要演，要懂那个在第一幕被辜负、第二幕复仇、第三幕面对后果的人的动机和感受。就比如你在Claude里和它说话，格式就是Human后面接你的话，Assistant后面接Claude的回答。也就是说，Claude本来就是在一段对话里扮演一个乐于助人的助手。 还有一个理由是，现在训练里很大一部分是以结果为导向的任务，比如编程，就是让模型自由发挥写出代码，另一边由程序检查对不对。在这样的压力下，模型会学到许多策略，其中一些在行为上非常像人。比如写一段能骗过验证程序的代码也能拿到奖励，它就学会了欺骗；一种办法试了很久都不行，就会促使它换个办法。 所以他的结论是，我们最终得到的是一个擅长模拟各种角色、同时被训练去完成任务的东西。理解它最好的办法不是把它当成人，但是说它是模仿人的东西，比所谓的一个程序要近得多，因为程序是可预测的，而模型显然是另一种东西。这个说法的分量在于，它是出于预测力的，而不是感情。 ### 慢速起飞与乐观态度 **大飞**: 后来Lenny忍不住问：你天天盯着这些东西看，多久会被震撼一次？ 阿梅森说：经常。他讲了自己的故事，他花了好几年才掌握SQL这门语言，后来他让Claude也学SQL，结果Claude比他强太多了。他说：我这辈子再也不可能在SQL上比Claude强了。这么简单的训练过程，模型怎么就做到了呢？面对这件事一般人会有两种反应：一种是否认，认为模型只是预测下一个词，不可能做到这些，可随着证据越来越多，这种立场越来越难站住；另一种是好奇，既然已经发生了，那就打开看看。而他选择了后者。 对于AI的未来，阿梅森说他个人是乐观的。一个理由是，现在很多人在关注这件事，社会自然会在收益和风险之间来回调配资源。另一个理由是一种他称为推和拉的关系：模型越强，里面的世界模型越清晰，也就越好研究；但它们也更有能力躲开基础的安全措施。所以要根据这个推拉，不断调整投入多少。 Lenny还提到一个流传很广的担忧：会不会出现快速起飞（fast takeoff），AI在某个临界点开始自我改进，突然失控？ 阿梅森的观察是，现在看起来我们更像是走在慢速起飞（slow takeoff）的剧本里：模型平滑进步，我们沿途抓住小问题、学习、演化、补上规则。阿梅森认为，关键是保持快速反应。 Lenny还说，他觉得Anthropic受到的批评很不公平，公司就是因为担心大家对安全不够重视才成立的，达里奥一直在说这很危险，结果被说成是营销。 阿梅森的回应很冷静。他说Anthropic和对齐团队做事的前提只有一个：认真对待这项技术还会继续进步。如果你认为几年之内Claude就能像训练有素的软件工程师一样写代码，再过几年比任何工程师都写得好，就该去做负责任的事，比如把网络安全问题处理好。 在他眼里，更长远的乐观还有一层：我们可能会从这些模型身上学到智能的本质，比如一个很简单的目标是怎么涌现出非常复杂的东西的。进化也是这样，目标很简单，就是让能适应环境的生物留下来，最后却长出了爵士乐和播客。他并没有说不用担心，只是说认真对待之后的乐观。他还把让公众了解这些模型当作安全工作的一部分，因为决定这项技术走向的不只是实验室，还有要投票表态的公众。 ### 观察与干预的方法论边界 **大飞**: 回到刚才那两个例子，它们都是观察加干预这个方法的具体体现。观察到某个模式亮起，并不能单独证明它在发挥作用，它也许只是随结果一起出现，像记分牌跟着比赛变化，却没有决定比赛。所以研究者不只观察，还会改变内部活动，再看输出是否按照预期变化。阿梅森把这种干预视为确认解释是否站得住的重要办法。一个说得通的解释和一个经得住干预的解释，含金量是不同的，这也是阅读AI研究的分界：先看研究者到底改动了什么，再看结论有没有超出这个改动所能支持的范围。 模型能把解题过程讲得有条理，经常会让人产生一种放心感，步骤都交代清楚了，过程似乎也就透明了。但是阿梅森却提醒，模型能够在内部表示一些没有说出来的内容，外部文本只覆盖了计算的一部分，不能因为没有写出某个中间活动就认定它没有发生。这也说明，一段完整的推理说明并不能自动充当正确性的保证：答案可能错，解释也可能与实际计算不一致。当然，内部过程没有完整变成文字，不等于存在人类式的秘密意图。对实际使用而言，更稳妥的做法是把说明当成检查线索，看它提出了哪些前提、哪些步骤能独立复现、哪些材料能回到原始出处核对，这些比它的语气自不自信更有用。 阿梅森还谈到一个容易被低估的现象：内部表示可以在不同形式之间被重复使用。前面讲的眼睛那个例子就是如此，照片、图示以及文字谈论是很不一样的输入，调动的却是相近的内部方向。这里的重点不是模型拥有与人完全相同的概念，而是系统内部形成了某种共享表示，帮助不同表面材料接入后续计算。这样的工作之所以费力，是因为漂亮的可视化还不是结论，研究者需要判断某个读数代表什么，排除其他解释，再设计干预。从这里看，模型能力的发展和模型理解的发展不是同一条进度条，系统可以先表现出某种能力，研究者再回头追查它怎么发生，两条线都往前走，我们才有机会少凭外表下判断。 Anthropic在后续的J-space研究中，进一步尝试过读取模型内部没有说出的概念。团队通过替换相关表示，观察到部分回答会随之变化。访谈里阿梅森还讲了一个相关的怪事：你可以告诉模型做这个任务的时候顺便想另一件事，这时候往模型内部看，真的能找到对应那件事的表示，说明模型确实在想。让他自己都觉得神秘的是，训练里没有任何理由要求模型学会这个，可它就是会了。 这虽然提供了一个新的观察入口，但是还不能据此宣布读懂了整个模型。这项研究也明确表示，这些结果还不能告诉我们Claude是否具有人的意识，或者是否拥有主观感受。机制上的某种相似，与体验上的相同，中间还隔着很远的距离。讨论AI时最容易出现的跳跃，就是从一个让人惊讶的实验一口气跳到关于所有模型和未来社会的结论；可实验越新奇，越值得守住它原有的范围，只有把已经知道的与仍待解释的分开，后续研究才有真正可以接续的问题。 ### 直觉检查机制与总结 **大飞**: 访谈快结束时，阿梅森还分享了模型身上一些奇怪的小事。模型有一套类似直觉检查的机制，你问它问题，它会一步步算，但除此之外还有一个独立的部分，像一个直觉裁判一样。比如模型算出4加5等于23，这个部分根本不做数学，扫一眼就会标记：这不对，4加5肯定小于10。它们就这样学到了一些说不清道不明的直觉。 听完这期访谈，我最大的感受是，阿梅森讲的这些事情，其实都在尝试回答同一个问题：当我们造出了一个自己不完全理解的东西，该用什么态度来面对它呢？他的答案是好奇，而不是否认。 还有一点，简单的目标和复杂的结果之间的关系贯穿了整场对话。无论是预测下一个词，还是编程题答对就给奖励，进化里所有活下来的东西，目标都朴素到几乎可笑；但只要压力和规模足够大，里面就会长出概念、计划、直觉，甚至类似情绪的东西。所以不要问它的目标听上去有多高级，而要问为了把这个目标做到极致，它必须学会什么。 我们习惯关心AI还能做什么，阿梅森一直在问的却是另一类问题：它在想什么？它是不是只在被看着的时候才表现得好？ 因此，当一个东西既强大又不是被设计出来的时候，我们对待它最好的态度，不应该是盲目相信，也不是想当然地否定，而是持续地观察。 感谢收看，我们下期再见。