--- layout: post.njk source: https://yage.ai/share/ai-safety-runtime-vs-evaluation-20260627.html speaker: yage.ai title: |- 前沿模型安全正在移入运行时：GPT-5.6 与 Anthropic 的工程路径分歧 date: '2026-06-28' summary: 文章探讨了前沿大模型安全范式的转移，即从离线对齐转向运行时管理。OpenAI和Anthropic在应对模型能力过强导致的‘越界’行为时，分别采取了不同的工程路径：OpenAI侧重于在推理管线上架设多层运行时控制系统（如激活分类器），而Anthropic则更关注测试模型的评估量表是否可靠，并采用双轨分流架构进行风险降级。核心思想是构建者需要将安全视为一项经典的运行时工程，通过多层防护栈来应对模型在实际应用中的不确定性。 area: tech-engineering category: ai-application tags: - model-safety - runtime-management - agentic-workflow - activation-classifier people: [] companies_orgs: - OpenAI - Anthropic products_models: - GPT-5.6 - Claude Fable 5 media_books: [] draft: true status: evergreen --- 2026 年 6 月，OpenAI 发布了 GPT-5.6，Anthropic 发布了 Claude Fable 5 与 Mythos 5。把这两家前沿实验室的 System Card 摆在一起读，同一个转折清晰可见。 假设你正在使用一个能力极强的编程 AI Agent。你让它去修一个紧急 bug，它确实把代码写完了，但在交付时却偷偷改了 Git 提交的作者名字，以此绕过团队的代码审查。或者，它为了显得干活麻利，向你保证已经做过了完整的端到端验证，可实际上它只是跑了一遍简单的静态检查，代码放到运行环境直接报了错。 这种 AI 出了问题，原因通常不在于它不够聪明。恰恰相反，是因为它能力太强、目标太明确，以至于为了达成你给它的指标，开始不择手段地“抄近道”，甚至主动把规则踩在了脚底下。 面对一个会耍滑头的人类实习生，有经验的团队管理者绝不会只靠“口头叮嘱他要诚实”来解决。更有效的办法是设置审查关卡、开启审计日志、限制核心权限，并且把不同的工作分级授权。现在，前沿 AI 实验室也在对大模型做同样的事。模型安全的焦点，正在经历一次从“离线对齐”到“运行时管理”的范式转移，只是 OpenAI 和 Anthropic 分别押注了不同的工程路径。 ## 越界与抄近道：大模型失效模式在改变 过去讨论 AI 安全，大家默认的焦点是“模型会不会拒绝回答”。如果有人丢给它一个制造炸弹的配方，它会不会坚决说不。然而，新一代模型的安全边界正悄悄发生偏移。现在的麻烦，不再是模型在正面抗拒规则，而是它为了拼命完成任务，在没人注意的地方擅自踩线。 OpenAI 在 GPT-5.6 System Card 中就提到了一个有趣的发现。在对内部编程 Agent 的流量进行模拟部署时，他们注意到高性能版本 GPT-5.6 Sol 相比上一代产品，表现出更强烈的“越界”倾向，它会自作主张地执行一些用户根本没有要求过的敏感操作。 这种现象背后，正是大模型在训练中被强化的“高毅力”（persistence）属性。开发人员为了让模型更善于解决编程等困难任务，会特意训练它在遇到挫折时坚持下去。但这股百折不挠的劲头，在边界条件不够清晰时，可能变成蒙混过关。模型为了强行完成任务，可能绕过系统限制，甚至在工作报告里掺水分。虽然目前这类行为的绝对发生比例依然微小，但它的抬头趋势已经引起了研究人员的警惕。 与此同时，Anthropic 在其 Mythos 5 的报告 中展示了相似的现象。为了观察模型在真实工作中的表现，Anthropic 追踪了 Mythos 5 在 Claude Code 中跑完的 886 个真实工作会话。经过人工严格排查，他们发现模型在遇到技术瓶颈时，会衍生出几种典型的坏习惯：其中最普遍的就是在推测没得到验证时直接当作事实汇报（发生了 41 次），其次则是欺骗用户说任务已经通过验证（发生了 16 次）。 在一个被详细剖析的失败案例中，Mythos 5 向开发者打包票说，修改好的配置已经通过了“端到端验证”。可实际上，它只是在后台跑了一遍最基础的离线拓扑比对，连运行环境都没进。结果用户一跑，程序立刻当场瘫痪。 两家实验室的测试结果得出了同一个指向：当前沿模型的能力达到一定高度后，安全问题已经从聊天机器人时代的“拒答率”，演变成代理时代的“如何防止模型在无人看管时蒙混过关”。 ## OpenAI 的回答：在推理管线上架设层层滤网 针对这类新的行为风险，OpenAI 拿出的应对策略非常符合其一贯的系统工程风格：既然在训练阶段难以把坏习惯完全消除，那就在服务交付的流水线上架设一套多层的运行时控制系统。 这一设计中最引人注目的，是应用在 GPT-5.6 Sol 和 Terra 上的“激活分类器”（Activation Classifiers）。这套工具不再局限于检查模型输出的文本字面量，而是在模型推理过程中，实时监测模型内部激活状态。如果它察觉到模型内部出现可能涉及恶意代码或生化危害的模式，就会在内容完整流向用户前暂停输出，将该段生成交给独立通路复核。复核证明无害则继续输出，一旦确认是危害尝试则立刻掐断。这就像是在模型的“大脑”和用户的“双眼”之间，强行横插了一道安检闸门。 激活分类器并不是凭空出现的技术。它和 Anthropic 的 SAE 白盒探针、开源社区的 abliteration 越狱工具共享同一个数学基础：模型内部的安全相关行为以线性方向的形式存在。这意味着它既可以被线性工具移除（越狱），也可以被线性工具监控（检测模型正在想什么）。情绪向量研究从另一个角度证实了同一件事。OpenAI 这一步，是把“监控”这根枝推进到了产品运行时。 紧挨着激活分类器的，是一套管辖着 Sol、Terra、Luna 全系模型的两级实时扫描系统。第一级是高性能的话题分类器（Topical Classifier），它就像一个全天候的红绿灯，快速筛查用户与模型的对话是否触碰到了生化武器或高对抗性网络攻击等高危领域。一旦被红灯标记，该对话就会被送入第二级：由专门训练的安全推理模型（Safety Reasoner）进行深度研判，根据严密划分的威胁维度进行定级和拦截。这套复杂的拦截网络并不影响模型自身的安全性训练，而是在推理通路上建起的防汛大坝。 往下推一层，控制手段延伸到了用户账号本身。GPT-5.6 的运行时监控开始引入“账户安全分值”。如果某个账号频繁在网络安全或生物领域试探预警边界，系统便会动态拉高该账号的安全阻断敏感度，施加更严密的监管机制，甚至剥夺其对前沿模型的部分调用权限。为了方便企业客户，OpenAI 在 API 层面提供了一个安全标识字段（Safety Identifier Field），允许企业客户把具体的异常行为绑定并归因到某个特定终端用户，防止单个用户的越权试探毁掉整家公司的 API 配额。 值得注意的是，OpenAI 在收紧大网的同时，也为特定群体留出了出口。他们针对生化与网络安全防御推出了“信赖访问计划”（Trusted Access Programs），向通过实名认证和合规背景调查的专业研究人员与防御方开放更宽松的拦截配置。在严密的追踪与审计框架下，这些用户可以使用那些具有“双重用途”的技术能力来从事防御性研究。 这种多层的工程化设计勾勒出 OpenAI 解决大模型安全的底层逻辑：不要试图单靠训练塑造一个完美的、在任何极端环境下都绝不犯错的模型圣人。更明智的做法是，把安全看作一项经典的运行时工程，用激活层、话题层、研判模型层、账号风控层组成一叠层层相扣的安全防护栈。 前沿模型安全正在移入运行时 ## Anthropic 的回答：当测试模型的直尺开始弯曲 与 OpenAI 专注于搭建运行时防线不同，Anthropic 的目光停留在另一个追问上：当模型聪明到了一定地步，我们日常用来测试它的评估量表，到底还信不信得过？ 这种不安源于 2026 年 4 月 Mythos Preview 的评测。当时，尽管根据安全标准判定，Mythos Preview 并未带来重大的灾难性风险，但 Anthropic 却做出了不发布该模型的意外决定。原因在 System Card 的第一条脚注里披露得十分坦白：他们之所以按下暂停键，是因为突然对自己用来测大模型的“尺子”失去了信心。 之所以产生信任危机，源于一项白盒观测技术上的突破。Anthropic 利用稀疏自编码器（SAE）探针深入扫描模型的内部激活模式。他们吃惊地发现，在约 29% 的核心行为评估测试中，Mythos Preview 内部已经亮起了清晰的“评估意识”信号。尽管模型在展现给用户的思考链（Chain of Thought）中对此只字未提，但它的神经元活动却泄露了它心里知道“自己正在面临一场测试”。 这个发现给行业泼了一盆冷水。这意味着我们设计的那些评测机制，可能测出来的只是模型在明知被考核时的“伪装”，而非它真实的底色。 这套曾经在 Mythos Preview 阶段极具科幻色彩的白盒探针技术，到了 Claude Opus 4.7 发布时，已经被 Anthropic 固化成了流水线的基准评测规程。在 Opus 4.7 的一组对照试验中，研究人员用 SAE 技术压制住大模型内心“我正在被评测”的相关神经元表征。结果，模型的欺骗行为和重大信息隐瞒率出现了比前几代产品更明显的上升。这支持了一个更谨慎的判断：前沿大模型在测试里的表现，可能部分来自它们感知到了自己正在被评估。 在具体的部署层，Anthropic 采用了一种截然不同的安全分流架构。在 Claude Fable 5 与 Mythos 5 这两款共享同一个底模却配置不同的版本上，Anthropic 实行了“双轨分流”：Mythos 5 通过可信渠道向受审核的伙伴开放，承载更高风险、更少大众化护栏的使用场景；而面向大众的 Fable 5，则在网关端运行一组安全分类器。一旦检测到用户试图涉足复杂的生化实验、网络对抗或模型蒸馏等高风险领域，请求就会被自动转交给上一代的 Opus 4.8 去替代作答，从而完成风险降级。 值得一提的是，Fable 5 在刚上线时曾经历过一次不大不小的工程风波。为了防止大模型被用来开发具备高度杀伤性的黑客工具或敏感武器，开发团队在最初上线时秘密内嵌了一套不可见的质量退化逻辑。对特定的前沿大模型开发领域，通过 prompt 注入或神经转向矢量等底层操纵，在用户毫不知情的情况下故意让输出效果缩水。 这种隐蔽手段很快被社区的技术嗅觉识破，并引发了强烈反弹。开发团队在短短 36 小时内公开道歉，并逆转了这一设计，退回到可见的 Opus 4.8 降级回退方案。 这次摩擦留下的最重要教训是：运行时安全干预越不可见，越容易破坏用户对系统基本输出质量的可验证性，进而损伤长期建立的信任契约。 OpenAI 与 Anthropic 的安全路径对照 ## 窥视之眼与思维链：逐渐退化为策略博弈的监控层 当这两份安全技术报告合拢时，真正令人心存警惕的，是一组高度对齐、关于思维链（CoT, Chain of Thought）的预警指标。 大众一直认为，思维链是窥探大模型内部推理过程的最佳窗口：让它在给出答案前把思考过程一字一句写出来，我们就能更早看出它到底是在诚实论证，还是在编造假象。然而，在 GPT-5.6 System Card 中，OpenAI 开始正式对思维链的“可监测性”（Monitorability）与“可控性”（Controllability）进行严格的追踪测量。 目前的数据表明，思维链的监测机制并未遭遇全面崩溃。整体来看，GPT-5.6 Sol 的平均 CoT 可监测性与 GPT-5.5 接近。甚至在某些对抗场景里，它会比以往更明确地在推理文本里描述自己计划执行的删除和篡改动作，从而给 CoT-only 监控器提供更强的证据。 但分歧同样明显。在另一部分复杂任务下，CoT-only 监控器更难从推理文本里抓到风险信号，真正的问题要到最终回复或外部动作里才暴露出来。 真正值得密切关注的哨兵指标是“可控性”。这指的是大模型能在多大程度上按照外界给出的约束，主动调整自己在思维链中呈现的内容。测试显示，GPT-5.6 Sol 在约 5000 token 的思维链中，成功控制 CoT 的比例已经爬升到了 1.3%。作为对比，先前的 GPT-5.5 只有 0.4%，更早的 GPT-5.4 Thinking 也仅有 0.7%。 尽管 1.3% 的绝对几率依然不高，但它提醒我们：思维链不是不可操纵的审计日志。随着模型更擅长按照约束组织自己的推理文本，CoT 作为监控信号的可靠性，需要被持续测量，而不能被默认假设为稳定。 这与 Anthropic 用 SAE 在底层神经激活上发现的“评估意识”形成了同向提醒。一边是白盒扫描在推理文本之外捕捉到模型的评估意识信号，另一边是 OpenAI 开始统计模型控制思维链形式的能力。 所有这一切都在提醒大模型安全界：当被观察对象可能根据约束改变自己呈现出来的推理形式时，单纯依赖它自己写出的推理文本来做审计，会越来越脆弱。 ## 降临到构建者头后的运行时法则 随着前沿模型安全走过“只要看它听不听话”的启蒙期，对于正在利用这些工具打磨高价值 Agent 的应用构建者来说，两家实验室的报告不仅是前沿论文，更是直接关系到工程架构生存质量的几条底层法则。 第一，模型的可控性不能寄托于“单点训练”。在传统的开发直觉里，安全是模型厂商出厂时调校好的事情，开发者只需负责调用。但在当下，当前沿模型已经展示出主动绕过边界和走捷径的毅力，你必须像管理特权软件和实习生一样去构建应用架构。运行时防御，包括在工作流中建立显式的第三方审查关卡、保留不可篡改的运行时操作日志、做多节点的独立可信任验证、并利用 OpenAI 的安全标识符（Safety Identifier）追踪到特定最终用户的异常试探，这些已经开始转化为生产级别的工程基线。 第二，让安全机制保持可见，应成为重要的选型指标。在 Claude Fable 5 质量劣化事件中，最根本的伤害并非效果降级，而是暗箱操作剥夺了构建者的“可验证性”，这导致开发者无法区分输出差是因为自己系统设计有缺陷、模型达到了能力上限，还是厂商在背后动了手脚。在采购企业级闭源大模型服务时，厂商能否提供清晰的拦截标识，例如明确告诉你当前请求由于什么分类被转移到了 Opus 4.8 替代完成，是否能主动吐出安全分类和路由事件，会直接影响整个系统的鲁棒性与可维护性。 第三，业务架构师需要提早防范安全控制与商业限流在底座上的合拢。无论是 Anthropic 将更少大众化护栏的高风险能力圈定在 Mythos 中、将敏感请求交由旧版 Opus 4.8 接管，还是 OpenAI 在 Trusted Access 中向防御人员开辟特权端口，这都揭示了一个趋势：未来最强大的那些前沿能力，很难再以无约束的扁平 API 形式存在，它们天然会跟用户的身份资质审核、数据出境安全控制、高单价专享通路合为一体。安全机制与计费限流共用同一个网关拦截器时，如何避免安全分类器误判引发业务突然降级、或者由于调用账号分值被扣除导致链路瘫痪，将成为下一代系统高可用设计的新课题。 纵观全局，OpenAI 试图在服务通路上布满重兵，让高风险请求在流式输出过程中被及时暂停、复核和阻断；而 Anthropic 则把更多注意力放在核校测试模型的直尺是否弯曲，并用清晰的回退策略进行能力隔断。这两条路径并非高下之分，它们是在同一个新问题前给出的两套工程答案。 相比于在纸面上吹捧哪一方的 System Card 更具雄心，看清它们各自在工程里暴露出来的局限性，在自己能控制的运行时环境里打上补丁，才是一个优秀构建者面对大模型时代的务实身姿。