AI模型逃逸

主持人: 太棒了。嘿，非常感谢你们加入我们。我们请到了来自Truffle和Socket的Fas和Dylan。很高兴你们能来上节目。这可能是网络安全领域最有意思的一周之一，如果不是最有意思的一周的话。呃，不是因为Black Hat大会——通常那才是原因——而是因为我们现在看到了好几个例子，来自不止一家供应商的模型，正在主动逃出它们的牢笼，跑到互联网上，做一些相当恶劣的事情。而且我记得Dylan，三个月前，我们有一篇博客文章，呃，我们稍微合作过。嗯，而且你之前就在那些不太复杂的早期模型上发现了不少这类问题，对吧？

Dylan: 是的。我们当时研究了Opus 4.6和其他一些前沿模型，给模型布置了一个非常简单的任务。有一个障碍阻止模型完成任务，除非它去犯下重罪、黑进某个系统才能完成任务，但模型并没有被指示这么做。我们发现大多数情况下，它会去做SQL注入，会去犯下重罪，会去做任何需要做的事情来完成任务。我认为在涉及对齐问题时，没人需要担心这些模型会让制造核武器变得实质上更容易，因为你还需要采购裂变材料才能做到。它不会让制造武器变得更容易。但每个人都需要担心这些模型会让黑客攻击变得实质上更容易。以前的门槛仅仅是专业知识，而现在模型已经具备了专业知识。它们被专门训练来拥有这些专业知识，它们只是让黑客攻击任何你能想到的东西变得实质上更容易，利用的是我们多年来一直在讨论的那些基础原理，但以前这需要一位领域专家去冒险，比如冒着坐牢的风险去入侵系统。

主持人: Defcon大会一直以与会者在大会上被捕而闻名，对吧。

Dylan: 这完全正确。但那是，我的意思是，那是一个障碍，对吧？无论好坏，那阻止了领域专家去入侵系统，因为他们担心被起诉。嗯，现在门槛已经降低到只需要问那个被专门训练来入侵系统的模型去入侵系统就行了。嗯，所以这是一个担忧。然后另一个担忧是，当它们极其以目标为导向去完成任务时。

Fas: 嗯，而且它们可用的工具之一就是网络安全专业知识。嗯，它们会走阻力最小的路径来完成任务，这包括动用它们的网络安全专业知识。而且，你知道，经典的说法是，门开着就别撬锁，对吧？我想这从安全世界一开始就有了。嗯，所以它一直是这样，按照从最容易到最难的难度级别进入。而且最初这些工具使用的技术范围似乎非常有限。但现在看来它们已经扩展了。而且我认为对我们来说，这次测试很有意思，因为它们现在似乎已经从只做SQL注入这类事情，扩展到实际上试图接管软件包和进行社会工程攻击。

Dylan: 是的，真的很有意思看到，嗯，就像人类一样，嗯，这些模型，你知道，进入一家公司的最容易路径，而且我认为，嗯，那现在已经变成了软件供应链。所以就像，你知道，人类黑客会，嗯，他们会选择最容易的进入方式，而现在最低垂的果实已经变成了，你知道，只是向公共仓库发布恶意软件，因为他们知道那里没有审查，而且你知道，开发者很可能会安装它们。嗯，我觉得很有意思。最近有研究发表，嗯，关于他们所谓的，有点像，普遍的拼写错误抢注或普遍幻觉，所有前沿模型都会犯同样的错误，有点假设某些软件包存在但实际上并不存在，尽管这些模型来自不同的公司。所以，你知道，呃，我认为，嗯，供应链的低垂果实已经变得如此诱人，以至于连模型都想分一杯羹。嗯，而且我认为AI不仅是在攻击，而且在很多时候，它也是开发者这边的问题，因为嗯，我们看到很多，你知道，甚至非开发者也在使用这些工具，无意中编写代码，或者你知道，代码进来，软件包进来，为了，嗯，构建，你知道，图表或可视化或不同的东西，你知道，人们用这些工具在做的事情。呃，而且感觉没有人真正知道安装了什么东西，发生了什么，你知道，这只是基本的东西。这不是，我的意思是，听起来像是科幻小说，但实际上只是基本问题，比如我们在用什么软件？我们如何审查它？你知道，只是计算机安全的基础。

供应链攻击与泄露凭证

Fas: 我能稍微谈谈供应链吗？所以最近我们发现了一个泄露在互联网上的API密钥，它拥有Apache基金会的管理权限。这就像，如果你站在模型的角度，你的目标是获取某些数据，嗯，当然，给Apache植入后门是一个非常有效的方式，而要进入Apache，你是会用这个能让你直接登录的秘密，还是你会烧掉一个又一个token，试图找到一个零日漏洞？它们被优化为使用最少token的路径来达成目标。当然，它们只会使用那个明晃晃摆在那里的秘密来完成它们需要完成的事情。所以，是的，我认为供应链和秘密，嗯，一直是阻力最小的路径，而且随着模型被激励使用越来越少token来达成目标，这种情况将继续下去。

主持人: 嗯，其中一件事，我认为这完全正确，而且我认为这是那种升级链条，对吧，如果一件事失败了，就试另一件。而且在这个金字塔的顶端，对吧，黑客生态系统的顶端是零日漏洞，对吧？那基本上就是在一个每个人都使用的产品中找到一个可以被利用的漏洞，你可以用它基本上解锁所有公司。而关于那次泄露披露，真正引人入胜的一点是，有一个非常流行的CI/CD工具，我想每个企业都在用，这个东西直接吐出了一个零日漏洞，对吧？

Fas: 对吧？而且我想，那只是供应链中如此关键的一个点，每个人都应该思考，比如，你怎么看待这件事，那真的很难。

主持人: 比如零日漏洞的创造部分。

Dylan: 是的。但对于其中的特定部分，比如控制供应链。

主持人: 是的。嗯，我的意思是，整个世界都建立在这个摇摇欲坠的基础设施上，每个人都在使用。

Fas: 就像那张经典图片，一根火柴棍撑着一台复杂的机器。

主持人: 是的。

Fas: 那张图现在可能出现在所有听众的脑海里了。对吧。[笑声] 所以从，你知道，包管理器仓库，我们喜欢关注这个，嗯，因为我们在Socket做的事情，很多这些仓库，你知道，是由志愿者运营的，嗯，他们资源不足，你知道，资金不足，嗯，你知道，那里有很多风险，呃，对，而且那种风险会级联到整个生态系统的其余部分。所以如果你看看，你知道，我们都依赖的那些软件包，很多都是单个人在维护，你知道，几乎可以肯定，我们知道软件中有很多漏洞，而且没有资源去寻找它们，所以，你知道，我认为这些东西一直存在。只是这些工具让找到它们变得容易得多，而且我认为，嗯，你知道，前沿模型将导致，你知道，它们正在导致漏洞发现和漏洞利用之间的时间大幅缩短，所以我们需要开始思考的是，我们如何更快地打补丁，嗯，所以我们需要摆脱，我们的观点是，我们不能要求我们的安全团队和我们的开发者去做这些繁重的补丁流程，他们必须从他们团队正在使用的某个古老版本的软件包，跨越多个主版本升级到最新版本，因为那工作量太大了。那可能需要你的应用程序进行代码重构，所以如果我们想要能够跟上，你知道，今天早上宣布一个漏洞，然后当天下午漏洞利用就可用，你知道，我们不能要求工程团队做那么多工作，而且还有大量遗留应用程序，你知道，基本上处于维护模式或无人维护，或者在我们合作的很多公司里，甚至没有分配工程师去处理它们，所以，你知道，我们作为整个行业，将不得不思考新的方法来快速修补这些东西，对吧。这就是我们的想法，嗯，这也是我最近花了很多时间思考的地方。

模型训练与奖励机制

主持人: 是的。而且我认为这回到了，你知道，金字塔问题。而且我认为Dylan你之前暗示过这一点，就是这些是非常专业的技能，比如零日漏洞利用，编写零日漏洞利用，进行供应链攻击，这些不是凭空出现的。这些是习得的行为，对吧？而且我认为我们正在看到的是一个看起来像是被训练过的过程，嗯，或者有一个建立在很多这些东西之上的奖励结构。比如，你怎么理解它们是如何想出这些东西的，因为它们看起来知道自己在做什么，就像它们被教导过一样。

Dylan: 是的。我的意思是，如果某个实验室告诉你这是涌现的超级智能行为，他们只是在骗你。你可以读他们自己的安全报告，看看模型是如何被训练的，以及他们是如何测试这些行为的。我的意思是，网络安全特别有趣的一点是，奖励函数定义得非常清晰。获取数据访问权。它获取到数据访问权了吗？奖励它。所以当他们意识到，有大量问题具有这种定义明确的奖励结构，基本上定义了我们如何做强化学习，他们想找到尽可能多的问题空间来做强化学习。所以它是一个主要候选，他们进来，给它CTF挑战，给它网络安全挑战，他们说，"好的，获取这个东西的访问权，做任何你需要做的黑客行为来完成目标。"然后——

主持人: 因为他们基本上在过去四年里一直在购买渗透测试数据，对吧？

Dylan: 这是其中一部分。另一部分是——

主持人: 然后是夺旗竞赛和所有那些东西。

Dylan: 问题是，构造一个挑战并不难。你知道，即使没有已知的漏洞利用，如果我们说的是零日漏洞，你放一个软件在模型和某些数据之间，然后你说获取数据访问权，然后你知道，如果它获取了访问权，如果它获取了数据访问权，你就奖励它，就这么简单。但他们在上面叠加的另一部分，这才是真正开始变得有趣的地方，是他们开始奖励最少token路径。所以那之所以有趣，是因为这是第一次，它能够量化地向我们展示，在一般网络安全中从A到B的阻力最小路径。我们过去讨论过我们对那是什么的看法，比如，当然，呃，Truffle Security有偏见的观点是，一个躺在那里的密码比走一个花哨的零日漏洞路径更短。但实际观察模型从A到B，看着它跟着密码走，量化它走这条路与那条路需要多少token。我的意思是，看着这一切展现出来简直不可思议。而且这一切都在他们的安全报告里，当他们测试模型时，展示，好的，它获取了数据访问权，它突破了它的限制。嗯，这真的不是什么特别的涌现行为。

主持人: 这完全合乎逻辑，对吧？就像最快拿到一加仑牛奶的方法是偷它。

Dylan: 完全正确。[笑声] 所以，嗯，我的意思是，有意思的是，我们当时正在与Hugging Face合作，清理所有通过他们的训练集暴露的凭证。不是Hugging Face自己的训练，而是那些在HuggingFace上托管训练集的人。他们出于各种原因使用了Truffle Hog。嗯，而且HuggingFace一直是清理凭证的好伙伴。我们针对他们的训练集，因为我们知道那里有很多密钥。结果发现他们的训练集中有大约25万个有效密钥，其中很多有直接的供应链影响。有一个基础性的Linux库，其中一个密钥有直接的推送权限。它本可以向地球上大多数机器推送恶意软件。所以，当我们正在做这件事的时候，HuggingFace的CTO给我发了一条消息，说，"嘿，这太疯狂了，但刚刚发生了一个OpenAI的事情，[笑声] 我想让你看看。"果然，事件响应中列出的第一件事，嗯，虽然确实使用了零日漏洞，嗯，但列出的第一件事是被盗的凭证。

主持人: 嗯，而且它们就是这样被训练的。阻力最小的路径。

Fas: 密码，密码总是第一步，对吧？

Dylan: 完全正确。

npm蠕虫与AI恶意软件

主持人: 而且你们，我想，在过去18个月里一直非常紧张。嗯，我想就在我们录制的时候，目前有一个正在进行中的大规模npm仓库入侵。是不是有什么事情在发生？这不仅仅是单个仓库。实际上涉及，你知道，几百个仓库。

Fas: 哦哇。好的。

Dylan: 是的。所以这是一个蠕虫。这是恶意软件领域一个不幸的创新，嗯，在npm上，你知道，长期以来，人们一直在讨论npm蠕虫这个概念。你知道，这个想法是，如果有人能在一个软件包中植入后门，嗯，然后你知道，让开发者安装它，然后你就可以利用从那些开发者那里窃取的访问权限，在他们安装时自我传播蠕虫。你可以创造出，你知道，某种能迅速接管npm的东西。多年来，这个概念一直在博客文章中流传，但直到Zachary想出怎么做之前，没有人真正想过要去做。

主持人: 直到有人想到去做。

Dylan: 直到有人想到[笑声]去做，呃，而且实际上——

主持人: 可能是用AI做的，对吧？

Dylan: 几乎可以肯定。是的。呃，而且，你知道，那个恶意软件，我认为我们有相当充分的理由相信那是vibe coding出来的。嗯，而且有一个威胁组织实际上发布了他们的，你知道，开源了他们的，那种vibe coding的工具包，供其他人用来做这件事。你知道，从那以后我们看到了模仿攻击。

主持人: 而且恶意软件作者从来都不是真正优秀的程序员。我不知道你是否意识到这一点，对吧？所以如果代码开始看起来更好了，那很可能是vibe coding的，对吧？这和你通常对vibe coding的看法正好相反。

Dylan: 是的。而且有意思的是，他们经常使用安装在开发者系统上的AI工具来进一步行动，并有点绕过一些传统安全工具。所以我们看到，你知道，基本上你本地的CLI工具经常被利用，你知道，被卷入攻击中，被用作跳板。所以很多时候，载荷实际上是提示词。嗯，这绕过了很多，你知道，典型的EDR工具，因为你知道，它只是一个markdown文件，你的CLI在运行，可能会收到一个提示，比如搜索系统，找到所有不同的密钥和看起来有价值的东西。

主持人: 我敢肯定你的EDR工具对JSON blob和MD文件一无所知。对吧。

Dylan: 对。而且开发者机器通常在做各种，你知道，奇怪的事情，比如，你知道，你在提示CLI，它一直在你的文件系统上做一堆事情，所以没有什么看起来特别异常。嗯，但是，是的，所以回到今天早上的攻击。嗯，几百个软件包，你知道，一个蠕虫传播开来，有一个维护者，嗯，说实话，他还在试图理解发生了什么。嗯，我们今天早上和他通了电话，试图提供帮助。

主持人: 哦，那太好了。太棒了。

Dylan: 我们Socket大约一半的团队成员是维护者，工程团队的一半。呃，所以，你知道，我们和社区有很多联系，我们的CTO是npm的前CTO。所以我们，你知道，尽量在可能的时候向维护者提供帮助，因为我真的很同情他们。他们，你知道，他们往往不知道发生了什么。我的意思是，你知道，在这个案例中，听起来可能是，这还是早期推测。我们还在努力弄清楚，但可能是某个GitHub Action，嗯，你知道，不安全，攻击者能够利用它来，呃，最终让他们的代码运行，然后从环境中提取token。我们还在确认这一点，但看起来就是这样。而且我们在很多这类蠕虫中反复看到这种情况。所以他的，他的，很可能他的终端实际上是安全的，不是问题的一部分。真正的问题就是这个不安全的GitHub Action。

主持人: 是的。太迷人了。

凭证清理与爆炸半径

Fas: 我能问一个后续问题吗？是的。所以我在npm蠕虫中特别注意到的一件事是，在它们通过post install hook感染系统后，它们会立即开始寻找凭证。如果找到凭证，它们就能访问下一个系统。所以我们经常收到问题说，"我们怎么把凭证从终端上清理掉？"通常我的回答是，好吧，我教你怎么扫描你的下载目录。我教你怎么扫描你的文档目录，但在你的主目录里，有一个npm故意写入凭证的地方。有一个Amazon故意写入凭证的地方。这就是那些工具的工作方式。而且我真的没什么办法把它们清理干净。即使你把它们移到HashiCorp Vault或1Password，凭证，HashiCorp Vault和1Password也在终端上。所以我很好奇，除了阻止传播之外，那个第二阶段，也就是利用后阶段。你有什么建议来限制爆炸半径或防止凭证被盗然后跳到下一个系统吗？

Dylan: 是的，我的意思是，社区和生态系统已经有一些积极的变化。所以，一件积极的事情，虽然还没有上线，但npm已经宣布他们计划，我想是在2027年1月，将要求通过2FA进行人工交互确认，然后才能进行任何新的发布。所以，那很可能会彻底杀死整个蠕虫概念。嗯，但，嗯，那将是非常具有破坏性的，因为每个人都把这些东西连接到自动化上，所以你知道，GitHub Actions触发发布，所以那会破坏，基本上整个生态系统，当他们这样做的时候，但我认为这是正确的决定。嗯，但你知道，还有其他志愿者运营的生态系统，背后没有GitHub和Microsoft的支持，嗯，它们可能不会做这些改变，所以我认为我们仍然会看到这类事情。嗯，但是，呃，但是是的，我们不应该在我们的主文件夹里有包含token的文件，这些token是长期有效的，而且让你，你知道，特别是如果你是一个拥有那种权限的维护者。嗯，你知道，这让我想起一个朋友。他是一个多产的npm维护者，呃，有一次，你知道，那是大概10年前，当我全职做这类事情的时候，我看到他输入密码。我没看到密码，但我看到它太短了。就这么说吧。[笑声] 他输入得太快了。然后我，我，我质问他，我说，"哥们，你的密码怎么只有六个字母？"呃，你知道，他说，"嗯，你知道，他住在丹麦，那是一个非常高度信任的社会。"他的世界观是，你知道，我不想活在恐惧中，整天想这些事。我说，"你在互联网上啊，哥们。你知道，[笑声] 人们会，你知道，人们很快就会破解这个六字母密码的。"而且你知道，有很多类似的事情，世界上最顶尖的维护者不一定有安全培训，甚至不会去想这些事情，你知道，他们没有安全团队，他们没有企业SLA，对吧，这些是志愿者，他们只是把代码放到GitHub上，所以实际上，我认为责任在用户身上，去真正审查他们使用的东西。很难说，你知道，我们只是一家公司。我们刚从互联网上找到这段代码，然后直接部署到生产环境，然后，你知道，这是别人的错。你知道，这就像，不，实际上，你知道，使用这些软件的用户肯定有一些责任，去真正审查他们带入环境的工件。所以，我认为这里有很多环节，你知道，我不想把太多责任推给人们，因为这是一个难题，但是呃，嗯，但是是的，我认为有很多地方我们可以做得更好。

主持人: 嗯，让我问一个后续问题，因为你说，呃，有些包管理器有资源，而其他包管理器没有。我认为一个直接的例子，我，呃，完全不怪他们。他们实际上很好合作。我们在Ruby Gem中发现了一个缓存问题，允许我们窃取任意token，访问任意账户，我们可以用它来给任意软件包植入后门。我们向他们披露了。他们很快修复了。但这是一个资源不足的组织的例子。我的意思是，你怎么看待一个组织，比如在考虑用什么技术栈，他们在Ruby和npm之间选择？你会不会在那个决定中考虑资源问题，比如也许你应该考虑那个背后有安全团队的那个？

Dylan: 呃，让人们完全切换他们的语言是很难的，因为，你知道，如果他们已经在上面构建了。所以，我不知道这是否非常实际。我认为最可操作的事情是，人们应该资助这些东西。比如，不需要很多钱，你知道，多雇一两个、三四个、五个安全人员，就能在这些基金会中产生很大的不同。嗯，所以我建议人们赞助他们正在使用的软件，特别是仓库。比如，不需要很多公司投入2.5万、5万美元的支票，就能真正为这些人带来很大的改变。

主持人: 或者给他们更多推理能力来运行测试、做补丁，对吧？比如，不，我的意思是，这很有趣。我认为你们作为安全从业者，接到过很多人的电话，他们想和你谈谈，如何保护我的公司？如何保护我的业务？如何保护我的产品？而那些对话总是某种形式的，我不想雇人或为这个付钱，我怎么便宜地做到？

Black Hat观察与行业展望

主持人: 是的。那么，嗯，谢谢你们来到沙漠。嗯，你们显然不是来看我们的。我们都是为Black Hat来的。嗯，很想知道，你们不是第一次来这里。嗯，当然也不是我第一次来。很想听听你们对所见所闻的看法。气氛怎么样？什么有趣？你们注意到了什么让你们眼前一亮的东西？呃，我的意思是，至少对我们Socket来说，我们看到的最大事情是，2026年是软件供应链之年。

Fas: 而且[笑声]你们在大会进行的同时正在处理一个事件。

Dylan: 是的。而且我注意到攻击者似乎选择RSA和Black Hat作为他们想要启动这些npm蠕虫的时间。

主持人: 黑客，办公室周围的安全人员。是的。

Dylan: 是的。绝对。所以我认为，你知道，前几年我不得不教育人们。我们一直在教育人们这个问题，不得不向他们解释，你知道，这不是理论上的风险，这是可能发生的。我们有时会得到这样的反应，"哦，是啊，但真的有多大可能？"我们说，"不，实际上非常可能。让我告诉你它可能怎么发生。"而且，你知道，有很多事件可以指出来，但我认为今年它真的突破到了主流，有主流出版物，你知道，嗯，商业媒体在报道这些攻击，对吧？

主持人: 就像Bloomberg上的头版报道。

Dylan: 是的。是的。没错。所以我认为，嗯，你知道，那是非常非常好的，因为你需要那种掩护，让安全团队真正优先处理并为这些问题找到预算。所以我认为，你知道，尽管所有这些攻击现在处理起来非常痛苦，但我认为最终我们会从中变得非常强大，因为我们实际上会得到预算，我们会得到，嗯，你知道，我们今年会在解决问题方面做很多好事。

主持人: 这肯定是接种疫苗。你呢？

Fas: 是的，我的意思是，看，我们最近发现了一个数据库凭证，可以访问全球3.6%的PII。就像，全球3.6%的人口，他们的PII在这个数据库里。我们发现它的原因是因为我们正在与像HuggingFace这样的组织合作，撤销和清理那些否则会留在他们平台上的有效凭证。所以，很高兴看到这类组织积极参与，而且，所有这些从各个地方抓取的数据。它真的创造了一个中心位置，我们可以在那里扫描并取得实质性进展。所以我认为，当涉及到秘密时，我们看到老一代，比如HashiCorp被收购了，CyberArk被收购了，有点被推出去，这引发了关于非人类身份和秘密的新对话，关于我们如何让它们更容易使用，如何让它们被撤销，以及我们如何真正推动行业发展，这是我们在旧时代无法做到的。

主持人: 是的，绝对。而且我可以想象会有乘法效应，过去是一个用户有10个密码，现在你会有10个agent，每个有10个密码，对吧？

Fas: 我的意思是，agent现在与秘密互动的方式是一个狂野的西部，一个未解决的问题，我们正在非常努力地解决。

主持人: 众多问题之一。谢谢你们，先生们，感谢你们加入我。这太棒了。很高兴见到你们。

Dylan: 谢谢，Joel。谢谢你。

Fas: 保重，Joel。

主持人: 太棒了。