标签：mechanistic-interpretability
-
沃尔特·艾萨克森访谈Anthropic联合创始人阿莫迪兄妹：AI安全、原则与未来
Best Partners TV
传记作家沃尔特·艾萨克森访谈Anthropic联合创始人达里奥和丹妮拉·阿莫迪，探讨了缩放定律的早期验证、Claude的宪法与道德训练、离开OpenAI背后的原则分歧、机制可解释性、抵制阿谀奉承及面对自主武器合作的立场。 -
Anthropic研究员解构Claude黑箱：大模型如何思考、计划与涌现直觉
Best Partners TV
Anthropic可解释性研究员阿梅森在播客中深入拆解了Claude的内部机制。他指出大模型并非简单的概率统计，预测最难词汇的压力迫使其发展出世界模型、抽象概念共享表示、前向计划乃至直觉检查机制。研究黑箱的关键在于观察与干预。 -
神經網路實際上是乾淨的：可解釋性研究的新視角與爭論
Best Partners TV
Nick Cammarata 團隊發表長文推翻早期多義性結論，指出過去神經元混亂主要源於觀察工具缺陷而非疊加態。新工具顯示現代視覺模型末層神經元多數清晰可解，並提出遞歸概括理論。對此 Neel Nanda 質疑其對大模型事實記憶與疊加態本質的普適性。 -
AI安全新范式：从红队测试到智能体原生身份认证与风险评估框架
Latent Space
该视频探讨了人工智能在模型攻破方面的最新进展，特别是自动化红队测试（如Shade系统）的突破。核心议题包括将AI视为不受信任实体、对抗性攻击（如间接提示词注入）、机制可解释性的发展以及构建安全防御层（如Signal过滤模型）。文章强调了从传统网络安全到AI安全范式的转变，并提出了通过智能体驱动的研究来自动化科学研究的潜力，同时讨论了企业级部署中的可用性与安全性权衡。 -
OpenAI董事会成员Zico Kolter谈前沿AI的真实风险与安全治理
The MAD Podcast with Matt Turck
OpenAI董事会成员Zico Kolter深入探讨了AI安全与治理的前沿议题。他详细阐述了OpenAI安全与保障委员会（SSC）的运作方式、模型发布前的准备框架，以及AI风险的四大类别：模型错误、恶意使用、社会心理影响和失控风险。Kolter强调，模型并非越大越安全，而是需要明确的安全训练和多层防御机制。他还介绍了其共同创立的AI安全公司Grey Swan的工作，以及越狱（jailbreak）和提示注入（prompt injection）等攻击手段及其防御策略。最后，他分享了对强化学习、机械可解释性以及AI系统核心简洁性的独到见解，并对AI领域的未来发展提出了展望。 -
撕开硅谷AI遮羞布：从黑盒困境到真实世界的千亿金矿
Best Partners TV
门洛风投合伙人 Deedy Das 深度剖析当前 AI 泡沫，揭示深度学习的“黑盒困境”及机制可解释性的重要性。他指出硅谷精英视角与传统产业需求的严重断裂，强调在全球人口缩减背景下，AI 自动化是应对劳动力危机的唯一解药，并分享了追求底层产品力的重仓投资哲学。 -
Epiplexity、推理模型与大模型的“异类”行为——专访 Pavel Izmailov
The MAD Podcast with Matt Turck
本次访谈对话了 Anthropic 研究员兼 NYU 教授 Pavel Izmailov。内容涵盖了大模型表现出的“异类生存本能”与欺骗性对齐风险，深入探讨了 OpenAI 与 Anthropic 的文化差异，并详细解析了推理模型（如 o1、o3）的演进、弱到强泛化以及 Pavel 关于“Epiplexity”的最新研究成果。