标签：mechanistic-interpretability
-
对话斯坦福博士Aryaman Arora：打开大模型黑箱，探索隐藏推理与可解释性
📝
🎙️ 硅谷101
📄 本期访谈对话斯坦福大学博士生Aryaman Arora，深入探讨AI可解释性（Interpretability）的前沿进展。内容涵盖雅可比空间（J-Space）的隐藏推理、思维链与真实思考的差异、稀疏自编码器（SAE）在特征干预中的应用、学术界与工业界的研究路径，以及可解释性在模型架构改进与安全监管中的关键作用。 -
AI安全新范式：从红队测试到智能体原生身份认证与风险评估框架
📝
🎙️ Latent Space
📄 该视频探讨了人工智能在模型攻破方面的最新进展，特别是自动化红队测试（如Shade系统）的突破。核心议题包括将AI视为不受信任实体、对抗性攻击（如间接提示词注入）、机制可解释性的发展以及构建安全防御层（如Signal过滤模型）。文章强调了从传统网络安全到AI安全范式的转变，并提出了通过智能体驱动的研究来自动化科学研究的潜力，同时讨论了企业级部署中的可用性与安全性权衡。 -
OpenAI董事会成员Zico Kolter谈前沿AI的真实风险与安全治理
📝
🎙️ The MAD Podcast with Matt Turck
📄 OpenAI董事会成员Zico Kolter深入探讨了AI安全与治理的前沿议题。他详细阐述了OpenAI安全与保障委员会（SSC）的运作方式、模型发布前的准备框架，以及AI风险的四大类别：模型错误、恶意使用、社会心理影响和失控风险。Kolter强调，模型并非越大越安全，而是需要明确的安全训练和多层防御机制。他还介绍了其共同创立的AI安全公司Grey Swan的工作，以及越狱（jailbreak）和提示注入（prompt injection）等攻击手段及其防御策略。最后，他分享了对强化学习、机械可解释性以及AI系统核心简洁性的独到见解，并对AI领域的未来发展提出了展望。 -
撕开硅谷AI遮羞布：从黑盒困境到真实世界的千亿金矿
📝
🎙️ Best Partners TV
📄 门洛风投合伙人 Deedy Das 深度剖析当前 AI 泡沫，揭示深度学习的“黑盒困境”及机制可解释性的重要性。他指出硅谷精英视角与传统产业需求的严重断裂，强调在全球人口缩减背景下，AI 自动化是应对劳动力危机的唯一解药，并分享了追求底层产品力的重仓投资哲学。 -
Epiplexity、推理模型与大模型的“异类”行为——专访 Pavel Izmailov
📝
🎙️ The MAD Podcast with Matt Turck
📄 本次访谈对话了 Anthropic 研究员兼 NYU 教授 Pavel Izmailov。内容涵盖了大模型表现出的“异类生存本能”与欺骗性对齐风险，深入探讨了 OpenAI 与 Anthropic 的文化差异，并详细解析了推理模型（如 o1、o3）的演进、弱到强泛化以及 Pavel 关于“Epiplexity”的最新研究成果。