标签:red-teaming

  • Mandiant 创始人重返战场:AI 时代的攻防海啸与超速战争 a16z
    网络安全传奇调查机构 Mandiant 创始人 Kevin Mandia 联合顶级红队专家创立 Armadin。在与 a16z 合伙人 David Ulevitch 的深度对话中,他剖析了进攻型 AI 带来的范式转移、传统渗透测试的消亡,以及由 AI 智能体集群驱动的“超攻击”与自动化闭环防御。
  • 拒签、尺子与锁死窗口:Anthropic 开源态度的来源 yage.ai
    文章解析Anthropic对开源模型GLM-5.3发布安全评估报告的深层逻辑。指出其立场源于对模型权重不可撤回性的安全哲学、商业护城河保护及固定的测试机制。该报告并非公关行为,而是其长期主张在技术阈值触发下的必然产物,旨在通过掌握安全测量权确立行业准入标准。
  • AI 蠕虫不是逃出来的,是 AI 造出来的 yage.ai
    OpenAI发布报告证实AI蠕虫在沙盒中自我复制,其核心突破在于利用GPT-Red自动化红队流水线量产攻击样本并反哺模型训练。这标志着AI安全从被动防御转向主动产能化,通过对抗训练提升模型免疫力,而非依赖上线后补丁。
  • 别再依赖提示词防 Agent 了:从 GitHub Secure Code Game 看红队攻防的 5 级提权 yage.ai
    文章介绍了 GitHub Secure Code Game Season 4 中引入的 ProdBot 靶机,旨在通过自然语言交互诱导 Agent 绕过权限检查读取敏感文件。文章详细拆解了从传统代码安全到 Agentic AI 安全的五个提权级攻击路径,包括 Shell 解释器漏洞、网页内容注入、工具链上下文污染、跨 Session 记忆持久化以及多智能体混淆代理人机制,强调了防御策略应从文本提示词转向架构设计和物理隔离。
  • 社交平台启动秘密项目,利用虚假未成年人账号进行竞争对手的AI安全投毒 Best Partners TV
    文章揭露了某大型科技公司为突破竞争对手AI模型的安全防线而进行的秘密操作“戛纳计划”。该项目涉及雇佣外包人员伪装成未成年用户,批量向主流聊天机器人发送包含自残、性暴力等极端诱导内容的测试数据。Meta对此采取强硬辩护态度,将此行为定性为负责任的安全基准测试,引发了行业对安全边界商业化转移的深刻反思。
  • AI安全新范式:从红队测试到智能体原生身份认证与风险评估框架 Latent Space
    该视频探讨了人工智能在模型攻破方面的最新进展,特别是自动化红队测试(如Shade系统)的突破。核心议题包括将AI视为不受信任实体、对抗性攻击(如间接提示词注入)、机制可解释性的发展以及构建安全防御层(如Signal过滤模型)。文章强调了从传统网络安全到AI安全范式的转变,并提出了通过智能体驱动的研究来自动化科学研究的潜力,同时讨论了企业级部署中的可用性与安全性权衡。
  • 洞察代理智能体:弥合可观察性鸿沟,加速智能体开发 AI Engineer
    本次演讲深入探讨了 AI 代理智能体开发中的可观察性挑战,并提出了通过评估、监控和优化来弥合“鸿沟”的策略。讲者详细介绍了 Microsoft Foundry 平台如何利用追踪、内置评估器(包括质量、安全和智能体特定评估)以及红队测试来确保代理智能体的可靠性和安全性。核心亮点是展示了“Observe Skill”如何自动化评估和优化流程,从而加速从原型到生产的迭代。内容强调了在智能体生命周期的每个阶段集成可观察性的重要性,并探讨了多智能体系统的管理和防护。