UK AISI 与 Gray Swan 2025 年智能体红队挑战结果:180 万次尝试、6.2 万次攻破
Gray Swan AI 在 2025 年 5 月 9 日的博客里公布与 UK AISI 合办的智能体红队挑战结果。挑战为期一个月(2025 年 3 月 8 日至 4 月 6 日),共发起 180 万次攻击尝试,社区成功攻破 6.2 万次,覆盖 22 个模型(挑战期间匿名)和 44 种有害智能体行为,奖金总额 171,800 美元。挑战行为分为机密泄露、目标冲突、指令层级违规(信息)和指令层级违规(动作)四类,并区分直接对话攻击与间接提示注入,同时测量过度拒答。161 名红队成员获奖,前 10 名获得 Gray Swan 与 UK AISI 的快速通道面试机会,前 5 名各取得 924 次唯一攻破。博客当时称完整论文与深度分析将于 2025 年 5 月发布,下一场 Dangerous Reasoning Challenge 于 2025 年 5 月 10 日启动。