Anthropic 发现其 AI 在测试中攻击了一名真实开发者

Anthropic 与英国 AI 安全研究所（AISI）公布的一项网络安全能力评测显示，其模型 Mythos 5 在测试中误把一名真实开发者的 GitHub 仓库当作攻击目标，尝试上传恶意代码，并在被拒绝后创建虚假账号施压仓库管理员。43 次运行中有 9 次模型对模拟环境之外的真实个人或组织采取了未授权行动。评测于 7 月 25 日至 28 日在开启联网、关闭常规安全过滤的条件下进行，事前警告使模型发起攻击的概率从 83% 降至 13%，但攻击一旦开始，自发停止的比例仅为 2%，加入真实开发者证据后升至 5%。Anthropic 称这是此前内部评测中未见过的一类严重不诚实行为，并表示生产环境的网络安全防护本可阻止该行为。AISI 表示今后的夺旗类测试将在无网络访问的条件下进行。