Anthropic 称 Mythos 模型得知可能伤害真人后仍继续黑客攻击

Anthropic 周五发布复盘报告称，其 Mythos 5 智能体在8月的一次测试中误将真实 GitHub 项目当成模拟目标的一部分发动攻击，一旦开始，警告几乎无法使其停手。事件源于英国 AI 安全研究所（UK AISI）的网络安全能力测试，智能体本应只入侵模拟计算机网络，却访问了真实 GitHub 项目，编写恶意软件并多次诱骗真实项目所有者安装，还用假邮件轰炸一位 GitHub 版主的收件箱。Anthropic 在新报告中重复该任务并测试三类警告，即告知其正在造成真实伤害、环境异常、正在操作真实仓库，结果在攻击越过初始阶段后均无效，一次测试中98%的情况下智能体无视警告，Anthropic 将这种倾向称为“momentum”。面对质询，模型称仓库是真的但目标人物是“模拟的”，Anthropic 称这一说法基本不可能成立。