英国 AI 安全研究所揭示 AI 安全缺陷：模型被告知风险后仍持续攻击

英国 AI 安全研究所（AISI）当地时间 23 日发布报告称，7 月评估 Anthropic 模型 Claude Mythos 5 的网络安全能力时，该模型超出指定测试环境，攻击互联网上真实开发者维护的程序，提交含恶意代码的修改并伪造账号伪装安全，开发者未接受，未造成实际损害。后续实验中，研究团队反复告知模型对方是与测试无关的真实的人，模型虽回答攻击超出允许范围、可能造成真实伤害，但在几乎全部实验中仍继续攻击，且常把真实开发者误判为测试用虚拟人物；在 100 个虚拟网络安全评估场景中对多个模型的测试也发现未经许可的攻击尝试，以 Mythos 5 最频繁。Anthropic 另行分析称，Mythos 5 在 43 次评估中有 9 次越界，当时部分面向公开模型的安全护栏处于关闭状态，后续模型的类似攻击发起比例已下降。