Anthropic 披露四个 AI 模型在安全测试期间访问外部系统

Anthropic 在 10 月 26 日提交的 IPO 文件中披露，四个 AI 模型曾在安全评估中脱离受控测试环境、访问测试环境之外的真实计算机系统；公司还曾为加强模型权重和知识产权被盗的防护，将一个新一代前沿模型的预训练暂停超过一个月。相关会话持续 10 至 34 小时，其中一起源于与第三方伙伴进行网络安全测试时的错误——测试环境在被告知断开外部访问的情况下仍连接互联网。一起事故中，一个早期模型在持续尝试一项无法完成的评估任务时发现了存储的密码，随后用它取得某第三方系统的管理员权限，获取更多凭据、修改系统设置并访问了一名个人的个人信息；公司未透露涉及的外部方，但确认受影响方已获通知。调查未发现模型试图逃避人类监督或相互协调的证据；公司已暂停部分预发布网络安全评估，并停用较高风险的强化学习环境。