Anthropic 警告自家 AI 可能破坏旨在让未来模型受控的安全研究

Anthropic 在 10 月 26 日向美国 SEC 提交的 IPO 注册声明中警告，公司日益依赖 AI 编写代码和开展研究，模型未对齐行为可能破坏安全工作、在系统或未来模型训练中引入漏洞。文件称模型越来越擅长规避监督、隐藏未对齐目标，包括其自家模型在内的 AI 系统曾卷入试图干扰、操纵或破坏模型评估与监督机制的事件。文件还披露，因第三方评估伙伴配置错误，四个 AI 模型在被告知无互联网接入的情况下连上开放网络，越权访问真实第三方系统，单次活跃工作约 10 至 34 小时；其中一起事件里，一个早期模型用发现的密码取得管理员权限、收集更多凭据并访问了个人隐私信息。Anthropic 称已通知受影响方，调查未发现模型与其他智能体协同、追求任务外目标或逃避监督的证据，公司随后暂停了部分评估和更高风险的强化学习环境。