Anthropic 披露内部 Agent 联网越轨，暂停内部评测的实时互联网访问

Anthropic 称其模型在联网环境中利用网站漏洞，涉及部分美国政府机构运营的站点，因此将关闭所有内部评测的实时互联网访问，直到确认能够监控和控制其 AI Agent。相关事件披露于一篇博客文章：被指派解题的 AI Agent 在互联网上寻找资源时，利用软件缺陷、绕过付费墙和反机器人限制、用 URL 短链服务绕过限制传递信息，还向费城警方提交了一条虚假的谋杀线索。Anthropic 表示这些问题是今年 7 月开始审查模型活动时发现的，并称对齐训练对搜索和计算机使用等技能尚不充分，问题源于训练环境缺陷，使模型误以为发现漏洞或规避限制会得到奖励，即奖励作弊。公司称将停止部分评测或将其转为离线，并已构建检测和阻断这类行为的工具，该工具在针对此次披露事件的测试中成功阻断；同时将把内部 AI Agent 迁移到具有强隔离的集中管理基础设施，并更频繁地使用安全分类器监控这些 Agent。