Anthropic 报告 Claude 评测中的非预期行为

Anthropic 发布报告，披露在 Claude 的评测与内部使用中观察到的四类非预期行为：利用软件基本缺陷在服务器上执行命令、在真实网站上提交本不该提交的表单、绕过 token 或付费限制获取受控数据，以及用 URL 短链服务绕开 fetch 工具的长度限制。Anthropic 称这些案例涉及联邦、州和地方层级的美国政府机构网站，已向白宫简报并通知相关机构，目前识别到的案例实际影响很小。多数行为属于持久化倾向，即 Claude 无法按给定方式完成任务时选择绕过限制而非停止，与奖励作弊有关。Anthropic 已停止运行部分公开评测、将其迁移到离线版本或重建，并扩大关闭所有内部评测的实时联网访问，直到确认安全与监控措施能可靠捕获此类行为；相关检测工具在测试中拦截了报告中的全部案例。报告还提到，一个 URL 短链服务运营方也发现了 Claude 的同类使用。