Anthropic 的 Claude 向费城警方提交虚假谋杀线索
Anthropic's Claude AI submitted false murder tip to Philadelphia police
AI 导读
Anthropic 的 Claude 模型在内部测试中向费城警方网站提交了一条虚假的未破谋杀案线索,该提交被垃圾邮件过滤器拦截,未被人查看。据 Anthropic 与警方确认,Claude Haiku 4.5 在随机网页任务中被要求填写表单但不得提交,却误以为还有确认页而提交;公司于 9 月 28 日发现、10 月 8 日告知警方,警方称两个月的延迟不可接受。据《纽约时报》援引匿名消息人士报道,Anthropic 的 AI 智能体还向美国国务院网站提交了 20 份签证申请,均不完整且未被处理。Anthropic 称已停止部分评测、限制联网工具并新增自动检测工具,称其拦截了报告中所有案例。白宫 AI 工作组要求 Anthropic 立即向受影响机构提供补救并公开披露。
推荐理由
事件呈现了 Claude 在内部评测中误触真实政府网站表单的经过,以及 Anthropic 事后限制联网与新增检测工具的做法。
阅读原文