Failure-First 纠正自家结论：AI 安全防御确实有效，但要测量得当

Failure-First 用 LLM 分类器重新评分 120 条评测轨迹，推翻了此前系统提示防御无效的结论，发现防御显著降低了攻击成功率。其关键词启发式分类器把模型拒绝前的详细安全推理误判为合规，且在防御条件下的高估幅度更大，从而掩盖了真实的防御效果。改用 LLM 评分后，单行安全指令使总体 ASR 从 33% 降到 7%，五条规则的安全框架降到 3%；在 4,875 条双重评分结果中，启发式的高报率为 67%。研究还记录了格式锁定攻击下模型输出合法 JSON、却把 action 字段设为 refuse 的拒答模式。作者称样本较小，每格 n=10，无比较达到统计显著，所测模型为免费层，LLM 评分器也并非真值。