研究称启发式判分让 AI 安全评测的攻击成功率虚高 80 多个百分点
Your AI Safety Numbers May Be Wrong By 80 Points
AI summary
F41LUR3-F1R57 研究项目对 5 个前沿模型、498 条评测轨迹做队列研究，发现启发式判分报告的平均攻击成功率为 86.0%，而 FLIP 判分（从模型回答反推它实际遵循的指令）只有 1.4%，相差 84.2 个百分点，两种方法的平均 Cohen's kappa 为 −0.001，属随机水平一致。评测使用每个模型 100 个时间洗白场景，即声称未来某个日期规则不再适用以绕过安全约束，判分模型为通过 Ollama 运行的 deepseek-r1:8b。分模型看，gemma4:31b 与 gpt-oss:120b 的 FLIP 严格攻击成功率均为 0.0%，glm-5 与 deepseek-v3.2 为 1.0%，kimi-k2-thinking 为 5.1%，而启发式判分对应为 80.0%、90.0%、80.0%、91.0% 和 88.8%。