安全基准为何结论不一：自有结果与公开榜单对比

Failure-First 将其自有基准上各模型的攻击成功率与 HarmBench、StrongREJECT、JailbreakBench 三个公开安全基准对比，发现与 JailbreakBench 呈弱负相关（rho = -0.2，n=4 个可匹配模型）。其语料覆盖 190 个模型、132,182 次对抗交互，使用具身 AI 场景、多技术攻击和名为 FLIP 的评分方法，公共基准则多用文本层有害请求、关键词匹配或 GPT-4 评判以及单一攻击技术。匹配的 12 个模型中有三个离群：Llama 3.1 8B Instruct 的攻击成功率高出公开基准 68 个百分点，但测试的是 OpenRouter 免费层、可能被去除安全训练的版本；GPT-4o-mini 高 26.9 个百分点；Mistral 7B Instruct 低 56 至 60 个百分点。