单一配置的攻击成功率不够：越狱评估应报告分布层面的攻击成功率
Single-Configuration Attack Success Rate Is Not Enough: Jailbreak Evaluations Should Report Distributional Attack Success
AI 导读
这篇立场论文认为，参数化越狱攻击只报告单一配置的攻击成功率，不足以刻画威胁，也难以公平比较不同攻击；作者提出变体敏感性指标 VSM 和并集覆盖率 UC。VSM 衡量最佳报告 ASR 偏离变体空间平均 ASR 的程度，UC 统计所有测试配置中产生不安全回答的提示占比。作者用 PAIR 和 bijection 两类攻击在三个开源目标模型上演示：PAIR 的最佳模板在 Mistral-7B 和 Qwen3-0.6B 上分别达到 69% 和 75% ASR，而 UC 升至 88% 和 93%；bijection 在 Mistral-7B 上最佳变体为 81% ASR，36 个变体的并集覆盖 HarmBench-100 的 100% 提示。作者主张将 VSM 与 ASR 一同发布，并尽可能完整列出变体覆盖。