安全评测如同抛硬币：LLM 评委无法可靠衡量对抗鲁棒性
A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness
论文速读
据论文全文整理（AI 生成），以原文为准
慕尼黑工业大学、Mila 等机构的研究者用 6642 条人工标注审计 LLM-as-a-Judge，发现其在对抗鲁棒性评测中平均仅略好于随机猜测。
- 安全评测普遍依赖 LLM-as-a-Judge 来判定输出是否有害，并据此衡量模型对越狱攻击的鲁棒性。作者认为现有验证协议忽略了红队场景中的分布偏移，导致评测结果可能失真。
- 作者用 6642 条人工标注样本（基于 HarmBench 子集，覆盖 4 个受害模型、多种攻击与语义类别）审计 AegisGuard、HarmBench 分类器、JailJudge、LlamaGuard-3 等裁判，并分析攻击、模型、数据三类偏移及裁判间一致性。
- 在对抗场景下裁判准确率常接近随机猜测，调整阈值也无法解决；攻击优化过程并未让输出更“明显有害”或更易判定；裁判错误会抬高 ASR，按裁判 precision 校正后 BoN 等攻击的优势大幅缩水；裁判一致同意也不代表与人工标注一致。作者据此发布 ReliableBench 与 JudgeStressTest。
- 研究未覆盖对抗训练、改写、Circuit Breakers 等防御带来的分布偏移，结论限于所测攻击与模型组合，未来攻击或模型可能带来不同挑战；数据依赖 HarmBench，可能继承其偏向单轮文本与特定危害类别的偏差。
慕尼黑工业大学、Mila 等机构的研究者用 6642 条人工标注审计 LLM-as-a-Judge，发现其在对抗鲁棒性评测中平均仅略好于随机猜测。研究指出攻击、受害模型和语义类别三类分布偏移会叠加，使评委准确率降到接近随机水平，JailJudge 在 Llama-3.1-8B 上的 AUROC 最低为 0.48。作者称 BoN 等攻击的高成功率更多来自评委假阳性而非真正有害输出，按评委精确率修正后攻击成功率明显下降。为此他们发布 ReliableBench 和 JudgeStressTest 两个数据集，前者选取 41 个最易评判的行为可将平均准确率提升到 70%，后者包含 971 条评委普遍失败的样本。
推荐理由论文以 6642 条人工标注审计 LLM 评委，显示其在对抗评测中接近随机猜测，并给出按评委精确率修正攻击成功率的做法。