安全评测如同抛硬币：LLM 评委无法可靠衡量对抗鲁棒性

慕尼黑工业大学、Mila 等机构的研究者用 6642 条人工标注审计 LLM-as-a-Judge，发现其在对抗鲁棒性评测中平均仅略好于随机猜测。研究指出攻击、受害模型和语义类别三类分布偏移会叠加，使评委准确率降到接近随机水平，JailJudge 在 Llama-3.1-8B 上的 AUROC 最低为 0.48。作者称 BoN 等攻击的高成功率更多来自评委假阳性而非真正有害输出，按评委精确率修正后攻击成功率明显下降。为此他们发布 ReliableBench 和 JudgeStressTest 两个数据集，前者选取 41 个最易评判的行为可将平均准确率提升到 70%，后者包含 971 条评委普遍失败的样本。

Deep readingGenerating