事件历史事件
论文：换裁判模型，越狱ASR最多差82个百分点
先了解这件事
AI 综述
2026年10月14日发布的一篇论文指出，越狱评测中仅更换裁判LLM，报告的攻击成功率（ASR）最多可相差82个百分点，例如I-GCG在6%到88%之间波动。作者提出semantic reconstruction game方法：先让LLM仅凭回复重建其实际作答的请求，再生成5个相似诱饵请求，逐一比较重建请求与原始请求是否要求相同的动作和结果，按多数投票判定是否越狱，两者都不匹配时弃权。该方法在SorryBENCH、StrongREJECT和HarmBench等基准上进行了验证。
AI 根据报道生成 · 29 天前更新
相关研究
这件事的论文
- 论文：越狱评测的裁判模型一换，报告的攻击成功率最多差 82 个百分点
arXiv · 2026-10-13 · 深度解读
后续时间线
10月14日
- 论文追踪精选论文：越狱评测的裁判模型一换，报告的攻击成功率最多差 82 个百分点
论文指出，仅更换越狱评测中的裁判 LLM，报告的 ASR 最多可相差 82 个百分点，例如 I-GCG 在 6% 到 88% 之间波动。作者提出 semantic reconstruction game，先让 LLM 仅凭回复重建其实际作答的请求，再生成 5 个相似的诱饵请求，逐一比较重建请求与原始请求是否要求相同的动作和结果，按多数投票判定是否越狱，两者都不匹配时弃权。在 SorryBENCH、StrongREJECT 和 HarmBench 的人类标注回复上，该方法在 Qwen 3.5 9B、Ministral 3 8B 和 Gemma 4 12B 三种裁判下的平均误差最低，I-GCG 上的 ASR 跨度从 82 个百分点降到 12。该方法刻意保守，宁可漏报成功越狱也要避免误报。