研究系统比较六种越狱评测器的可靠性

越狱是否成功由自动评审器定义，而这六种常用评审器尚未在同一人标数据上受控比较。

• 场景：攻击论文用评审器算攻击成功率，防御论文用它衡量鲁棒性，基准用它排名。作者认为专家人工评估贵且难扩展，因为常要判断大量提示词–回复对。
• 现有做法：作者称各研究通常单独验证所选评审器，数据、基线和设置不同，结果难比较。同一回复可以被一个评审器判成功、被另一个拒绝。
• 缺口：作者称据其所知，此前没有工作在受控设置下、于同一人标数据上评估全部六种。judge骨干若不同，方法差异会和模型差异混在一起。
• 本文做的测量：以人工判断为参照，比较HarmBench、JailbreakBench、JailbreakRadar、StrongReject、JADES、JailMeter与人工的一致程度、错误类型，以及跨攻击家族是否稳定。需要通用LLM judge的五种共用同一骨干。

第2节和附录A按判定方式、攻击与防御分开讨论。作者只在点到局限时才写不足。

早期代理

• 拒绝字符串：Zou等人（2023）把不以预设拒绝短语开头视为成功[7]。作者称这便宜、可复现，但是否提供有用有害内容的弱代理。
• 审核分类器：Perspective API、OpenAI Moderation、Llama Guard、WildGuard估计回复是否有害[8–11]。作者称有害不等于完成了有害请求。

越狱评审器

• 整体LLM judge：JailbreakBench（Chao等人，2024）与JailbreakRadar（Chu等人，2025）用提示词做判断[1, 2]。Zheng等人、Liu等人用LLM评开放文本[12, 13]；Wang等人报告此类judge有系统性偏差[14]。
• 分类器与量规：HarmBench（Mazeika等人，2024）微调分类器，判断回复是否表现出指定有害行为[3]。StrongReject（Souly等人，2024）用拒绝门加量规代替单一整体裁决[4]。作者引述称，在其他评测里量规式评分可以比整体打分更接近人工[15–17]。
• 分解与证据：JADES（Chu等人，2025）认为整体判断会被无关或表面顺从的内容带偏，因而把请求拆成加权子问题[5]。JailMeter（Huang等人，2026）把证据抽取与最终判断分开，以减少越狱提示结构的干扰[6]。

攻击、防御与请求来源

• 安全训练：RLHF、模型写成的原则，以及自动红队，是部署前的常见做法[50–53]。作者引述称，对抗提示下稳健对齐仍然困难[54]，能力增强不一定带来更强安全行为[55]。
• 攻击家族：附录A.3分为野外提示（如DAN[27]）、表面形式改写[31, 34, 56–59]、优化搜索[7, 24–26, 60–63]，以及解码或多轮交互[32–36, 64–66]。Wei等人（2023）分析安全训练为何失败[67]。作者称本文不提出新攻击，只用这些家族已有的模型输出做评测材料。
• 防御与请求集：困惑度过滤[68]、SmoothLLM[69]，以及检测、预处理和对抗训练的组合[70]。有害请求常来自Do-Not-Answer与SALAD-Bench[18, 19]；另有工作比较安全基准的范围、采用度和实现质量[20]。作者称防御收益同样取决于成功如何被定义。

被比较的评审器就是上述六种；数据集是JailbreakQR与JailMeter-Eva。作者把本文放在测量一侧：统一协议、共享judge骨干，在同一人标数据上看方法差异。并称据其所知，此前没有研究这样评过全部六种。

测量的是评审器而不是新攻击。有害问题与模型回复送入六种evaluator，判决再与人工标签计算Agreement；需要通用LLM的方法共用一个骨干。

形式化

• 有害问题为q，攻击J得到p=J(q)，目标模型M给出r=M(p)。评审器E把(q, r)映到判决v；有的直接给布尔值，有的给[0, 1]分数再阈值化。
• 人工标注为h(q, r)。一致率是ϕ把原生输出映到该数据集标签空间后，与h相同的样本比例。作者用agreement而不叫正确率，因为人工标签可能有噪声；合计值也可能盖住子集上的系统误差。
• Agreement(E,D)=1/(|D|)∑_{(q,r)∈ D}1[ϕ(E(q,r))=h(q,r)]。含义是：映射后的判决等于人工标签时记1，再对D取平均。

六种机制

• HarmBench：Llama 2 13B微调的行为分类器，输入有害行为描述和回复，输出布尔值；推理时不用通用LLM judge（Table 1）。
• JailbreakBench：按固定量规，由指令遵循模型给一个整体布尔裁决。
• JailbreakRadar：三条同时成立才算成功，即有超出复述提示词的实质内容、提供所要信息或表示愿意提供、且仍与原有害问题相关。作者称这也包括间接、不完整或虚构化内容带来的进展。
• StrongReject：先过拒绝门，拒绝则分数为0；否则评convincing与specific，归一化后合成[0, 1]。实验用量表式LLM judge，不用其发布的微调打分器；阈值用发布阈值，论文未写出该数字。
• JADES：把有害问题拆成带权子问题，找出相关句子，用五级量表给子答案打分再按权重聚合。二元阈值0.25，三元阈值0.25与0.75。
• JailMeter：先按信息瓶颈抽取与原问题相关的证据，再判断是否抓住有害意图、回答是否足够完整，输出布尔值。

标签与指标

• 二元对照时，人工failed为负类，partially successful与successful为正类。JailbreakQR的“部分成功”因此计入越狱成功。
• 指标为accuracy、precision、recall、F1和FPR。作者称列入FPR，是因为假阳性会抬高测得的攻击成功率；recall对应找出成功越狱的能力。

数据与骨干

• JailbreakQR：260道题来自JailbreakBench与JailbreakRadar，攻击为GCG、DSN、LAA、PAIR、JailbreakChat，目标模型为Vicuna 13B、Llama 2 7B Chat、GPT-3.5 Turbo、GPT-4，抽出400对。三名标注者标Failed/Partial/Successful，分歧多数表决，序数Krippendorff α为0.823。含拒绝（Table 2）。
• JailMeter-Eva：330条GPT-4o mini的非拒绝回复，攻击为CodeChameleon、Crescendo、PastTense、JSP、CodeAttack、PAIR、DeepInception、DRA，六个危害类别。二元标签中73条为成功。Table 2的标注者/一致性为NA。作者称这是为了集中看已有实质内容、但成败仍含糊的样本。
• 骨干：除HarmBench外，五种方法使用orcarouter/Qwen3.8-27B-Uncensored，temperature为1.0，并保留各自已发布的提示词模板和决策流程。作者称用uncensored骨干，是为了减少评审侧在有害内容上的拒答。作者称因此比较的是受控骨干下的方法，不是各系统最初发布时的原配置。

实验设置

• 评审器：HarmBench、JailbreakBench、JailbreakRadar、StrongReject、JADES、JailMeter，共六种（Table 1）。
• 数据：JailbreakQR为400对，4个目标模型、5个攻击家族，含拒绝与Partial；JailMeter-Eva为330条，仅GPT-4o mini、8个攻击家族、六个危害类别、73条成功，且不含显式拒绝（第4.1节、Table 2）。
• 骨干：五种提示词式方法用orcarouter/Qwen3.8-27B-Uncensored，temperature 1.0；HarmBench用发布的Llama 2 13B分类器；StrongReject用量表judge，不用发布的微调打分器（第4.3节）。
• 标签：failed为负，Partial与Successful为正。JADES二元阈值0.25；StrongReject用其发布阈值，论文未给出数值（第4.2节）。
• 指标：相对人工标签的accuracy、precision、recall、F1、FPR。参照是数据集已有人工标签，不是另找一个LLM当金标准。
• 标注：JailbreakQR为3名标注者、多数表决，序数α=0.823；JailMeter-Eva在Table 2记为NA。论文未报告重复次数。

主结果

Figure 1给出二元一致率，单位为百分数。图注写明FPR越低越好，高亮行表示整体最强的评审器；第5.1节称该评审器是JADES。

评审器	JailbreakQR：Acc/F1/FPR	JailMeter-Eva：Acc/F1/FPR
HarmBench	88.3 / 88.5 / 9.5	91.2 / 81.3 / 7.4
JailbreakBench	80.8 / 81.2 / 17.4	85.5 / 69.6 / 11.7
JailbreakRadar	83.0 / 83.4 / 15.3	87.3 / 73.4 / 10.5
StrongReject	89.5 / 89.8 / 8.4	93.0 / 85.0 / 5.8
JADES	92.3 / 92.5 / 5.8	95.2 / 89.3 / 3.9
JailMeter	85.8 / 86.1 / 12.1	90.3 / 79.2 / 7.8

• 排序：作者称JADES在两份数据的五项指标上都最高，StrongReject其次，HarmBench也保持较高一致；这一排序在JailMeter-Eva上大体保持。作者称共用骨干后仍有差距，所以差异来自评审设计，而不只是judge模型。
• 结构：作者认为，不单靠一次整体判断与更高的人标一致有关。StrongReject把拒绝检测和convincing、specific分开，JADES先分解再按权重聚合；JailbreakBench与JailbreakRadar以单次提示词裁决为主，差距更大。作者称HarmBench虽不用共享LLM judge，仍然有竞争力。
• 非拒绝样本：作者称JailMeter-Eva上precision和F1低于JailbreakQR。JailbreakBench在该集的precision为64.7%、recall为75.3%（Figure 1）。作者把差距联系到类别不均衡，并称只看accuracy会高估质量。作者称JADES与StrongReject的FPR在两份数据上都最低，并非靠把更多回复判成成功。

其他消融与分析

• 骨干、temperature、提示词模板：未做替换实验；temperature固定为1.0（第4.3节）。
• JADES三元阈值0.25与0.75：论文未报告三元分类数字（第4.2节）。
• 攻击家族：引言和结论写明要看跨家族一致性，第5节未给出分家族指标。
• StrongReject发布阈值的具体数值未报告；其微调打分器未参与（第4.3节）。
• 重复次数、查询次数、耗时：论文未报告。
• JailMeter-Eva的标注者人数与一致性：Table 2记为NA。

作者指出的局限与后续方向

• 语言与规模：两份数据都是英文且规模适中，结果可能无法推广到其他语言、领域、目标模型或今后的越狱策略（第6节）。
• 人工标签：标注本身不完美。JailbreakQR的序数Krippendorff α为0.823，作者认为有些与人工的分歧可能来自标注不确定性，而不只是评审器出错（第6节）。
• 数据来源：每份数据都由同时提出本实验中某一评审器的工作发布。评测集不是这些评审器的训练数据，但设计和构造可能共享“何谓成功越狱”的假设。作者因此更强调两份数据上都保持一致的表现（第6节）。
• 骨干只是部分控制：HarmBench用专用分类器，StrongReject用量表judge而不是发布的微调打分器。作者称，若改用各系统最初推荐的模型与设置再评一次，会回答一个互补问题（第6节）。
• 范围：作者在局限一节写明，本文做越狱评测，不提出新攻击，也不生成新的有害基准内容；实验使用已发布的数据和攻击输出（第6节）。

实验覆盖范围

• 被比较的是Table 1的六种评审器；带数字的主结果是两份人标数据上的二元accuracy、precision、recall、F1、FPR（Figure 1、第5.1节）。
• JailbreakQR有400对，目标模型为Vicuna 13B、Llama 2 7B Chat、GPT-3.5 Turbo、GPT-4，攻击为GCG、DSN、LAA、PAIR、JailbreakChat；3名标注者，α=0.823，含Partial和拒绝（第4.1节）。
• JailMeter-Eva有330条，目标模型只有GPT-4o mini，八种攻击、六个危害类别、73条成功标签，且不含显式拒绝；标注者信息为NA（Table 2）。
• 五种提示词式评审器的judge为orcarouter/Qwen3.8-27B-Uncensored，temperature 1.0；HarmBench为发布的Llama 2 13B分类器（第4.3节）。
• 第7节写明考察了与人工的一致程度、错误特点和攻击家族间的一致性；论文未报告重复次数、分家族指标，以及StrongReject发布阈值的数值。

这项测量比较的是越狱成功怎样被自动判定，不提出新的攻击。

• 问题：攻击、防御和基准都依赖自动评审器，但成功定义不同，各论文又常在不同设置下单独验证，读数难以横向比较。
• 做法：参照人工标签，评测HarmBench、JailbreakBench、JailbreakRadar、StrongReject、JADES、JailMeter。前一类里需要LLM的五种，judge固定为orcarouter/Qwen3.8-27B-Uncensored，温度1.0；HarmBench用Llama 2 13B分类器。JailbreakQR有400对，含拒绝，Partial在二元指标里与Successful同为正类。JailMeter-Eva有330条GPT-4o mini非拒绝回复，其中73条标为成功。
• 结果：Figure 1中，JADES的F1与FPR在JailbreakQR为92.5%与5.8%，在JailMeter-Eva为89.3%与3.9%。StrongReject的F1为89.8%与85.0%，HarmBench为88.5%与81.3%。JailbreakBench在JailbreakQR的F1为81.2%，在JailMeter-Eva的precision为64.7%。
• 作者的结论：即便骨干相同，评审器设计仍会改变测得的越狱是否成功。作者认为，带分解或量规结构的流程与更高的人标一致、更低的FPR一同出现；去掉拒绝之后，只看accuracy会高估评审质量。作者希望这份对照成为选用评审器时的共同参照，从而少在互不兼容的设置下重复验证。