StrongREJECT:针对空洞越狱的评测基准
A StrongREJECT for Empty Jailbreaks
作者提出越狱评测基准 StrongREJECT,称其自动评估器与人类判断的一致性优于基线,并报告越狱倾向降低模型能力。
- 越狱论文常宣称接近 100% 的攻击成功率,作者认为现有基准的禁忌提示词质量差、评估方法只看是否拒答,系统性高估了越狱效果,研究者缺少标准、高质量的评测基准。
- 作者构建 StrongREJECT 基准:313 条覆盖六类有害行为、有事实可验证答案的禁忌提示词,加自动评估器,按是否拒答与回答的具体性、说服力打分,同时度量模型的 willingness 与 capabilities。
- 作者报告 StrongREJECT 评估器与人工判断的一致性优于基线(rubric 版 MAE 0.077,Table 1);多数基线高估越狱效果;37 种越狱中仅 PAIR、PAP 等少数有效;作者还称越狱倾向降低模型能力。
- 作者在 Discussion 指出三点局限:仅限 LLM、数据集可能不随服务条款变化而稳健、313 条规模不足以单独衡量模型鲁棒性。人工评估仅覆盖 4 个模型、60 条提示词子集、1,361 个标注点。
- 被测模型
- GPT-4oGPT-3.5 TurboLlama-3.1 70B InstructGPT-4 (version 0613)Llama-2 (llama2-70b-chat)Dolphin
- 基准
- StrongREJECTMMLU
- 指标
- StrongREJECT scoreBiasMAESpearman correlationnon-refusal rateMMLU score
UC Berkeley 人类兼容人工智能中心的研究者提出 StrongREJECT 越狱评测基准,含 313 条覆盖六类有害行为的禁止提示和量规版、微调 Gemma 2B 开源版两个自动评估器,与人类判断的一致性优于现有自动评测方法。论文指出多数越狱论文宣称接近 100% 的攻击成功率,但现有评测大多只看模型是否拒答,普遍高估攻击效果,如苏格兰盖尔语翻译越狱声称对 GPT-4 有 43% 成功率,作者复现时发现输出空洞。对照实验显示,绕过安全微调的越狱往往损害模型能力,在未对齐的 Dolphin 和 GPT-4o 的 MMLU 测试中,越狱越能提高回答意愿,回答质量越差。
推荐理由作者以人类标注为对照发现常用越狱评测普遍高估攻击效果,其同时衡量拒答与回答质量的基准可直接用于越狱评估。
相关热点
0 个事件 · 7 条新闻提到
提到这篇论文的新闻
- Qiita引用了论文编号或链接攻击成功率(ASR)数字怎么读:评分标准、试验次数和数据集能让同一评估结果变成 15% 或 100%
Souly et al., A StrongREJECT for Empty Jailbreaks (arXiv:2402.10260)
- Failure-First引用了论文编号或链接安全基准为何结论不一:自有结果与公开榜单对比
Souly, A., et al. (2024). “A StrongREJECT for Empty Jailbreaks.” arXiv:2402.10260.
- Anthropic Alignment Science引用了论文编号或链接Anthropic 研究:自动化对齐研究者在小模型上缓解十类对齐失败
Souly, Alexandra, Qingyuan Lu, Dillon Bowen, Tu Trinh, Elvis Hsieh, Sana Pandey, Pieter Abbeel, et al. 2024. “A StrongREJECT for Empty Jailbreaks.” arXiv Preprint arXiv:2402.10260.
再看 4 条
- FAR.AI引用了论文编号或链接FAR.AI 披露 jailbreak-tuning 数据投毒攻击:GPT-4o 拒答率降至 3.6%
We use several StrongREJECT-like evaluators to measure the likelihood of an LLM producing harmful or unsafe responses.
- FAR.AI引用了论文编号或链接FAR.AI 红队测试:DeepSeek R1 与 OpenAI、Anthropic、Google 可微调模型的护栏可被轻易移除
We use StrongReject, a state-of-the-art benchmark that is designed for measuring how vulnerable large language models (LLMs) are to complying with harmful requests.
- FAR.AI引用了论文编号或链接FAR.AI 发布 ClearHarm 越狱数据集,聚焦 CBRN 等明确有害问题
We have found it is more challenging for attacks to elicit harmful responses from models on this benchmark than existing jailbreak benchmarks like StrongREJECT, Do-Not-Answer and SORRY-Bench.
- FAR.AI引用了论文编号或链接FAR.AI 与 UK AISI 测试多层 AI 防御:STACK 攻击成功率达 71%
However, the few-shot Gemma 2 classifier achieved notable success: it overwhelmingly blocked harmful requests across all attacks and datasets, except for PAP on the StrongREJECT benchmark.
深度解读
这篇论文试图解决什么问题?
作者认为越狱效果被现有基准系统性高估,提出高质量越狱评测基准 StrongREJECT。
核心问题:越狱研究缺少标准、高质量的评测基准,导致论文宣称的攻击成功率常被夸大。
- 问题场景与重要性:作者指出,许多越狱论文宣称接近 100% 的攻击成功率,但与攻击的实际危害性不符;例如 Yong et al. [39] 宣称对 GPT-4 有 43% 成功率,作者复现时发现输出空洞或不连贯(Table 2)。安全研究者需要可靠的评测来识别哪些越狱真正增加模型滥用风险。
- 现有方法的不足(按论文说法):现有禁忌提示词数据集存在重复、表述不当、无法回答或并非真正被禁止的问题(如 AdvBench 520 条中有 24 条问造炸弹);现有自动评估方法多用二元指标、过度关注是否拒答,忽略回答对攻击者的有用性。
- 核心观察与假设:作者认为攻击者要的是与查询相关的有用信息,评估应同时度量模型的 willingness(意愿)与 capabilities(能力);作者提出假设:绕过安全微调的越狱倾向降低模型能力。
- 论文提出的内容:StrongREJECT 基准,包含 313 条高质量禁忌提示词的数据集和一个自动评估器;作者称该评估器与人工判断的一致性达到 state-of-the-art,并用两组实验检验越狱对模型能力的影响。
有哪些相关研究?
相关工作分禁忌提示词数据集与评估方法两类,作者均指出不足,并以 7 个自动评估器为基线。
禁忌提示词数据集
- LLM 生成的数据集(AdvBench [44]、Shen et al. [31]、MaliciousInstruct [15] 等):论文指出这类提示词倾向重复、表述不当、无法回答或并非真正被禁止,例如 AdvBench 中 5% 的提示词问造炸弹,MaliciousInstruct 有大麻相关问题但 GPT-4 会直接回答。
- 人工编写或整理的数据集(MasterKey [8]、Ganguli et al. [11] 等):论文指出 MasterKey 有提示词询问核武器机密信息;Ganguli et al. 的 38,961 条众包红队交互是完整对话而非经过滤的单轮禁忌提示词。
评估方法
- 人工评估 [15, 16, 33, 39, 44]:以人工判断为金标准,但论文指出其不可扩展、不利于快速迭代。
- 自动评估:多数先前工作用二元指标判定越狱是否成功 [18, 43, 40, 44 等];论文批评部分方法仅以不拒答定义成功 [33, 39, 40, 27, 38],忽略回答的有用性。
- HarmBench [20]:并行工作,提供在 HuggingFace 上自托管的微调分类器;本文将其作为基线之一。
基线与基准:作者用 6 个先前自动评估器加并行发布的 HarmBench 作基线——String matching for non-refusal [27]、Jailbroken - binary [2]、PICT [29, 10]、GPT-4 Judge [26]、PAIR [4]、OpenAI moderation API、HarmBench [20];能力实验使用 MMLU [14]。
作者将本文定位为同时改进数据集质量与评估准确性的基准:提示词具体、可回答、有害且被模型普遍拒答,评估器度量回答对达成有害目的的有用性,而非仅看毒性或是否拒答。
论文如何解决这个问题?
StrongREJECT 由 313 条禁忌提示词和同时度量意愿与能力的自动评估器组成。
整体思路:构建高质量禁忌提示词数据集,并设计同时度量 willingness 与 capabilities 的自动评估器 StrongREJECT。
禁忌提示词数据集
- 类别体系:交叉比对 OpenAI、Anthropic、Google Gemini、Meta LLaMA、DeepInfra 的使用政策,选取六类被所有政策禁止的行为:非法商品与服务、非暴力犯罪、仇恨骚扰与歧视、虚假信息与欺骗、暴力、性内容。
- 来源与规模:共 313 条提示词,每类至少 50 条;70% 为作者原创,各 10% 来自 DAN [31] 和 AdvBench [44],其余来自其他先前工作和 OpenAI 系统卡(Table 4)。
- 质量控制:提示词经过去重(OpenAI embeddings 余弦相似度)、九个"sentinel"模型的拒答过滤、GPT-3.5 Turbo 分类和人工筛选;要求提示词有事实可验证的答案,普通人用互联网一小时内能写出高质量回答。
自动评估器
- rubric 版:向评估模型(论文中用 GPT-4o-mini)提供禁忌提示词、模型回答和评分指令,模型先输出 chain-of-thought 推理,再给出三项分数:二元拒答分和两个 1–5 的 Likert 分(specific、convincing,重标定到 [0-1])。
- 评分公式:score = (1 − refused) × (specific + convincing)/2,即拒答得 0 分,否则取具体性与说服力的均值;作者以此同时刻画 willingness 与 capabilities。
- 特征选择:作者从 10 个候选特征中用 Lasso 回归选出 specific 和 convincing,并选择等权而非拟合更复杂的模型,理由是最优拟合对训练分布敏感。
- fine-tuned 版:在 Gemma 2B 上用 LoRA 微调,训练数据约 15,000 条带 rubric 版(基于 GPT-4 Turbo)标签的回答(4,059 条来自 StrongREJECT 提示词、10,837 条来自 HarmBench [20]),供研究者在单 GPU 上自托管。
评测协议
- 人工一致性实验:5 名 LabelBox 标注者对 4 个受害模型在 60 条提示词子集上的回答按 1–5 打分(重标定到 [0-1]),取中位数为 ground truth,共 1,361 个标注点;把自动评估器当作预测人工分数的回归模型,计算偏差、MAE 和 Spearman 相关。
- 越狱评测:用 rubric 版评估器在 313 条提示词上评测 37 种越狱方法对三个对齐模型的效果。
- 能力隔离实验:为分离越狱对能力的影响,作者把越狱后的禁忌提示词喂给未对齐模型 Dolphin,以及把越狱后的良性提示词(MMLU 题目)喂给 GPT-4o。
论文做了哪些实验?
人工一致性实验显示 StrongREJECT 最准;37 种越狱仅少数有效;两组实验支持越狱降低能力。
实验设置
- 受害模型:人工一致性实验用 GPT-4 (version 0613)、GPT-3.5 Turbo、Llama-2 (llama2-70b-chat)、Dolphin(去除安全微调的 Mixtral 8×7B);全数据集越狱评测用 GPT-4o、GPT-3.5 Turbo、Llama-3.1 70B Instruct。
- 数据集:StrongREJECT 313 条禁忌提示词;人工评估用其中 60 条子集;能力实验用 MMLU 随机选取的 171 题子集。
- 越狱方法:人工评估用 17 种,全数据集评测用 37 种(Table 5 含描述与来源)。
- 基线评估器:String matching、Jailbroken - binary、PICT、GPT-4 Judge、PAIR、OpenAI moderation API、HarmBench。
- 指标与评审:Bias、MAE(全部回答及人工评分 >0 的子集)、Spearman 相关;人工标注 5 人取中位数,共 1,361 个标注点;置信区间用 scipy.stats.bootstrap 的 95% CI。
主结果
据 Table 1(人工评估为 ground truth,加粗为每项最好的两个):
表格较宽,可左右滑动
评估器 Bias MAE(全部) MAE(人工>0) Spearman String matching 0.484 ± 0.03 0.580 ± 0.03 0.372 ± 0.04 -0.394 Jailbroken - binary 0.354 ± 0.03 0.407 ± 0.03 0.254 ± 0.04 -0.291 GPT-4 Judge 0.208 ± 0.02 0.262 ± 0.02 0.212 ± 0.03 0.157 PAIR 0.152 ± 0.02 0.205 ± 0.02 0.224 ± 0.03 0.249 OpenAI moderation API -0.161 ± 0.02 0.197 ± 0.02 0.761 ± 0.04 -0.103 HarmBench 0.013 ± 0.01 0.090 ± 0.01 0.239 ± 0.03 0.819 StrongREJECT fine-tuned -0.023 ± 0.01 0.084 ± 0.01 0.244 ± 0.02 0.900 StrongREJECT rubric 0.012 ± 0.01 0.077 ± 0.01 0.196 ± 0.03 0.846 (PICT 一行省略;Spearman 为 GPT-3.5 Turbo 上的越狱排序相关。)
- 作者称多数基线高估越狱效果,String matching 偏差最大,仅 moderation API 系统性低估;两个 StrongREJECT 版本与 HarmBench 几乎无偏差。
- 作者称 StrongREJECT 两个版本的 MAE 低于所有其他评估器;人工评为完全无害(0 分)的回答,rubric 版和 fine-tuned 版平均分别给 0.039 和 0.035,仅高于 moderation API 的 0.019。
- 作者称 StrongREJECT 的越狱排序与人工排序相关性高,仅 HarmBench 相当;附录 D 报告四种数据纳入规则下相关性均在 0.84 以上。
全数据集越狱评测
- 设置:37 种越狱 × 313 条提示词,rubric 版评估器,受害模型 GPT-4o、GPT-3.5 Turbo、Llama-3.1 70B Instruct(Figure 3)。
- 结果:PAIR 在三个模型上分别为 0.74、0.74、0.72;PAP Misrepresentation 为 0.55、0.49、0.74;逐题选最优的"Best"为 0.95、0.99、0.96。GCG 两个版本对 GPT-3.5 Turbo 有效(0.69、0.84)但对 GPT-4o(0.06、0.01)和 Llama-3.1 70B(0.03、0.01)接近无效。
- 作者解读:少数用 LLM 攻击 LLM 的方法(PAIR、PAP)最有效;作者认为 GCG 的结果说明新模型可能针对此类对抗后缀做了训练;"Best"行说明前沿模型仍易受越狱攻击;多数越狱分数远低于原论文报告值。
越狱对模型能力的影响
- 未对齐模型实验:把 37 种越狱后的禁忌提示词喂给 Dolphin;Figure 4 左面板 x 轴为三个对齐模型上的平均不拒答率,y 轴为 Dolphin 的 StrongREJECT 分数。作者称越能提高对齐模型意愿的越狱,越倾向降低 Dolphin 的能力。
- 良性提示词实验:把越狱算法作用于 MMLU 题目喂给 GPT-4o;Figure 4 右面板 y 轴为 GPT-4o 在 171 题子集上的 zero-shot 分数。作者称模式与左面板相似。
- 作者解读:两组实验共同支持"越狱普遍损害模型能力"的假设,使回答更不连贯、更离题、更不真实或更简略;作者认为这解释了旧评估器的上偏——它们给"愿意但无能力"的回答打高分。
其他消融与分析
- 复现 Yong et al. [39] 的 Scots Gaelic 越狱:GPT-4-0613 在 τ = 0 下三个样本均无可操作的爆炸物信息(Table 2)。
- Figure 2:按越狱方法分列的 MAE,作者称两个 StrongREJECT 版本在每种越狱上都与人工接近。
- 附录 D:Llama-2 和 GPT-4 因标注预算耗尽仅覆盖 9 和 4 种越狱,无法可靠计算 Spearman 相关,主文只报 GPT-3.5 Turbo。
- 附录 C.4:few-shot prompting 可改善 chain-of-thought,但成本升至 3–4 倍,作者未采用。
有什么可以进一步探索的点?
作者列出模态、政策时效、数据集规模三点局限;实验覆盖 4–3 个模型与 313 条提示词。
作者指出的局限与后续方向
- 仅限 LLM(Discussion, Limitations):作者将范围限于 LLM,StrongREJECT 是否适用于多模态模型尚不清楚。
- 政策时效性(Discussion, Limitations):禁忌提示词数据集可能不随服务商条款变化而稳健,作者举例 OpenAI 取消了军事用途禁令。
- 数据集规模(Discussion, Limitations):313 条提示词在成本与覆盖间取平衡(最坏情况下以 90% 置信估计到 0.05 分以内),但作者承认规模相对小,不足以作为模型鲁棒性的独立定论,应辅以更大规模评估。
- 评估器抗优化未测(附录 A):作者未测试 StrongREJECT 分数对优化的鲁棒性,被用作 PAIR 等搜索算法的目标时是否仍准确难以评估。
实验覆盖范围
- 人工一致性实验覆盖 4 个受害模型、60 条提示词子集、17 种越狱、5 名标注者,共 1,361 个标注点;Llama-2 和 GPT-4 仅覆盖 9 和 4 种越狱(附录 D)。
- 全数据集越狱评测覆盖 37 种越狱、3 个对齐模型(GPT-4o、GPT-3.5 Turbo、Llama-3.1 70B Instruct)、313 条提示词。
- 能力实验覆盖 1 个未对齐模型(Dolphin)和 1 个对齐模型(GPT-4o)在 171 题 MMLU 子集上的表现。
- 基线评估器为 7 个(含并行的 HarmBench);论文未报告人工标注者间一致性指标。
- 论文未报告 37 种越狱评测的重复次数;rubric 版评估器成本约 15 分钟、不到 1 美元(GPT-4o-mini,作者称)。
总结一下论文的主要内容
StrongREJECT 基准:高质量提示词加意愿与能力并重的评估器,作者称其与人工判断最一致。
一篇越狱评测基准论文,针对越狱成功率被系统性高估的问题。
- 问题:作者认为现有基准的禁忌提示词重复、无法回答或并非真被禁止,评估方法只看是否拒答,导致越狱效果被夸大;作者复现 Yong et al. [39] 的 Scots Gaelic 越狱时未得到可操作信息(Table 2)。
- 方法:StrongREJECT 含 313 条覆盖六类有害行为、有事实可验证答案的提示词,以及按 score = (1 − refused) × (specific + convincing)/2 打分的自动评估器(rubric 版用 GPT-4o-mini,另有 Gemma 2B 微调版),同时度量 willingness 与 capabilities。
- 一致性:在 1,361 个人工标注点上,rubric 版 MAE 0.077 ± 0.01、偏差 0.012 ± 0.01,fine-tuned 版 Spearman 0.900,均优于 7 个基线(Table 1);String matching 偏差达 0.484 ± 0.03。
- 越狱评测:37 种越狱中 PAIR 最有效(GPT-4o 0.74、GPT-3.5 Turbo 0.74、Llama-3.1 70B 0.72),逐题选最优达 0.95–0.99;GCG 仅对 GPT-3.5 Turbo 有效(Figure 3)。
- 能力实验:作者报告越能提高对齐模型不拒答率的越狱,越倾向降低 Dolphin 回答禁忌提示词和 GPT-4o 回答 MMLU 题目的能力(Figure 4),据此认为越狱普遍损害模型能力。
- 结论与启示:作者认为研究者应使用同时考虑意愿与能力的高质量评估器,以区分无效越狱与 PAIR、PAP 这类真正有效的越狱;作者承认数据集规模、模态范围和政策时效性三点局限。