EasyJailbreak：面向大语言模型越狱的统一框架

1. 01这篇论文试图解决什么问题？

   越狱攻击缺乏统一实现框架，难以公平比较；作者提出四组件框架 EasyJailbreak 并评测 10 个 LLM。

   核心问题：越狱攻击方法差异大、没有标准实现框架，导致无法公平比较和全面评估 LLM 安全漏洞。

   • 问题场景与重要性：作者认为越狱攻击旨在绕过安全护栏、诱使模型输出违禁内容，对识别和缓解 LLM 安全漏洞至关重要（Figure 1 展示了有无越狱提示词时模型输出的对比）。
   • 现有方法的不足：作者称各越狱方法常在不同数据样本和受害模型上评测，难以直接公平比较；且因缺少源代码，复现以往工作耗时且易错。
   • 论文的核心观察：作者认为多数越狱方法可分解为四个基本组件——Selector、Mutator、Constraint、Evaluator，从而模块化拼装。
   • 论文提出的内容：提出统一框架 EasyJailbreak，支持 11 种越狱方法的复现与基准化，并对 10 个 LLM 做安全评测；作者称已发布网页平台、PyPI 包和实验输出。
   • 威胁模型：
     • 攻击者目标：绕过模型安全机制，使模型对越狱指令（queries，即模型不应响应的指令）产生违禁输出。
     • 攻击者能力：构造初始提示词模板（seeds），通过 Mutator 迭代改写攻击输入，并用 Selector、Constraint 筛选。
     • 受害系统：开源模型（如 LLaMA2、Vicuna）与闭源模型（如 GPT-4）。
     • 知识假设：论文未统一说明；各攻击配方沿用原论文设定，如 GCG 使用模型梯度，PAIR 等通过查询迭代。

   收起这一问

2. 02有哪些相关研究？

   相关工作按三类越狱攻击组织：人工设计、长尾编码、提示优化；论文还引用了若干防御工作。

   人工设计（Human Design）

   • 角色扮演与场景构造：Li et al. (2023a) 的角色扮演、Li et al. (2023b) 的 DeepInception 场景构造，诱导模型忽略系统准则。
   • 上下文学习漏洞：Shayegani et al. (2023)、Wei et al. 利用模型上下文学习的漏洞诱导其响应恶意指令（ICA）。
   • 在野越狱提示词：Shen et al. (2023) 刻画并评估真实世界中的越狱提示词（Figure 1 的越狱示例取自该工作）。

   长尾编码（Long-tail Encoding）

   • 思路：Wei et al. (2023) 指出模型对安全对齐中未见过的数据泛化有限，但因预训练规模大仍能理解意图并生成不安全内容。
   • 代表方法：MultiLingual（Deng et al., 2023b）把输入编码为低资源语言；CodeChameleon（Lv et al., 2024）加密输入并在提示词中嵌入解码函数；Cipher（Yuan et al., 2023）用密码对话。

   提示优化（Prompt Optimization）

   • 梯度与进化：GCG（Zou et al., 2023）利用模型梯度；AutoDAN（Liu et al., 2023）用遗传算法进化提示词。
   • 模糊测试与迭代改写：GPTFUZZER（Yu and Lin）、FuzzLLM（Yao et al., 2023）探索提示词变体；PAIR（Chao et al., 2023）根据模型打分迭代精炼；ReNeLLM（Ding et al., 2023）为嵌套改写；TAP（Mehrotra et al., 2023）为树状攻击。
   • 说服与辅助模型：PAP（Zeng et al., 2024）用自然语言说服模型；Deng et al. (2023a) 训练辅助模型生成越狱提示词，以成功率为奖励。

   防御与定位

   • 防御工作：论文在引言引用了 Jain et al. (2023)、Helbling et al. (2023)、Robey et al. (2023)、Cao et al. (2023) 等防御策略，仅作背景列举。
   • 基线与基准：实验在 AdvBench（Zou et al., 2023）上评测 11 种攻击配方；评审器对比的基线为 Rule Match、GPTFUZZER 分类器、Llama-Guard-7B、ChatGPT（Table 3）。
   • 本文定位：作者称 EasyJailbreak 首次让这些攻击能在统一框架内被基准化、比较和分析。

   收起这一问

3. 03论文如何解决这个问题？

   把越狱攻击分解为 Selector、Mutator、Constraint、Evaluator 四组件，按配方拼装 11 种攻击并输出报告。

   整体思路：把各类越狱攻击统一分解为四个可复用组件，研究者通过组合组件即可拼装新攻击或复现旧攻击。框架名为 EasyJailbreak，流程分准备、攻击、输出三阶段（Figure 2）。

   问题设定与准备阶段

   • 三类输入：queries 是模型不应响应的越狱指令；seeds 是用于提升 ASR 的初始提示词模板；models 通常作为攻击目标，也可用于评估结果或生成新模板。
   • 可调参数：用户可调整攻击配方或组件的超参数。

   四个核心组件

   • Selector：在候选爆炸时挑选最有希望的候选，如 EXP3SelectPolicy 用 Exp3 算法选种子；另有 UCB、RoundRobin、MCTSExplore、SelectBasedOnScores、ReferenceLossSelector 等（附录 A.1）。
   • Mutator：在被拒时改写攻击输入，分三类：生成式（如 ApplyGPTMutation、Translation）、基于梯度（利用参考回复计算梯度更新 token）、基于规则（如 Base64、CaserExpert）（附录 A.2）。
   • Constraint：过滤注定失败的输入，如 DeleteHarmLess 用 LLM 评估危害性并移除无害输入，DeleteOffTopic 移除离题输入，PerplexityConstraint 移除高困惑度输入（附录 A.3）。
   • Evaluator：自动判定攻击是否成功，分三类：基于分类器（ClassificationJudge、ClassificationGetScore，0–9 分）、基于生成模型（GenerativeJudge、GenerativeGetScore）、基于规则（Match、PatternJudge、PrefixExactMatch）（附录 A.4）。

   攻击配方与复现

   • 11 种配方：Table 1 列出每种攻击的组件组合，如 ReNeLLM 用 RandomSelector + 6 个 Mutator + DeleteHarmLess + GenerativeJudge；GPTFUZZER 用 4 种 Selector + 5 个 Mutator + ClassificationJudge；GCG 用 ReferenceLossSelector + MutationTokenGradient + PrefixExactMatch。
   • 超参数来源：各配方的超参数遵循原始论文的设定。

   输出与使用方式

   • 报告：每次攻击后生成报告，含成功率、回复困惑度及每条恶意查询的模型回复、越狱提示词和评估细节。
   • 接口：几行代码即可运行（示例为用 PAIR 测试 Vicuna-13B，攻击与评审模型为 GPT-4）；另有网页平台可对比不同攻击的输出（Figure 3）。

   成功判定

   • 统一评审：基准实验用 GenerativeJudge 作为统一评审方法，评分模型为 GPT-4-turbo-1106，评审提示词取自 GPTFUZZER。

   收起这一问

4. 04论文做了哪些实验？

   在 AdvBench 上以 11 种攻击评测 10 个 LLM，平均 ASR 63%；另比较了 5 种评审器与攻击效率。

   实验设置

   • 被测模型（10 个）：GPT-4-0613、GPT-3.5-Turbo、LLaMA2-7B-chat、LLaMA2-13B-chat、Vicuna-7B-v1.5、Vicuna-13B-v1.5、Qwen-7B-chat、InterLM-chat-7B、ChatGLM3、Mistral-7B-v0.1，来自 7 个机构。
   • 数据集：AdvBench（Zou et al., 2023）；论文未说明所用样本条数。
   • 攻击配方（11 种）：人工设计类 JailBroken、DeepInception、ICA；长尾编码类 Cipher、MultiLingual、CodeChameleon；优化类 ReNeLLM、GPTFUZZER、AutoDAN、PAIR、GCG；超参数遵循各原始论文。
   • 指标：ASR（攻击成功率）；评审器对比用 Accuracy、TPR、FPR、F1 和耗时。
   • 评审方式：统一用 GenerativeJudge，评分模型 GPT-4-turbo-1106，评审提示词来自 GPTFUZZER。
   • 样本量与重复次数：评审器对比用 400 条人工标注回复；主实验的重复次数论文未报告。

   主结果

   据 Table 2（ASR，%）：

   表格较宽，可左右滑动

   模型	Avg.	JailBroken	DeepInception	ICA	CodeChameleon	MultiLingual	Cipher	AutoDAN	PAIR	GCG	ReNeLLM	GPTFUZZER
   GPT-3.5-turbo	57	100	66	0	90	100	80	45	19	12	87	35
   GPT-4-0613	33	58	35	1	72	63	75	2	20	0	38	0
   Llama2-7B-chat	31	6	8	0	80	2	61	51	27	46	31	31
   Llama2-13B-chat	37	4	0	0	67	0	90	72	13	46	69	41
   Vicuna7B-v1.5	77	100	29	51	80	94	28	100	99	94	77	93
   Vicuna13B-v1.5	83	100	17	81	73	100	76	97	95	94	87	94
   ChatGLM3	77	95	33	54	92	100	78	89	96	34	86	85
   Qwen-7B-chat	74	100	58	36	84	99	58	99	77	48	70	82
   Intern7B	71	100	36	23	71	99	99	98	86	10	67	92
   Mistral-7B	88	100	40	75	95	100	97	98	95	82	90	99

   • 普遍脆弱：作者称 10 个模型平均 breach probability 为 63%（摘要与结论写 60%），GPT-3.5-Turbo 与 GPT-4 也未免疫。
   • 闭源相对优势：作者称 GPT-3.5-Turbo 与 GPT-4 平均 ASR 为 45%，低于其余开源模型的 66%；但 Llama2 系列安全性与 GPT-4 相当。
   • 规模不等于安全：Llama2 与 Vicuna 上 13B 版本的平均越狱成功率略高于 7B 版本，作者认为增大参数量不一定提升安全。

   评审器对比

   • 测了什么：在 400 条人工标注回复上比较 5 种评审方法的准确性与效率（Table 3）。
   • 结果：GPT4-turbo 准确率 93.50%、TPR 94.38%、F1 93.43%，耗时 12 分钟；GPTFUZZER 分类器准确率 90.50%、FPR 3.92%（最低），耗时 15 秒；Rule Match 最快（1 秒）但 FPR 40.20%；Llama-Guard-7B 准确率 79.75%；ChatGPT 准确率 85.50%。
   • 作者解读：GPT-4 准确但慢；分类器兼顾效率与准确；规则匹配因严格且无法适应多样回复而 FPR 高；选择评审指标需平衡准确与效率。

   攻击效率分析（附录 B）

   • 测了什么：Figure 4 给出 Llama2-7B 与 Llama2-13B 上各攻击的 ASR 与耗时。
   • 结果：人工设计类只需人工编写的提示词、耗时最短；Prompt Optimization 类耗时最长，在 Llama2-7B-chat 与 Llama2-13B-chat 上分别需 764.4 小时和 803.9 小时，但在 Llama2 上成功率更高。
   • 例外：MultiLingual 在 Llama2 上效果差（7B 为 2%、13B 为 0%），作者归因于 Llama2 多语言能力有限；Cipher 在 Llama2-7B-chat 与 Llama2-13B-chat 上分别为 61% 和 90%，作者归因于 Llama2 的语言处理能力未被安全优化覆盖。

   其他消融与分析

   • 论文未报告其他系统性消融；各攻击配方的组件组合见 Table 1，超参数沿用原论文，未做额外参数扫描。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者仅提出在更大模型上验证规模结论；实验覆盖 10 个模型、11 种攻击、单一数据集。

   作者指出的局限与后续方向

   • 更大模型验证：作者称未来将对 Llama2-Chat-70B 等更大规模模型做进一步安全验证，以检验"增大参数量不一定提升安全"的结论（5.2 节）。
   • 除此之外，论文未在 Conclusion 或附录中列出其他明确的局限或未来方向。

   实验覆盖范围

   • 被测模型：共 10 个，为 GPT-4-0613、GPT-3.5-Turbo、LLaMA2-7B-chat、LLaMA2-13B-chat、Vicuna-7B-v1.5、Vicuna-13B-v1.5、Qwen-7B-chat、InterLM-chat-7B、ChatGLM3、Mistral-7B-v0.1（5.1 节）。
   • 攻击配方：11 种，覆盖人工设计、长尾编码、提示优化三类；框架本身称支持 12 种攻击（引言），但基准实验用了 11 种（Table 2）。
   • 数据集：仅 AdvBench；论文未说明所用样本条数（5.1 节）。
   • 评审方式：统一用 GPT-4-turbo-1106 的 GenerativeJudge；评审器对比基于 400 条人工标注回复，论文未报告标注者一致性（5.3 节）。
   • 未报告信息：主实验的重复次数、各攻击在 10 个模型上的查询次数或 token 消耗未报告；效率数据仅给出 Llama2-7B/13B 两个模型（附录 B）。

   收起这一问

6. 06总结一下论文的主要内容

   EasyJailbreak 以四组件统一复现 11 种越狱攻击，评测 10 个 LLM 平均 ASR 63%，GPT-4 为 33%。

   一篇越狱攻击框架论文：作者针对越狱方法缺乏标准实现、难以公平比较的问题，提出统一框架 EasyJailbreak。

   • 要解决的问题：各越狱方法在不同数据和模型上评测、源码缺失导致复现困难，阻碍了对 LLM 漏洞的识别与缓解（作者观点）。
   • 方法要点：把攻击分解为 Selector、Mutator、Constraint、Evaluator 四个组件，通过组件组合复现 11 种攻击（Table 1）；框架含准备、攻击、输出三阶段，输出含 ASR 与逐条查询细节的报告，并提供网页平台与 PyPI 包。
   • 主要结果：
     • 在 AdvBench 上以 GPT-4-turbo-1106 为统一评审，10 个模型平均 ASR 63%（Table 2；摘要与结论写 60%）。
     • GPT-3.5-Turbo 与 GPT-4-0613 平均 ASR 分别为 57% 和 33%；Mistral-7B 最高（88%），Llama2-7B-chat 最低（31%）。
     • 作者称闭源模型平均 ASR 45%，低于开源模型的 66%，但 Llama2 系列安全性与 GPT-4 相当。
     • 评审器对比（400 条人工标注回复）：GPT4-turbo 准确率 93.50% 但耗时 12 分钟，GPTFUZZER 分类器 90.50% 且仅 15 秒（Table 3）。
   • 作者结论：当代 LLM 存在普遍安全漏洞，亟需加强安全防御；作者认为 EasyJailbreak 能为研究者提供评估与开发攻防策略的工具，并计划未来在 Llama2-Chat-70B 等更大模型上继续验证。

   收起这一问

相关论文