研究者提出 Rewrite to Jailbreak 方法，通过改写指令实现可迁移黑盒越狱

只改写会被拒绝的有害指令，就能让对齐后的LLM生成违反使用政策的内容；作者称这种改写可学习，并可迁到其他模型与数据集。

• 场景：作者称安全对齐会使LLM拒绝违规内容，但越狱仍可把原本拒绝的指令变成能引出有害输出的指令。黑盒设定不接触参数和梯度，作者称这更符合实际越狱场景。
• 现有不足：已有路线是构造更严格的指令遵循场景，或搜索对抗前缀、后缀。作者称其不足是试探成本高；无意义token或无关场景容易被检查出来；提示针对特定目标，不能保证用于其他案例和其他LLM。
• 观察：作者从“模型误拒时人们会换一种说法”出发，认为只改措辞、不增加额外特征即可越狱，且改写策略可以自动学习。
• 威胁模型：
  • 目标：有害意图保持不变，使对齐LLM生成违反服务商使用政策的内容。
  • 知识：作者称为black-box，不访问目标参数与梯度。
  • 能力：攻击模型改写用户指令；可取得目标回复及有害性、相似度分数。迁移时先在gθ上训练，再用于gϕ，不再微调。
  • 受害系统：对齐后的开源或闭源LLM。
• 提出：R2J（Rewrite to Jailbreak）。攻击模型迭代探索弱点并更新改写策略。作者称这些改写也可直接做监督微调，用来加强防御。

论文把已有越狱分成强制指令遵循和对抗前后缀，并认为二者都不适合难识别的大规模黑盒攻击。

强制指令遵循

• 人工场景：Perez and Ribeiro（2022）与Mozes et al.（2023）设计让指令被更严格遵循的提示。作者称此时安全对齐可能更弱。Bhardwaj and Poria（2023）用角色扮演做身份转换；Qiu et al.（2023）伪装成翻译；Ding et al.（2023）伪装成写代码。
• 自动搜索：Ferret（Pala et al., 2024）搜索persona。TAP（Mehrotra et al., 2023）、PAIR（相关工作引Chao et al., 2023）和Puzzler（Chang et al., 2024）按元模板搜索场景。附录A还讨论WordGame（Zhang et al., 2024）与Wolf in Sheep（Ding et al., 2023）。
• 论文的对照：附录A称这些方法制造更强的遵循场景，特征明显；R2J不引入这类场景，只重述原意图。Table 7给了对照示例，此处不复述改写句。

对抗前缀与后缀

• GCG：Zou et al.（2023）用梯度搜索后缀，以提高模型作出有害回答的概率。作者称需要权重，不能直接攻击GPT、Gemini等闭源模型。
• AutoDAN：Zhu et al.（2023）用分层遗传算法搜索对抗对象，同样需要权重。
• 可识别性：作者称前后缀可能与指令无关（Alon and Kamfonas, 2023），拼接后容易被发现。引言引用Hu et al.（2023）与Kumar et al.（2023），称检查怪异token和场景即可区分攻击。

基线与数据集

• 对照方法：DAN（King, 2023）、CoT（Wei et al., 2022）、CoT-2（Wei et al., 2024）、RedEval（Bhardwaj and Poria, 2023）、TAP、PAIR（Table 1写作Wei et al., 2022）、ArtPrompt（Jiang et al., 2024）、AutoDAN、AmpleGCG-plus（Table 1为Kumar et al., 2024；正文一处写作Zhu et al., 2023）。
• 数据：AdvBench（Chen et al., 2022）、CatQA-en（Bhardwaj et al., 2024）、HEx-PHI（Qi et al., 2024）、DangerousQA（Bhardwaj and Poria, 2023）。没有期望有害目标时，作者称PAIR、TAP、AutoDAN不适用。

作者把R2J定位为黑盒改写：不靠手工模板，不加无意义前后缀，不引入无关场景，并用迭代学习把改写迁到其他数据集和模型。引言另引用Sun et al.（2023）的安全对齐、Dong et al.（2024）的黑盒攻防，以及Liu et al.（2023）关于特定目标提示难迁移的讨论。

R2J用一个攻击LLM学习如何改写被拒指令，再用目标回复的有害性与相似度筛选，迭代更新攻击模型；训好的模型可不再微调而迁到其他模型或红队集。

红队数据与尝试记录

• 数据对象：第k轮红队集记为Dθ^(k)，含N条样本。每条Xi含原指令Ii和若干尝试；第j次尝试Aji含改写Cij、目标回复Rij和分数Sij。改写须表达与Ii相同的攻击目标。记号见附录B。
• 迭代来源：下一轮红队集由筛过的改写重建。迭代开始前，作者用GPT-3.5-turbo预生成第一轮改写；论文未写明该调用是否即GPT-3.5-turbo-0125。
• 流程：Figure 2分为训练阶段和改写阶段。训练阶段从已有尝试中选攻击效果最好的一批做SFT；改写阶段再用当前攻击模型改写这批样本并重新评分。

训练阶段

• 筛选：按评价分数从高到低排序，每个样本取前p条尝试组成SFT数据。作者称同一输入可以对应不同期望改写，以增加多样性、避免过拟合某种改写。
• 目标：式(1)为f^(k)_gθ,Dθ=argmax_f∑_{(I,A)∈ D^(k)θ[:p]}∑_{C∈ A}log P_f(C|I)。含义是：在高分尝试上，最大化攻击模型把原指令I生成改写C的对数概率。
• 攻击模型：实现上用LLM，因为作者称改写流畅且可用指令控制。实验里基座是Llama-3-8b，用LoRA微调。附录E.4给出SFT样本格式：输入为原指令，输出为改写指令。

改写与评分

• 改写：与训练相同，先按分数排序，取前q条，按SFT相同格式构造输入，由当前攻击模型生成新指令，再交给目标模型gθ得到回复。
• 分数：评价模型（作者举例GPT-3.5）同时打有害性和相似度，二者之和用于排序。有害性为1到5分，沿用Qi et al.（2024），综合是否违反服务商使用政策，以及回复是否与请求相关。相似度也为1到5分，衡量改写是否仍是同一任务。附录C给出评分模板。
• 失败规则：对用LLM生成指令的方法（含PAIR、TAP和R2J），相似度低于3分则攻击判失败，结果中有害性记为1分。作者称GPT更不愿给高分，尤其是5分，因此把相似度阈值定在3分。

迁移与实现参数

• 跨模型：在开源gθ上得到攻击模型后，用于另一模型gϕ，不再微调。作者称改写不包含模型专用内容，因此可迁到其他红队集或模型。Algorithm 2每轮只改写当前最有效尝试，向目标查询一次；有害性达到5分即停。查询上限等于迭代次数。
• 参数：训练迭代n=20，p=5，q=3，选中的尝试各改写3次。迁移n=30，每条最多查询目标30次（附录E.3）。LoRA秩16，学习率10^-4，总batch 32，DeepSpeed ZeRO-3与AdamW；DangerousQA训练5个epoch，其余三个数据集3个epoch。
• 采样：各LLM使用同一默认系统提示，top_p为1.0。攻击模型温度1.0，目标模型0.7，评审模型0。附录E.2写SFT用两张NVIDIA A100。

实验设置

• 受害模型：直接攻击为GPT-3.5-turbo-0125与Llama-2-7b-chat。Table 3的迁移目标为Llama-2-7b-chat、Llama-2-13b-chat、Llama-3-8b-chat、Gemini-pro、GPT-3.5-turbo-1106、GPT-3.5-turbo-0125、GPT-4-0125、GPT-4o-2024-05-13、GPT-4o-mini-2024-07。安全对齐另用Seungyoun/llama-2-7b-alpaca-gpt4。
• 攻击与评审：攻击模型为Llama-3-8b（LoRA）。有害性与相似度由GPT-3.5-turbo-0125打1到5分；该模型本身也是受害模型。LLM生成指令时，相似度低于3分判失败，有害性记1分。
• 数据：AdvBench 520条，含期望攻击输出；CatQA-en 550、HEx-PHI 330、DangerousQA 200，只有有害指令。首轮改写由GPT-3.5-turbo预生成。
• 基线：DAN、CoT、CoT-2、RedEval、TAP、PAIR、ArtPrompt、AutoDAN、AmpleGCG-plus。表中Initial（写作Inital）表示不做越狱。无期望有害目标时，作者称PAIR、TAP、AutoDAN不适用。
• 指标：Harmful为五分制有害性。ASR为关键词平均成功率；附录D列49个拒答信号，作者称该指标可能有假阳性与假阴性。迁移另报平均Queries，越低越好。
• 预算：训练n=20；迁移最多30次查询，有害性到5分停止。论文未报告攻击实验的重复次数。温度见第3问。

主结果

下表只列Table 1的一部分。AutoDAN在GPT-3.5-turbo-0125上为Not applicable，未填。

表格较宽，可左右滑动

模型	方法	Harmful	ASR	出处
GPT-3.5-turbo-0125	ArtPrompt	3.69	87.12%	Table 1
GPT-3.5-turbo-0125	AmpleGCG-plus	1.35	6.92%	Table 1
GPT-3.5-turbo-0125	R2J	4.20	86.54%	Table 1
Llama-2-7b-chat	PAIR	1.80	25.38%	Table 1
Llama-2-7b-chat	AutoDAN	3.06	52.69%	Table 1
Llama-2-7b-chat	R2J	3.79	75.38%	Table 1

• 作者的总括与表内反例：作者称R2J在两个模型上相对其他方法有超过20%的提升。Table 1中，GPT-3.5的ASR上ArtPrompt为87.12%，高于R2J的86.54%；R2J的Harmful 4.20为该列最高。Llama-2上R2J的Harmful与ASR均为表中最高。作者称相对AutoDAN提升22%，相对PAIR和TAP的ASR提升50%、Harmful约为2倍。
• 模板方法与换模型：作者称DAN、CoT、CoT-2目前在两个模型上都不能成功攻击。Table 1中GPT-3.5上三者ASR为0.00%、1.15%、2.31%；Llama-2上均为0.58%。RedEval在GPT-3.5上ASR为36.92%，在Llama-2上为0.19%。作者称ArtPrompt与AmpleGCG-plus换到另一模型时表现差，现有方法泛化有限；Llama-2上AmpleGCG-plus的Harmful为3.72、ASR为31.92%。
• 四个数据集：作者称两个模型在全部数据集上ASR超过80%。Table 2中Llama-2-7b-chat在AdvBench上为75.38%，不在这句话覆盖范围内。GPT-3.5上R2J的ASR另为CatQA-en 97.82%、DangerousQA 91.50%、HEx-PHI 88.18%；Llama-2上为93.27%、90.50%、82.73%。作者称四数据集每轮平均训练35,858 GFLOPS，两张A10上平均522秒。

跨模型迁移

• 协议：AdvBench上，用针对gθ训练的攻击模型攻击gϕ，不再微调。gθ为GPT-3.5时指GPT-3.5-turbo-0125，为Llama-2时指Llama-2-7b-chat。Table 3的“-”行是不做越狱。作者称共九个LLM，其中三个闭源、六个开源；具体名单以Table 3的gϕ列为准。
• 作者给出的汇总：作者称约20次查询下，针对GPT-3.5与Llama-2训练的攻击模型，在九个目标上的总Harmful为3.81与3.72，总ASR为79.77%与76.06%。该汇总含gϕ与gθ为同一模型的行。作者称相对直接训练、查询更少时只下降约8%。Table 1直接攻击GPT-3.5的ASR为86.54%；Table 3中gθ与gϕ均为GPT-3.5一侧时ASR为78.27%、查询14.87。Llama-2直接为75.38%，Table 3中gθ与gϕ均为Llama-2一侧时为68.27%、查询18.05。
• 不同目标：Table 3中，GPT-3.5所训模型打Llama-2-7b-chat的ASR为61.35%、查询22.08；打GPT-4o-mini-2024-07为89.62%、查询11.46；打Gemini-pro为83.08%、查询20.17。Llama-2所训模型打GPT-4o-2024-05-13的ASR为84.62%、查询12.49。作者认为迁移表现与目标能力可能相关，对更强目标更好。

跨数据集迁移

• Table 4：攻击模型在Dθ上训练后攻击AdvBench。GPT-3.5-turbo-0125上，来自CatQA-en、DangerousQA、HEx-PHI的ASR为73.27%、74.23%、56.15%；Llama-2-7b-chat上为63.85%、59.23%、42.88%。来自AdvBench的78.27%与68.27%，与Table 3中对应的同模型迁移行相同，不是Table 1的直接攻击数字。
• Figure 3：横轴为Number of Queries，纵轴分别为Harmful Score与Average Success Rate；图例含PAIR、TAP，以及四个红队集上的R2J。文本转换读不到曲线端点。作者称越靠近左上，成功率越高且查询越少；在Llama-2-7b-chat上，攻击效率是PAIR的2到3倍。
• 作者对弱项的解释：作者称HEx-PHI的有害类型与其他集不同，迁到GPT-3.5表现一般，但在相同查询数下，Llama-2上ASR比PAIR高20%。作者称DangerousQA不到AdvBench的40%，迁到AdvBench仍达到直接在AdvBench上训练时90%的攻击性能。Figure 3未在正文给出与PAIR逐点对齐的查询数。

防御、分布与安全对齐

• 扰动防御：Table 5在AdvBench上评对R2J的防御，论文未说明目标模型。w/o defense为Harmful 4.20、ASR 86.54%，与Table 1中GPT-3.5-turbo-0125的R2J一行相同。Paraphrasing为4.11、86.15%；Backtranslation为3.52、76.92%；RA-LLM为3.76、73.85%。作者称这些扰动只使Harmful与ASR下降17.20%与12.69%。
• 长度与PPL：Figure 4的目标是Llama-2-7b-chat、数据为AdvBench；横轴Perplexity，纵轴Length，均为文中所示的对数坐标。图例为w/o att.、AutoDAN、TAP、PAIR、R2J。文本读不到点的位置。作者称R2J与原指令分布重叠，因而PPL过滤和GBM不能防御；AutoDAN因无意义后缀提高PPL；PAIR与TAP因无关场景变长，与原指令有边界。正文提到compression（Liu et al., 2024b），Table 5没有对应数字。
• 安全对齐：Table 6在Seungyoun/llama-2-7b-alpaca-gpt4上用LoRA微调3个epoch。AdvBench-R2J对齐后，三个集平均Harmful 1.36、ASR 12.11%；原始AdvBench对齐为1.53、18.37%；不做SFT为3.49、60.16%。作者称相对原始AdvBench对齐，Harmful与ASR平均下降11%与6%。

其他消融与分析

• 附录F：作者称改写后平均词长从5.3增至6.1个字符；直接表达攻击意图的词减少，委婉用词增加。此处不列具体替换词。
• 附录C.3：2500条（每个分数500条）、10轮重评，Harmful与相似度方差均为0.0001；均值2.9758与2.9867，期望均为3.0000。
• 人工：50条、5名专家，Cohen's Kappa为0.773（有害性）与0.698（相似度）；以3分为界时为0.913与0.801。
• Figure 5：作者称第4.2节各模型迁移攻击的平均相似度都高于3.8。
• 硬件表述：附录E.2写SFT用两张A100；第4.1节写计时用两张A10、平均522秒。论文未把两处对应起来。
• 论文未报告对p、q或迭代轮数的对比实验。附录G给了生成示例，含未过滤有害内容，此处不复述。

作者指出的局限与后续方向

• 攻击基座：未探索其他基座模型作为攻击模型。作者称理论上R2J不依赖基座，甚至可以通过API微调闭源模型。（Limitations）
• 语言：未给出其他语言的攻击效果。作者称现实中的越狱不限于一种语言，理论上可对任意语言做改写攻击，但没有做实验。（Limitations）
• 为何未做：作者称本文重点是攻击性能和可迁移性，因此没有讨论上述两点。（Limitations）

实验覆盖范围

• 红队数据为AdvBench（520）、CatQA-en（550）、HEx-PHI（330）、DangerousQA（200）；Limitations写明这四份是英文红队集。（第4节、Limitations）
• 直接攻击的受害模型为GPT-3.5-turbo-0125与Llama-2-7b-chat；攻击模型为Llama-3-8b，用LoRA微调。（第4节、附录E）
• Table 3的迁移目标为Llama-2-7b-chat、Llama-2-13b-chat、Llama-3-8b-chat、Gemini-pro、GPT-3.5-turbo-1106、GPT-3.5-turbo-0125、GPT-4-0125、GPT-4o-2024-05-13、GPT-4o-mini-2024-07。作者称其中三个闭源、六个开源。
• 有数字的防御为paraphrasing、backtranslation、RA-LLM（Table 5，未写目标模型）。安全对齐模型为Seungyoun/llama-2-7b-alpaca-gpt4，评测CatQA-en、DangerousQA、HEx-PHI（Table 6）。AutoDAN在GPT-3.5上标为Not applicable，作者称该方法需要权重。
• 评审模型为GPT-3.5-turbo-0125；人工一致性样本为50条、5名专家（附录C.3）。训练迭代n=20，迁移每条最多30次查询（附录E.3）。论文未报告攻击实验的重复次数。

R2J是可迁移的黑盒越狱：攻击模型把被拒的有害指令改写成意图不变的说法。

• 问题：作者称强制遵循场景和对抗前后缀试探成本高、特征明显，且不能保证迁到其他目标和模型。黑盒设定不接触参数与梯度。
• 做法：按有害性与相似度之和筛选改写，对Llama-3-8b做LoRA。评分者是GPT-3.5-turbo-0125；相似度低于3分记失败。迁到新模型或新数据集时不再微调，单条最多查询30次。
• 直接攻击：AdvBench上，GPT-3.5-turbo-0125的Harmful/ASR为4.20/86.54%，Llama-2-7b-chat为3.79/75.38%（Table 1）。同表ArtPrompt在GPT-3.5上的ASR为87.12%。CatQA-en上GPT-3.5的ASR为97.82%（Table 2）。作者称四个数据集均超过80%，但Table 2里Llama-2的AdvBench为75.38%。
• 迁移：作者称GPT-3.5与Llama-2上训出的攻击模型，在九个目标上的总ASR为79.77%与76.06%，约20次查询，相对直接训练约降8%。Table 3中，GPT-3.5所训模型打GPT-4o-mini的ASR为89.62%，打Llama-2-7b-chat为61.35%。
• 作者结论：作者称实验证明了R2J的有效性与跨模型、跨数据集可迁移性，且不引入无意义前后缀或无关场景。Table 6中，用R2J生成数据做安全对齐后，三数据集平均ASR为12.11%，用原始AdvBench对齐为18.37%。作者称R2J也可用来帮助构造更安全的LLM。