大语言模型上的弱到强越狱攻击

1. 01这篇论文试图解决什么问题？

   作者提出 weak-to-strong 越狱：用一对小模型在解码时改写大模型分布，一次前向传播即可越狱 70B 级模型。

   核心问题：现有自动越狱方法计算开销大，难以施加于 70B 级大模型；作者提出一种只需目标模型一次前向传播的推理时越狱攻击。

   • 问题场景：作者称开源 LLM 的安全依赖内在对齐，攻击者可修改权重或解码策略，事后护栏难以生效；而对 405B 级模型做现有攻击计算代价过高。
   • 核心观察：作者比较 safe 与 unsafe 模型的逐 token 分布，发现 KL 散度集中在初始 token、随后衰减（Figure 1），且 safe 模型 top-10 token 与 unsafe 模型重合率初始约 50%、随后超过 60%（Figure 2）；作者据此认为现有安全对齐可能只停留在浅层。
   • 论文提出：weak-to-strong jailbreaking——用一对小模型（safe 与 unsafe）的 log 概率代数在解码时引导大的 safe 模型生成有害内容；并提出一个梯度上升防御作为初步缓解。
   • 威胁模型（附录 A）：
     • 目标：让对齐的大模型生成有害内容。
     • 知识：white-box，攻击者可访问目标模型参数并本地部署推理。
     • 能力：在解码时直接操纵 logits；另需一对共享词表的小模型（safe 与 unsafe）。
     • 受害系统：开源 LLM（如 Llama、Mistral）；作者称闭源模型的适用性留待未来研究。

   收起这一问

2. 02有哪些相关研究？

   相关工作分四类自动越狱攻击与解码时方法两条线；作者称本文把解码时 logit 操纵用作攻击而非对齐。

   自动越狱攻击（四类，§2）

   • LLM 生成对抗提示词：AutoDAN（Liu et al., 2023; Zhu et al., 2023）与 PAIR（Chao et al., 2023），用另一个 LLM 生成绕过安全协议的字符串。
   • 反向传播优化提示词：GCG（Zou et al., 2023），通过梯度搜索对抗后缀。
   • 修改模型权重：Yang et al. (2023)、Qi et al. (2023)、Zhan et al. (2023) 显示用少量有害样本微调即可移除开源与闭源模型的安全保护。
   • 解码过程攻击：Huang et al. (2023) 的 generation exploitation 攻击操纵解码参数；Zhang et al. (2023a) 强制模型在特定位置生成特定 token。作者称这些方法或需昂贵的反向优化、或需大量前向查询、或需细致搜索解码参数（Table 1 对比了各策略所需前向/反向传播次数）。

   LLM 解码时方法（§2）

   • 小模型引导大模型解码：contrastive decoding（Li et al., 2023b）、speculative sampling（Chen et al., 2023）、CombLM（Ormazabal et al., 2023）。
   • 解码时控制与代理调优：DExperts（Liu et al., 2021）用 expert/anti-expert 做解毒与情感控制；proxy-tuning（Liu et al., 2024a）用小模型微调前后的预测差平移大模型预测；emulator fine-tuning（Mitchell et al., 2023）用同一公式分析规模贡献。
   • 区别：作者称上述工作用解码策略做对齐或能力提升，本文则把解码时 logit 操纵用作越狱攻击。

   基线与基准：对比基线为 GCG、Prefix Injection（Wei et al., 2023a）、SelfCipher（Yuan et al., 2023）、DeepInception（Li et al., 2023a）、Adversarial Decoding（Huang et al., 2023）、Adversarial Fine-tuning（Yang et al., 2023; Qi et al., 2023）；评测基准为 AdvBench 与 MaliciousInstruct，泛化实验用 SALAD-Bench 与 SORRY-Bench。

   收起这一问

3. 03论文如何解决这个问题？

   先用 KL 散度分析论证对齐浅层化，再用小模型 log 概率代数在解码时改写大模型分布，α 控制攻击强度。

   整体思路：先通过 token 分布分析论证安全对齐的差异集中在初始 token，再提出 weak-to-strong jailbreaking，在解码时用一对小模型的预测差改写大模型的逐 token 分布。

   分布分析（§3.1）

   • 分析对象：Llama2-7B-Chat 为 Safe-7B，其在有害问答对上微调、能回答超过 95% 恶意问题的版本为 Unsafe-7B，Llama2-13B-Chat 为 Safe-13B。
   • 方法：对同一前缀计算 safe 模型 P 与 unsafe 模型 Q 的下一 token 分布的 KL 散度 D_KL(P_t | Q_t) = ∑_yt P(y_t|q,y_<t) log (P(y_t|q,y_<t))/(Q(y_t|q,y_<t))，即给定相同前缀时两模型下一 token 分布的差异；在 500 个样本上平均，最大生成长度 256 token（附录 C）。
   • 观察：KL 散度随解码步衰减（Figure 1）；safe 与 unsafe 模型 top-10 token 重合率初始约 50%、随后超过 60%（Figure 2）。作者据此提出疑问：小的 unsafe 模型能否利用这一脆弱性引导大模型。

   攻击公式（§3.2）

   • 设定：M+ 为目标强 safe 模型，M− 为弱 safe 参考模型，M̂− 为由 M− 对抗微调得到的弱 unsafe 模型。
   • 改写规则：M̃⁺(y_t|q,y_<t) = 1/Z M⁺(y_t|q,y_<t) ( (M̂⁻(y_t|q,y_<t))/(M⁻(y_t|q,y_<t)) )^α，即把大模型每个 token 的概率乘以弱 unsafe 与弱 safe 模型预测比值的 α 次幂，Z 为归一化常数。
   • 关键参数：放大系数 α；作者称实验中 α = 1 即可越狱，增大 α 可提高有害性。要求强、弱模型共享词表。

   弱 unsafe 模型的获取与成本

   • 获取：对 7B 模型做对抗微调（Yang et al., 2023; Qi et al., 2023 的方法），用 100 个对抗样本、Stanford alpaca 训练系统，学习率 2e−5、15 个 epoch（附录 D）；也测试直接用未对齐的 base 模型。
   • 成本：每次生成需额外加载两个小模型；7B 对 70B 时额外计算约 20%，剪枝到 1.3B 后约 3.7%（§5.4）。目标模型只需一次前向传播，无需反向传播。
   • 适用场景：作者称方法也可推广到提供部分 token logits 的闭源模型，词表不同时可用动态规划做 token 对齐，但本文只做开源模型。

   成功判定与防御

   • 判定：ASR 按 Zou et al. (2023) 的规则，输出不匹配一组拒答短语即判成功；另用奖励模型 Harm Score 与 GPT-4 的 1.0–5.0 评分衡量有害性，GPT-4 评分在随机抽取的 30% 数据上进行（附录 D）。
   • 防御（§6）：在 Llama2-13B-Chat 上用 200 个有害指令-答案对做 100 步梯度上升，使模型在有害生成上损失增大。

   收起这一问

4. 04论文做了哪些实验？

   在 5 个开源模型上 ASR 达 99%–100%，优于 6 个基线；1.3B 模型可攻击 70B；梯度上升防御对该攻击仅降 ASR 5–10 个百分点。

   实验设置

   • 被测模型：Llama2-13B/70B-Chat、Vicuna-13B-v1.5、Baichuan2-13B-Chat、InternLM-20B-Chat（附录 D 另有 Meta-Llama-3-70B-Instruct）；弱模型为各家族对应的 7B 模型，另测 Sheared-LLaMA-1.3B。
   • 数据集：AdvBench（520 条有害指令）与 MaliciousInstruct（100 条、10 类恶意意图）；泛化实验用 SALAD-Bench（66 类每类抽 5 条共 330 条）与 SORRY-Bench（450 条、45 类）。
   • 基线：GCG、Prefix Injection、SelfCipher、DeepInception、Adversarial Decoding（Best Temp/Top-K/Top-p）、Adversarial Fine-tuning。
   • 指标：ASR（不匹配拒答短语即成功）、Harm Score（奖励模型负输出）、GPT-4 Score（1.0–5.0，随机 30% 样本）；生成设置 temperature 0.1、Top-p 0.9。
   • 重复次数：每个实验用 3 个随机种子重复并报告平均（附录 D）。

   主结果

   据 Table 2（Llama2-Chat，α = 1.50）：

   表格较宽，可左右滑动

   模型	方法	AdvBench ASR	MaliciousInstruct ASR	AdvBench Harm	Mal. Harm
   Llama2-13B	GCG	25.4	26.0	2.45	1.97
   Llama2-13B	Best Top-K	95.9	95.0	2.60	2.43
   Llama2-13B	Weak-to-Strong†	39.8	37.0	3.07	3.32
   Llama2-13B	Weak-to-Strong	99.4	99.0	3.85	4.29
   Llama2-70B	GCG	56.2	79.0	3.06	3.39
   Llama2-70B	Best Temp	80.3	99.0	1.84	2.56
   Llama2-70B	Weak-to-Strong†	35.7	35.0	3.11	3.35
   Llama2-70B	Weak-to-Strong	99.2	100.0	3.90	4.30

   † 表示用 base 模型作 unsafe 小模型。表中省略了 Prefix Injection、SelfCipher、DeepInception、Best Temp（13B 行）、Best Top-p 等行，其中 70B 上 SelfCipher 的 ASR 最低（AdvBench 1.3、MaliciousInstruct 1.0）。

   • 作者称 weak-to-strong 在两个数据集上取得 99%–100% 的 ASR，优于固定权重的既有攻击。
   • 作者称被攻击的大模型输出有害评分接近基线的 2 倍，比弱 unsafe 模型单独的输出更有害。
   • 用 base 模型作 unsafe 小模型（† 行）ASR 明显更低，作者仍称其 ASR 较高。

   跨模型家族与泛化

   • 跨家族（Table 6）：Vicuna-Att-13B 在两个数据集 ASR 均 100.0；InternLM Attack-20B 均 100.0；Baichuan Attack-13B 为 99.2/100.0。作者称方法在 13B–70B 的 5 个模型上 ASR 均超过 99%。
   • 新基准（Table 5）：SALAD-Bench 上 Llama2-Attack-13B/70B 的 ASR 为 96.5/97.2，SORRY-Bench 上为 96.2/97.1，Safe-13B 分别为 13.9/12.8。
   • 多语言（Table 7）：200 条英文问题经 GPT-4 译成中文、法文后零样本攻击，Llama2-Attack-13B 中文 ASR 94.5、法文 95.0（Safe-13B 为 78.5/38.0）。

   对比、消融与防御

   • 对比对抗微调（Table 3）：α = 1.5 时 weak-to-strong 在 Llama2-13B 上 ASR 99.4/99.0 高于对抗微调的 93.7/98.0；Vicuna-13B 上两者持平或互有高低（100.0/100.0 对 97.5/100.0）。
   • 输出非复制（Table 4）：被攻击模型与 Unsafe-7B 输出的 BLEU 为 0.1608–0.2148，作者称低于 0.3 的翻译质量参考线，说明不是简单复制小模型。
   • 防御（§6、Figure 5）：100 步梯度上升后，generation exploitation 类攻击 ASR 降 20%–40%，weak-to-strong 仅降 5%–10%；TruthfulQA 准确率仅降 0.04，GSM8K 1-shot 从 32.22 降到 31.46（Table 9）。

   其他消融与分析

   • α 的影响（Figure 4）：13B 上 α 从 1.00 升到 1.50，ASR 从 96.50 升到 99.40，Harm Score 从 3.36 升到 3.85；70B 趋势相同。
   • 极小弱模型（§5.4）：Sheared-LLaMA-1.3B 攻击 Llama2-70B-Chat，AdvBench ASR 74.0%，弱模型参数量仅为目标模型的 3.7%。
   • 系统提示词（Table 8）：无论微调时是否带系统提示词，13B/70B 上 ASR 均在 96.5–100.0 之间；作者称不依赖移除系统提示词。
   • 人工评估（附录 D.4，n=100）：人工与 ASR 检测器对攻击成功的判定一致率 100%；人工评分与 Harm Score 的 Pearson 相关 0.43、与 GPT-4 Score 为 0.47（Table 11）。
   • Llama 3（附录 D）：用越狱的 Llama-3-8B-Instruct 攻击 Meta-Llama-3-70B-Instruct，MaliciousInstruct 上 ASR 超过 95%，harm score 3.74 ± 0.15。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称方法需访问输出 logits、闭源适用性未验证，防御仍待研究；实验覆盖 5 个开源模型与两个主基准。

   作者指出的局限与后续方向

   • logits 依赖（§7 Discussion）：方法需要访问输出 logits，在无法获得闭源模型 logits 的场景适用性受限；作者指出 Sitawarin et al. (2024)、Guo et al. (2024) 等攻击也有同样要求。
   • 闭源模型未验证（§7 Discussion、§3.2）：实验主要针对开源模型，对闭源模型的有效性"理论上可行但未验证"，需进一步研究。
   • 防御仍是初步（摘要、§6、§7）：作者称梯度上升防御只是初步尝试，构建更高级的防御仍然困难，未来计划探索更多防御机制。
   • 额外计算成本（§7 Discussion）：方法需额外加载两个小模型，带来额外计算开销。

   实验覆盖范围

   • 被测目标模型为 Llama2-13B/70B-Chat、Vicuna-13B、Baichuan2-13B、InternLM-20B 共 5 个，附录另有 Meta-Llama-3-70B-Instruct 的单数据集结果（§4、附录 D）。
   • 主基准为 AdvBench（520 条）与 MaliciousInstruct（100 条）；泛化基准 SALAD-Bench 330 条、SORRY-Bench 450 条；多语言实验 200 条（附录 D、§5.3）。
   • 每个实验用 3 个随机种子重复并取平均（附录 D）。
   • 人工评估仅覆盖 MaliciousInstruct 的 100 条、Llama2-13B（α = 1.5）一个设置，每条由 2 名工人评分（附录 D.4）。
   • 防御仅在 Llama2-13B-Chat 上评测，针对 4 种攻击（§6）。

   收起这一问

6. 06总结一下论文的主要内容

   作者称安全对齐只作用于初始 token，据此提出用小模型解码引导的越狱攻击，70B 模型 ASR 超 99%，现有防御难以抵挡。

   一篇关于开源 LLM 越狱攻击的论文，核心主张是现有安全对齐可能只停留在初始 token 的浅层。

   • 问题：现有自动越狱（梯度优化、对抗微调、解码搜索）计算开销大，难以用于 70B 级模型。
   • 分析：safe 与 unsafe 模型的 KL 散度集中在初始 token 并随后衰减（Figure 1），top-10 token 重合率从约 50% 升至 60% 以上（Figure 2）；作者据此认为对齐是浅层的。
   • 方法：weak-to-strong jailbreaking——解码时用一对 7B safe/unsafe 小模型的 log 概率比（α 次幂）改写大模型逐 token 分布，目标模型只需一次前向传播，α = 1 即可生效。
   • 主要结果：Llama2-70B 上 AdvBench ASR 99.2%、MaliciousInstruct 100%（Table 2）；5 个 13B–70B 开源模型上 ASR 均超 99%（Table 6）；1.3B 剪枝模型攻击 70B 达 74.0% ASR（§5.4）；被攻击输出与弱模型输出的 BLEU 低于 0.3，作者称并非复制小模型（Table 4）。
   • 防御：100 步梯度上升使 generation exploitation 类攻击 ASR 降 20%–40%，但对 weak-to-strong 仅降 5%–10%，效用损失很小（TruthfulQA 降 0.04）。
   • 作者结论：当前开源模型的安全护栏脆弱，小有害模型即可放大风险；作者称需要更深入的对齐机制，并计划未来研究更多防御。

   收起这一问

相关论文