LLM 的安全对齐应该做到比开头几个 token 更深

1. 01这篇论文试图解决什么问题？

   作者称当前安全对齐只作用于最初几个输出 token，这一浅层性解释了多类已知攻击。

   核心问题：为什么当前 LLM 的安全对齐如此容易被简单攻击或良性微调破坏，以及如何缓解。

   • 问题场景：对齐模型（SFT+RLHF/DPO）可被对抗优化输入、几步微调或解码参数利用越狱（引言）。作者认为这些脆弱性背后有共同机制。
   • 核心观察：作者提出浅层安全对齐（shallow safety alignment）概念——对齐主要只改变模型在最初几个输出 token 上的生成分布，一旦开头偏离拒答前缀，生成就会进入有害轨迹。其反事实称为深层安全对齐。
   • 现有方法不足：作者认为当前 SFT 和 RLHF 流程本身不编码对齐"深度"概念：SFT 数据里人类不会写"先有害后拒答"的样本，RLHF 中模型一旦学会拒答前缀就几乎不会因该捷径受罚（Section 2.2）。
   • 论文提出：1) 一组案例研究刻画浅层对齐并解释多类攻击；2) 安全恢复样本数据增强，把对齐加深；3) 约束微调目标，限制初始 token 分布偏移以抵御微调攻击。
   • 威胁模型（论文分析的攻击，非本文提出）：
     • 推理阶段：攻击者控制解码（prefilling 非拒答前缀）、优化对抗后缀（GCG）、或枚举解码参数采样；受害系统为开源对齐模型，作者称闭源模型的 prefilling 接口也可被类似利用。
     • 微调阶段：恶意行为者通过下游微调（如有害样本、身份转换、后门投毒）撤销对齐。
     • 成功判定：GPT-4 评审输出有害性，得最高分 5 的比例记为 ASR。

   收起这一问

2. 02有哪些相关研究？

   论文与 Superficial Alignment Hypothesis 及三项 per-token 分析最接近，并统一解释多类越狱方法。

   对齐的表层性与 per-token 效应

   • Zhou et al. [28] 的 Superficial Alignment Hypothesis：认为对齐只是表层地改变输入输出格式。本文作者称自己的工作与之密切相关。
   • Lin et al. [25]：发现对齐微调引入的差异随序列变长而消失（与 Figure 1 类似但非安全语境）；论文指出他们主要借此质疑微调是否必要，而本文深入安全效应并联系攻击与防御。
   • Zhang and Wu [26]：发现微调中话题与风格先验的适应主要在序列开头学到。Zhao et al. [27]：注意到类似 token 级效应并直接利用它设计越狱攻击。

   越狱方法

   • 论文统一解释了四类攻击：对抗后缀攻击（Zou et al. [29]、Andriushchenko et al. [21]）、解码参数利用（Huang et al. [24]）、prefilling 攻击（[30, 21]，作者称其为并行的近期工作）、微调攻击（Qi et al. [22]、Zhan et al. [23]）。
   • 论文提到系统级防御（用模型监控输入输出，如 Llama Guard [49]），并引用 [50] 指出监控机制本身也可被越狱。

   保护初始 token 的防御

   • Xu et al. [53]（SafeDecoding）：作者指出其与本文 Section 4 动机相似——通过识别安全声明并放大早期 token 概率来防御推理期越狱。

   基线与基准：安全评测沿用 Qi et al. [22] 的流程，基准为 HEx-PHI [32]（330 条有害指令、11 类）；GCG 攻击按 Zou et al. [29] 原设置实现并加测 AdvBench；解码参数攻击按 Huang et al. [24] 设置并加测 MaliciousInstruct；效用评测用 AlpacaEval（参照 text-davinci-003）。

   作者定位：本文把上述分散现象统一为"浅层 vs 深层安全对齐"概念，并给出训练侧缓解路径；与控制理论、安全 RL 的联系留作未来工作。

   收起这一问

3. 03论文如何解决这个问题？

   先用 per-token 分析刻画浅层对齐，再提出安全恢复数据增强与 token 级约束微调两种缓解。

   整体思路：先用 per-token KL 散度、损失与梯度范数证明对齐集中在初始 token，再沿两条路径缓解——把对齐加深（Section 3），或保护初始 token 不被微调破坏（Section 4）。

   刻画浅层安全对齐（Section 2）

   • 安全模式捷径：给未对齐 base 模型预填拒答前缀 s，采样 y ∼ π_base(·|x, s)，测其 Harmfulness Rate 是否接近对齐模型。
   • KL 分析：构建 Harmful HEx-PHI（330 条 HEx-PHI 指令 + 越狱 GPT-3.5-Turbo 生成的有害回答），逐 token 计算对齐模型与 base 模型的 KL 散度，看"KL 预算"花在哪里。
   • 微调动力学：在 100 条有害样本上微调 Llama-2-7B-Chat（学习率 2×10⁻⁵、batch 64），分别记录 per-token 交叉熵损失、梯度范数和与初始模型的 KL 散度。

   数据增强：安全恢复样本（Section 3）

   • 设计：构造三元组 (x, h, r)（有害指令、有害回答、拒答），训练模型在已被预填 k 个有害 token 时仍恢复拒答，即增强 π_θ(r|x, h≤k)。作者称这类样本不自然、人类标注或模型采样都难以产生，正好覆盖分布外情形。
   • 实现：因无法从头对齐，直接在已对齐的 Llama-2-7B-Chat 上继续微调；安全集 D_H 含 256 个三元组，效用集 D_B 用 Alpaca 指令经初始模型蒸馏；目标为 min_θ α  𝔼[−log π_θ(r|x, h_{≤ k})] + (1−α)  𝔼[−log π_θ(y′|x′)]，即安全恢复损失与效用锚损失的加权混合。
   • 参数：k 以 50% 概率取 0、50% 概率均匀取自 [1,100]；α=0.2；每批 16 条安全样本 + 64 条效用样本；训练 10 epoch，学习率 2×10⁻⁵，AdamW。

   约束微调目标（Section 4）

   • 假设：若初始几个 token 对安全性起决定作用，则约束这些位置的分布不偏离初始对齐模型，即可抵御微调攻击。
   • 目标：min_θ 𝔼 ∑_t 2/(β_t) log σ(β_t log (π_θ(y_t|x,y_<t))/(π_aligned(y_t|x,y_<t)))；β_t 控制各位置正则强度，小 β_t 近似交叉熵、大 β_t 近似强制匹配初始模型分布（附录 D 给出极限推导与 RL 解释）。
   • 配置：β₁=0.5，2≤t≤5 时 β_t=2，t>5 时 β_t=0.1；前 10 步线性 warmup（作者称可避免初始梯度在约束生效前破坏对齐）。

   成功判定与评测

   • 安全：GPT-4-Turbo 对 (输入, 输出) 打 1–5 分，得 5 分的比例为 Harmfulness Rate / ASR；默认基准 HEx-PHI。
   • 效用：AlpacaEval winrate（对 text-davinci-003）；下游任务用 ROUGE-1（Samsum、SQL Create Context）与准确率（GSM8k）。

   收起这一问

4. 04论文做了哪些实验？

   数据增强模型在三类推理攻击下 ASR 大幅下降，约束微调在三种微调攻击下保持低 ASR 且效用接近标准 SFT。

   实验设置

   • 被测模型：Llama-2-7B-Chat、Gemma-1.1-7B-IT（及各自 base 模型 Llama-2-7B、Gemma-7B 用于对照）；派生模型 Llama-2-7B-Chat-Augmented。
   • 基准：HEx-PHI（330 条有害指令、11 类）；Harmful HEx-PHI（330 条指令配越狱 GPT-3.5-Turbo 生成的有害回答）；GCG 加测 AdvBench；解码参数攻击加测 MaliciousInstruct。
   • 攻击实现：GCG 按原论文单模型多行为设置，优化 500 步、50 条行为，重复 10 次取 ASR 最高的 3 次求均值；解码参数攻击枚举 temperature/top-k/top-p 取最有害输出；prefilling 攻击留空 system prompt。
   • 微调攻击：Qi et al. [22] 的三种——Harmful Examples（100 对，25 epoch）、Identity Shifting（扩至 100 条）、Backdoor Poisoning（100+100 对）；良性微调用 Samsum、SQL Create Context、GSM8k（各 3 epoch）。
   • 评审：GPT-4-Turbo 打 1–5 分，5 分比例计为 ASR；默认解码 temperature 0.9、top-p 0.6。
   • 重复：Table 2、Table 3 报告 3 次运行的 mean ± std。

   主结果

   据 Table 2（ASR%，mean ± std，3 次运行）：

   表格较宽，可左右滑动

   模型	Prefill 5 tok	Prefill 40 tok	GCG (HEx-PHI)	GCG (AdvBench)	解码参数 (HEx-PHI)	解码参数 (MaliciousInstruct)
   Initial	42.1 ± 0.9	57.0 ± 0.4	36.5 ± 2.7	65.6 ± 3.1	54.9 ± 0.6	84.3 ± 1.7
   Augmented	2.8 ± 0.4	4.5 ± 0.6	18.4 ± 4.2	19.0 ± 2.9	11.3 ± 0.4	1.0 ± 0

   • 作者称数据增强对三类推理阶段攻击都提升了鲁棒性；Figure 4 显示增强后有害回答靠后 token 的 KL 散度升高。
   • 效用：Augmented 模型 AlpacaEval winrate 49.5%，初始模型 51.8%，作者认为效用基本保持。

   浅层对齐的证据（Section 2）

   • 拒答前缀捷径（Table 1）：Llama-2-7B base 无前缀 Harmfulness Rate 68.6 ± 0.8%，预填 "I apologize, but I cannot" 后降至 2.1 ± 0.2%；Gemma-7B base 从 85.4 ± 0.6% 降至 1.0 ± 0.8%。
   • KL 集中在前缀（Figure 1）：作者称两个模型家族在有害样本上的 per-token KL 散度前几个 token 明显高于后续 token（转换文本无图中数值）。Llama-2-7B-Chat 在 HEx-PHI 上 96.1% 以 "I cannot"/"I apologize" 开头，Gemma-7b-1.1-IT 96.7% 生成 "I am unable"。
   • Prefilling 攻击（Figure 2）：作者称随预填有害 token 增多，对齐模型 ASR 从接近 0 升至 50% 以上。

   约束微调防御（Section 4）

   据 Table 3（ASR%，mean ± std，3 次运行）：

   表格较宽，可左右滑动

   攻击/数据集	指标	Llama Initial	Llama 标准 SFT	Llama Constrained	Gemma 标准 SFT	Gemma Constrained
   Harmful Examples	ASR	1.5 ± 0.2	88.9 ± 1.2	4.6 ± 0.5	81.6 ± 2.9	1.9 ± 0.2
   Identity Shifting	ASR	0 ± 0	79.5 ± 2.3	8.1 ± 0.1	83.6 ± 2.5	9.1 ± 1.7
   Backdoor (w/ trigger)	ASR	1.7 ± 0.1	90.9 ± 1.4	10.9 ± 2.8	82.3 ± 1.1	1.9 ± 0.8
   Samsum	Utility	25.5 ± 0.3	51.7 ± 0.5	50.1 ± 0.2	51.5 ± 0.3	51.9 ± 0.5
   SQL Create Context	Utility	14.9 ± 0.4	99.1 ± 0.2	98.5 ± 0.1	99.2 ± 0.1	98.6 ± 0.3
   GSM8k	Utility	25.5 ± 0.2	41.7 ± 0.4	37.4 ± 0.3	63.3 ± 0.5	63.6 ± 0.4

   • 作者称约束目标在对抗与良性微调下都保持低 ASR，且效用与标准 SFT 相当；Gemma 上 GSM8k 效用甚至不降。
   • 良性微调下标准 SFT 的 ASR 也上升（Samsum 23.4 ± 2.5%），约束 SFT 降至 3.2 ± 0.8%。

   微调动力学分析（Section 2.3.2、附录 B）

   • 有害微调（Figure 3）：Llama-2-7B-Chat 初始 ASR 1.5%，2 步后 22.4%，4 步后 76.4%，6 步后 87.9%；作者称初始 token 的损失、梯度范数和 KL 偏移都最大。
   • 良性微调（Figure 5）：SQL Create Context 与 Samsum 上初始 token 梯度范数同样更大；10 步后 ASR 已分别达 13.6% 和 22.1%（完整微调 600+ 步后为 14.9% 和 25.5%）。作者假设良性微调的安全回退主要来自初始 token 的过大梯度。

   其他消融与分析

   • β_t 消融（Table 4，Llama-2-7B-Chat）：均匀 β=0.1 时 Harmful Examples ASR 86.2%（失效）；均匀 β=2.0 时 ASR 0.5% 但 GSM8k 效用降至 2.1%；偏置配置兼顾两者。
   • Warmup 消融（Table 5）：无 warmup 的约束 SFT 在 Harmful Examples 上 ASR 29.1%，加 10 步 warmup 降至 4.6%；作者称提升主要来自约束目标而非 warmup 本身。
   • 增强模型的微调鲁棒性（Table 6）：Augmented 模型标准 SFT 下 Harmful Examples ASR 55.2%（非增强模型 88.9%），仍可被攻破；与约束目标联用未观察到一致更好的结果。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者承认增强实现非从头对齐、防御或受自适应攻击；实验仅覆盖两个 7B 模型家族。

   作者指出的局限与后续方向

   • 数据增强的实现是在已对齐的 Llama-2-7B-Chat 上继续微调，而非从头做对齐训练，作者称该实现"本质上非最优"（inherently sub-optimal），并计划在能获得相当质量的对齐数据与流程后实现端到端方案（附录 A.3 Limitations）。
   • 作者称所提方法"可能不是完美的防御，可能受到未来某些自适应攻击"，只是提升鲁棒性的初步步骤（Conclusion）。
   • 数据增强与强化学习中探索要求、恢复策略、安全控制理论的联系，作者留作未来工作（Section 3.1 脚注、Related Work、Conclusion）。
   • 作者指出安全"深度"可能是多维的，token 深度之外还包括适配后保持安全性质等维度（Related Work, Other Notions of Safety Depth）。

   实验覆盖范围

   • 被测模型为 Llama-2-7B-Chat 与 Gemma-1.1-7B-IT 两个 7B 模型及其 base 版本；作者称选它们是因为其对齐技术最接近前沿闭源模型（Related Work）。
   • 推理攻击评测覆盖 prefilling、GCG、解码参数三种；微调攻击覆盖 Qi et al. [22] 的三种；良性微调覆盖 Samsum、SQL Create Context、GSM8k。
   • 安全评审统一用 GPT-4-Turbo（1–5 分，5 分计 ASR）；论文未报告评审与人工判断的一致性。
   • 主结果表报告 3 次运行的 mean ± std；GCG 攻击重复 10 次取 ASR 最高的 3 次。
   • 约束微调只在初始 5 个 token 上加强约束（β₁=0.5、β₂₋₅=2、其余 0.1），论文未探索其他深度或连续 β 方案之外的自适应攻击者。

   收起这一问

6. 06总结一下论文的主要内容

   作者称安全对齐的浅层性统一解释了多类越狱与微调攻击，并给出两条初步缓解路径。

   一篇分析加防御的论文：作者提出"浅层安全对齐"概念，认为当前对齐只改变模型最初几个输出 token 的分布，并用它统一解释多类已知脆弱性。

   • 问题：对齐模型易被对抗后缀、prefilling、解码参数采样和少量微调越狱；作者认为共同根源是对齐的 KL 预算集中在前缀 token（Figure 1），拒答前缀本身就是一条捷径——给未对齐 base 模型预填拒答前缀，Harmfulness Rate 可从 68.6% 降至 2.1%（Llama-2-7B，Table 1）。
   • 解释攻击：prefilling 几十个有害 token 即可让对齐模型 ASR 从近 0 升至 50% 以上（Figure 2）；有害微调 6 步就把 ASR 从 1.5% 推到 87.9%，且初始 token 的损失、梯度和分布偏移最大（Figure 3）。
   • 缓解一（数据增强）：用"先有害后拒答"的安全恢复样本继续微调，增强模型在 5-token prefilling 下 ASR 从 42.1% 降至 2.8%，GCG（AdvBench）从 65.6% 降至 19.0%，解码参数攻击（MaliciousInstruct）从 84.3% 降至 1.0%（Table 2）；AlpacaEval winrate 49.5% vs 初始 51.8%。
   • 缓解二（约束微调）：对初始 5 个 token 施加强 KL 约束的微调目标，在 Harmful Examples 攻击下 ASR 从 88.9% 降至 4.6%（Llama-2-7B-Chat，Table 3），良性任务效用与标准 SFT 相当。
   • 作者结论：未来安全对齐应"不止几个 token 深"；作者同时承认方法是初步的，可能被自适应攻击绕过，增强实现也非从头对齐。

   收起这一问

相关论文