通过拒绝特征对抗训练提升 LLM 防护稳健性

如何在可接受的计算开销下，减轻对抗攻击对 LLM 安全拒绝的破坏。

• 场景： 作者称 LLM 已进入高风险应用，但精心构造的输入可绕过安全机制，生成有害、敏感或虚假内容。梯度后缀、另一个 LLM 改写、遗传算法等攻击表面做法不同，防御难有统一抓手。
• 现有不足： 作者称有效对抗训练常要在微调中动态模拟攻击，单次攻击可能需要数千次模型评估，开销使对抗训练难以成为通用工具。作者同时把越狱机制不透明列为设计防御的困难。
• 核心观察： 作者称多种攻击共享同一机制：消融残差流中的拒绝特征（refusal feature），使有害请求的表示更像无害请求。作者进一步称，拒绝特征消融（RFA）近似抵消模型安全性的最坏扰动。
• 本文做法： 作者提出 Refusal Feature Adversarial Training（ReFAT）：安全微调时用 RFA 模拟输入级攻击，让模型在缺少这一恶意方向时仍拒绝有害指令，并尽量保持问答等通用能力。
• 威胁模型：
  • 目标： 攻击使模型对有害请求给出遵从式回答；防御要降低攻击成功率，并尽量少损通用能力。
  • 知识： 论文按方法分别写明，没有统一假设。GCG 为 white-box 后缀攻击；PAIR 为 black-box，由攻击者 LLM 迭代改写。AutoDAN 写为遗传算法；HumanJailbreaks 为野外人工模板。RFA 直接改残差流激活。
  • 能力： 攻击者可改用户侧输入；在 RFA 评测中，还可沿拒绝方向改中间表示。论文未把二者写成同一个攻击者。
  • 受害系统： 指令微调的解码器 LLM。实验为三个开源指令模型。成功与否由模型输出的有害性分类器判定。

对抗攻击

• GCG（Zou et al., 2023b）： 用贪心坐标梯度搜索触发不安全回答的后缀。作者称其对抗样本可从较小开源模型迁移到更大的专有模型。
• PAIR 与 AutoDAN： Chao et al. (2023) 的 PAIR 让攻击者 LLM 反复查询目标并改写越狱提示。Liu et al. (2023) 的 AutoDAN 用分层遗传算法生成高困惑度假狱。引言还提到 Shin et al. (2020) 的自动提示搜索，以及 Yu et al. (2023)、Andriushchenko et al. (2024)。
• 人工模板与连续激活攻击： 相关工作列举手工提示工程（Shen et al., 2023; Anil et al., 2024 等），以及在激活上做连续对抗、破坏对齐或触发遗忘的工作（Zou et al., 2023a; 2024; Schwinn et al., 2023; Arditi et al., 2024）。

防御与对抗训练

• 提示与自省： 修改系统提示以提醒有害请求（Xie et al., 2023; Zheng et al., 2024），或让模型自省做对齐检查（Cao et al., 2023）。作者称结果有时会过度谨慎，拒绝正常指令。
• 对抗训练： 一类在输入 token 嵌入上加连续扰动（Zhu et al., 2019; Jiang et al., 2020; Xhonneux et al., 2024），一类扰动残差流以增大不良回答的似然（Casper et al., 2024; Sheshadri et al., 2024）。Mazeika et al. (2024) 的 R2D2 在动态 GCG 对抗池上微调。
• 表示工程： Zou et al. (2024) 试图短路模型汇集不安全请求相关信息的内部过程。另一路微调模型，以便评测时向残差流加入 steering vector 来控制安全性（Stickland et al., 2024; Cao et al., 2024）。

激活空间中的线性特征

• 线性表示： 作者引 Mikolov et al. (2013)、Elhage et al. (2022)、Park et al. (2023)，称特征常是激活空间中的线性方向。
• 对比特征： 无害性、真实性、情感和拒绝（Arditi et al., 2024）等常由对比输入对估计，并被用于推理时控制行为，或从参数中移除特定知识（Rimsky et al., 2023; Burns et al., 2023; Ravfogel et al., 2020 等）。论文此处是综述这些用法，没有逐篇批评。

基线与基准

• 基线方法： 拒绝训练 RT（与 ReFAT 相同拒绝数据，但 pRFA=0）、R2D2、连续对抗训练 CAT、潜在对抗训练 LAT。
• 基准/数据集： 鲁棒性用 HarmBench 与 AdvBench；通用能力用 MMLU、MT-Bench，以及 XSTest 上的遵从率。分析用的拒绝特征另取样自 AdvBench 与 Alpaca。

作者把本文放在对抗训练与表示工程的连接处：拒绝特征消融被当作一种表示修改，用来近似对抗训练里的对抗扰动，从而不必在微调中搜索离散攻击。

整体做法是先把越狱写成残差流上对拒绝特征的消融，再在监督微调里用同一种消融当对抗扰动，即 ReFAT。评测时不再消融。

拒绝特征与消融

• 表示位置： 解码器 Transformer 的第 l 层残差流为上一层隐藏状态加上注意力与 MLP 更新。作者关注用户轮次最后一个 token 的各层残差，记为模型决定拒绝或遵从的位置。
• 定义： 沿用 Arditi et al. (2024) 的均值差。有害集与无害集各 500 条，分别来自 AdvBench 与 Alpaca。第 l 层拒绝特征是两组最后 token 残差均值之差：r^(l)_HH=1/(|D_harmful|)∑_{x∈ Dharmful}h^(l)(x)−1/(|D_harmless|)∑_{x∈ Dharmless}h^(l)(x)。作者把它当作输入有害性的一维线性方向。
• 推理时消融： 与 Arditi 等不同，作者在投影掉拒绝方向后，再补上无害提示在该方向的平均激活：h^′(l)(x)← h^(l)(x)−r̂r̂^⊤h^(l)(x)+r̄^(l)_Dharmless。理由是早期小规模实验里，直接把该方向置零会损害表现，作者认为可能是分布外；附录 D 称 Llama-3-8B-Instruct 上无害样本的拒绝特征并不集中在零附近。

攻击如何被写成同一种操作

• 离散攻击： 在 HarmBench 的 400 条恶意请求上，对三个 LLM 运行 GCG、PAIR、AutoDAN 和 HumanJailbreaks。只保留官方 HarmBench 分类器判为越狱成功的样本，再算各层上「对抗提示均值减原提示均值」的偏移。
• 对照： 该偏移与拒绝特征反方向的余弦相似度，对照是把有害集与无害集随机二分后的均值差方向。另把对比集和原提示/对抗提示对投影到有害–无害表示的前两个主成分。
• 因果干预： 对已经成功的对抗提示，把拒绝方向重置为未攻击有害提示在该方向上的均值，使攻击不能改动这一方向，再测攻击成功率。这是分析用干预，不是训练算法。

把 RFA 当作最坏扰动

• 安全分数： 对（有害指令，拒绝回答，遵从回答），作者用拒绝回答与遵从回答的对数似然之比 z 衡量安全性。对抗者向残差流加扰动 δ，使模型更偏好遵从；对抗训练则在允许的扰动集合里最小化 z 之后，再对参数最大化该 z。
• 近似检验： 取模型在直接请求下会拒绝的 HarmBench 指令。每条提示做 100 次扰动推理：99 个随机单位范数噪声，加上该层归一化拒绝特征。最优性定义为按 z 排序后，拒绝特征的平均名次。作者据此把 RFA 当作对抗训练里的攻击模拟，而不再做梯度搜索。

ReFAT 的训练

• 损失： 数据分为有害请求–拒绝回答，以及无害请求–有帮助回答。总损失是二者之和。有害样本以概率 pRFA 在前向中去掉各层拒绝方向后再拟合拒绝回答，以概率 1-pRFA 不做消融；无害样本始终不做消融。训练时的消融不含式 3 的无害均值补丁。作者称多这一项会多一次计算，初步实验里训练更慢且性能提升很小；论文未报告差值。
• 动态特征： 参数和激活在微调中变化，故每 k=4 步从拒绝集和效用集各抽 n=32 条，用式 2 重算各层拒绝特征。作者称这样只需少量额外前向，不需要额外反向传播来搜索扰动。
• 评测时： 不做拒绝特征消融。作者明确这与在评测时加 steering vector 的工作不同。
• 实现选择： 三个指令模型都在全部线性子层上用 LoRA。附录 A 的 Table 4：学习率 2e-5，1 个 epoch，AdamW，最大长度 512，梯度裁剪 1.0；Llama 与 Mistral 的 batch size 32、LoRA rank 128，Gemma 为 8 与 64；LoRA alpha 均为 32。拒绝特征消融层为 Llama/Mistral 的 [8,32]、Gemma 的 [7,28]。作者称消融后 75% 或后 50% 层往往更稳，超过 1 epoch 容易过拟合且平均 ASR 更高。pRFA 取 0.5，作者称这在有攻击与无攻击的安全性之间最均衡；搜索过 0.25、0.5、0.75、1.0，论文未报告各值分数。

实验设置

• 被测模型： Meta-Llama-3-8B-Instruct、Mistral-7B-Instruct-v0.2、gemma-7b-it（Table 1 写作 Llama3-8B、Mistral-7B、Gemma-7B）。LAT 只用 Sheshadri et al. (2024) 已发布的 Llama-3-8B 检查点，作者称因资源限制未自行训练。Gemma 的 R2D2 因内存与不稳定未完成。
• 数据： 训练取 Zou et al. (2024) 的对抗训练数据：5000 条有害请求、5000 条 UltraChat 无害对话，再加 150 条 XSTest 中看似危险但不应拒绝的请求；这些样本的参考回答由 Llama-3-8B-Instruct 生成。鲁棒性评测为 HarmBench 中 200 条较短上下文的标准行为，加与 HarmBench 不重叠的 AdvBench 200 条，共 400 条。效用为 MMLU、MT-Bench，以及 XSTest 100 条留出测试的遵从率。
• 基线： RT、R2D2、CAT、LAT。R2D2 与 CAT 用与 ReFAT 相同的拒绝加效用数据；「远离损失」使用 Zou et al. (2024) 提供的、由未审查 LLM 生成的完成，作者未另行运行该模型。
• 攻击与指标： GCG、PAIR、AutoDAN、HumanJailbreaks，以及式 3 的 RFA。实现为 HarmBench 版本及默认超参，仅把 PAIR 的攻击模型从 GPT-4 换成 Mixtral-8x7B-v0.1。ASR 越低越好。Table 1 的 ASR 与 XSTest 遵从率是三个评审的平均：HarmBench 官方分类器（由 Llama-2-13B 微调）、Llama-Guard-2（由 Llama-3-8B 微调）、StrongReject 的 Gemma-2B 版。论文未说明分类阈值，也未报告重复次数。
• 效用评审： MMLU 为标准分数。MT-Bench 用 Prometheus 代替 GPT-4；作者称其分数与 GPT-4 评分细则相关。超参先在 AdvBench 的 40 条小集上比较，再做全量评测。
• 开销列： Table 1 的 Forward/Backward 是相对普通微调的额外前向与反向次数。

主结果

据 Table 1。无攻击列是 HarmBench 请求、不施加攻击时的有害回答比例；GCG、PAIR、RFA 为攻击成功率。模型名沿用 Table 1。

表格较宽，可左右滑动

模型与防御	无攻击	GCG	PAIR	RFA
Llama3-8B 未防御	10.4	27.1	29.9	53.3
Llama3-8B+ReFAT	7.60	13.3	11.5	10.4
Mistral-7B 未防御	41.1	63.5	69.7	85.6
Mistral-7B+ReFAT	5.79	16.6	21.8	21.1
Gemma-7B 未防御	28.7	61.4	38.4	92.8
Gemma-7B+ReFAT	5.17	11.6	8.75	18.8

• 作者的总括： 作者称 ReFAT 对所有攻击、每个模型都降低了平均 ASR，并称它是唯一对 RFA 攻击有效的防御。同表 RFA 列中，其余防御的最低值为 Llama+CAT 36.5、Mistral+R2D2 44.6、Gemma+RT 44.2，均高于对应的 ReFAT。
• 并非每格最低： Llama 的 GCG 上 LAT 为 9.06、CAT 为 11.8，低于 ReFAT 的 13.3；Mistral 的 AutoDAN 上 R2D2 为 27.4，低于 ReFAT 的 28.5；Gemma 的 HumanJailbreaks 上 CAT 为 9.35，低于 ReFAT 的 9.90。作者称 RT 常常不能提高、有时还会伤害鲁棒性：Llama+RT 的 GCG 为 28.3、HumanJailbreaks 为 7.22，高于未防御的 27.1 与 7.13。Llama+CAT 的 HumanJailbreaks 为 7.98，也高于 7.13。
• 效用与开销： 作者称效用数据使通用能力的影响总体可忽略。ReFAT 的 MT-Bench/MMLU/XSTest 为 Llama 6.98/65.2/97.6（未防御 7.24/65.9/97.2）、Mistral 6.94/58.2/88.4（7.02/58.9/92.4）、Gemma 6.53/52.4/88.7（6.60/52.0/89.2）。forward/backward 为 1.5/1，R2D2 为 2566/6，CAT 与 LAT 为 11/11。作者称按前向加反向总次数，ReFAT 平均比 R2D2 便宜 1,700 倍、比 CAT/LAT 便宜 10 倍。

表外、仍属 Table 1 的 AutoDAN：Llama 未防御 2.07、ReFAT 0.85；Mistral 77.4、28.5；Gemma 13.0、6.54。HumanJailbreaks：Llama 7.13、5.54；Mistral 72.9、6.5；Gemma 26.2、9.90。

攻击与拒绝特征是否同向

• 测了什么： 三个模型、四种离散攻击；只在官方分类器判为成功的子集上，计算各层表示偏移与负拒绝特征的余弦相似度（Figure 2），以及 Llama-3-8B-Instruct 第 16 层的二维 PCA（Figure 3）。
• 结果： 作者称四种攻击的偏移都与拒绝特征反方向对齐，平均余弦相似度高于随机方向，且这一差异在高维空间中高于随机；Figure 2 阴影为 99% 置信区间。正文未给出各层余弦数值。Figure 3 的图注写明两类箭头的位置和长度做过调整以便阅读；作者称二者方向相近，且这种对齐在中间层已经出现。脚注称除最早几层外各层都有对齐；附录 C 称原始提示与对抗提示从较早层开始分开，上层对抗表示更靠近 Alpaca 安全指令簇。所附文本没有各簇坐标。
• 恢复实验： 按式 5 把成功对抗提示的拒绝特征恢复到原有害提示均值后，作者称四种攻击的 ASR 大幅下降、攻击基本失效（Figure 4）。正文未给出各柱读数。此处评审是 HarmBench 官方分类器，不是 Table 1 的三评审平均。

恢复拒绝特征后的生成分数

• 测了什么： 三个 LLM 按式 5 做拒绝特征钳制后，再测 MMLU 与 MT-Bench（Table 5），用来检查第 3.3 节 ASR 下降是否来自生成变差。
• 结果： Llama 由 65.9/7.24 到 65.5/7.07，Mistral 由 58.9/7.02 到 58.1/6.97，Gemma 由 52.0/6.60 到 51.8/6.74。作者称两个基准上都未看到显著变化，并称钳制不破坏生成连贯性，只是把对输入安全的谨慎程度固定在较高水平。论文未报告该比较的检验统计量。

训练后的回答形态与仍能越狱的样本

• 测了什么： 对 AdvBench 指令施加作者称为最强的 RFA，比较原 Llama-3-8B-Instruct 与 ReFAT 版本（Table 2）；再看 GCG 仍能越狱 ReFAT 模型的样本（Table 3）。
• 结果： 作者称 RFA 常让原模型以遵从或友好的开头进入有帮助模式，并继续有害内容。ReFAT 模型也可能被导向口头上遵从的开头，但会拒绝请求或解释输入为何有害。Table 2 写明两条模型在无攻击时都用标准拒绝回复这三条指令。
• 作者的解读： Table 3 的失败样本把模型带入与计算拒绝特征所用 Alpaca 无害指令很不同的语言语境。作者称模型在被要求用英语以外的语言回答，或用代表性不足的英语口语变体说话时，对恶意内容仍不够警惕。

其他消融与分析

• pRFA： 附录 A 在 0.25、0.5、0.75、1.0 中取 0.5；未报告各值 ASR。
• 消融层： 比较全部层、后 75%、后 50%、后 25%；选定范围见 Table 4，未报告各组分数。
• epoch： 作者称超过 1 epoch 易过拟合且平均 ASR 更高；未给 ASR。
• 式 3 第三项： 作者称训练时加入无害均值补丁更慢且提升很小；无差值。
• 超参搜索范围： CAT 与 R2D2 沿用官方默认超参；作者称改效用损失相对权重常导致性能变差，未给具体分数。
• Figure 5： 作者称最后几层的拒绝特征注入接近最坏扰动；正文无逐层 opt 读数。

作者指出的局限与后续方向

• 语言与语义覆盖（第 7 节）： 作者把当前 ReFAT 的局限写为：计算拒绝特征所用的无害指令不够多样。后续应使用语义和语言都更多样的指令来计算拒绝特征，以处理非英语和口语化语境下仍能越狱的情况。
• 对安全性的信心（第 9 节伦理声明）： 作者称鲁棒性提高可能导致对 LLM 安全性过度自信，因此需要持续红队。
• 滥用（第 9 节）： 作者称对抗训练可能被用来压制模型运营者认为不受欢迎的内容，而不论该内容是否有害。
• 评测协议（第 9 节）： 作者称失败模式显示 LLM 仍可能受到某些攻击（例如多语言攻击），因此需要更严格、更可靠的评测协议。
• 超参（附录 A）： 作者承认，在受限计算预算内已尽量调节各防御，但更仔细的超参搜索仍可能带来更好的效用–鲁棒权衡。

实验覆盖范围

• 模型与防御： 鲁棒性与效用表覆盖 Llama-3-8B、Mistral-7B、Gemma-7B 三个指令模型。LAT 只评测已发布的 Llama-3-8B 检查点。论文写明 Gemma-7B 的 R2D2 因内存与不稳定未完成，并称留待后续。
• 攻击与数据： 攻击为 GCG、PAIR、AutoDAN、HumanJailbreaks 和 RFA。鲁棒性评测集为 HarmBench 200 条较短标准行为，加不重叠的 AdvBench 200 条。无攻击列论文写明针对 HarmBench 请求。
• 判定： Table 1 的 ASR 与 XSTest 遵从率是三个安全分类器的平均。机制分析里的 Figure 4 只用 HarmBench 官方分类器。论文未报告评审与人工的一致性，也未报告分类阈值。
• 攻击配置： 四种离散攻击用 HarmBench 实现和默认超参；PAIR 的攻击模型换为 Mixtral-8x7B-v0.1。论文未报告各攻击的查询次数或重复次数。
• 训练与效用： 微调为 1 epoch、LoRA，拒绝特征每 4 步用 32/32 条重算，pRFA=0.5。效用指标为 MMLU、MT-Bench（Prometheus）和 XSTest 100 条留出样本的遵从率。

ReFAT 用残差流上的拒绝特征消融代替攻击搜索，对指令微调 LLM 做对抗训练。

• 问题： 多种对抗攻击能让模型不再拒绝有害请求，而在微调中动态跑攻击的模型评估次数很高。作者要找一种计算上更省、又能对着同一机制做训练的防御。
• 机制： 拒绝特征是有害与无害提示在最后 token 残差上的均值差。作者称 GCG、PAIR、AutoDAN 和人工模板都会把有害请求沿该方向的反方向推移；把这一方向恢复到未攻击时的均值后，这些攻击基本失效。作者还称，把后几层的拒绝特征注入残差流，接近使安全分数下降的最坏扰动。
• 训练： 每 4 步用 32 对有害/无害请求重算拒绝特征，以概率 0.5 在有害样本的前向中去掉该方向，监督模型仍输出拒绝；无害对话用于保持效用。评测时不再消融，也不做额外反向搜索。三个模型都用 LoRA、1 个 epoch。
• 主结果： 据 Table 1，ReFAT 后 Llama3-8B、Mistral-7B、Gemma-7B 的 RFA 攻击 ASR 为 10.4%、21.1%、18.8%，未防御为 53.3%、85.6%、92.8%。forward/backward 为 1.5/1，R2D2 为 2566/6，CAT/LAT 为 11/11。作者称离散攻击的 ASR 也低于未防御模型；Llama 的 GCG 等格子上 LAT 或 CAT 更低，Mistral 的 AutoDAN 上 R2D2 略低。MT-Bench 从 7.24、7.02、6.60 变为 6.98、6.94、6.53。
• 作者的结论： 作者称经过这种训练后，只消融一个拒绝特征更不容易破坏防护，机制分析可以用于安全微调。第 7 节同时写明，非英语和口语化语境下 GCG 仍能越狱 ReFAT 后的 Llama。