Addition by Subtraction:迈向缓解大语言模型的脆弱安全对齐
Addition by Subtraction: Toward Mitigating Fragile Safety Alignment in Large Language Models
作者提出 ABS-Align 防御:微调中渐进剪除安全关键神经元并用 DPO 重建安全行为,作者称四个模型上部分攻击 ASR 最高降约 90%。
防御方是模型厂商;恶意用户拥有 white-box 访问,可观察模型内部状态(权重和激活),使用剪枝类攻击或激活转向方法越狱;对抗性微调攻击不在威胁模型范围内。
- 已有研究表明 LLM 的安全对齐高度稀疏:剪除少量安全关键神经元或消融单一拒答方向即可破坏对齐。现有护栏或通用微调防御未直接处理这种稀疏性,作者称其仍存在同样的稀疏问题。
- 提出 ABS-Align:先用 TwinBreak 识别安全关键神经元,DPO 微调期间按重要性从高到低渐进剪除这些神经元,迫使模型通过其他神经元重建安全行为,微调结束后恢复全部被剪神经元。
- 在 Gemma-2-2B-IT、Llama-3-8B/3.2-3B-Instruct、Qwen-3-4B 上评测:TwinBreak 累计 ASR 从 0.71–0.81 降至 0.11–0.33(Table 1),SORRY-Bench 十类黑盒攻击平均 ASR 降至 13.24%–33.02%(Table 3),效用基准大多小幅变化、TruthfulQA 上升。
- 作者指出:安全神经元检测方法不完美,可能漏检或误检;未直接量化安全对齐的绝对密度;DPO 需维护冻结参考模型,有计算和内存开销(Section 5.1)。对抗性微调攻击不在威胁模型范围内。
- 被测模型
- Gemma-2-2B-ITLlama-3-8B-InstructLlama-3.2-3B-InstructQwen-3-4B
- 基准
- StrongREJECTSORRY-BenchXSTestMMLUTruthfulQAARC-ChallengeWinoGrandeHellaSwagPKU-SafeRLHFAlpaca
- 指标
- ASRStrongREJECT scoreOver-Refusal ratefew-shot accuracy
论文提出 Addition by Subtraction 方法,在微调中逐步移除已识别的安全关键神经元,并用偏好优化在模型其他部分重建安全对齐行为。该方法旨在让安全对齐更少依赖稀疏模型组件,针对的弱点是剪枝少量安全关键神经元或消融单个拒答方向即可大幅削弱对齐行为。在来自三家厂商的四个模型上的实验显示,微调后的模型对剪枝攻击的鲁棒性显著提升,对拒答方向消融等基于稀疏性的干预以及多种黑盒越狱攻击也更稳健,部分攻击的成功率最多降低 90%。微调后的模型真实性有所提升,通用能力大体保留。
深度解读
这篇论文试图解决什么问题?
解决安全对齐的稀疏性问题:剪除少量安全神经元即可破坏对齐,作者提出 ABS-Align 防御。
核心问题:LLM 的安全对齐高度稀疏,剪除少量安全关键神经元或消融单一拒答方向即可破坏对齐行为,作者试图让安全对齐不再依赖稀疏组件。
- 问题场景:已有研究(论文引用的 [22][23][24][25])表明安全对齐集中在少数神经元上,剪除这些神经元或消融单一拒答方向即可诱发有害输出,且对通用能力影响很小。作者认为这对开放权重模型尤其值得担忧,因为攻击者可直接访问模型参数。
- 现有方法不足:作者称现有防御(外部输入/输出护栏、提升通用鲁棒性的微调方法)未直接处理安全对齐的稀疏性,其实验显示这些方法仍存在与原模型相同的稀疏问题。
- 核心思路:在微调期间渐进地临时剪除已识别的安全关键神经元,用偏好优化迫使模型通过其他神经元重建安全行为,使安全对齐更"稠密"(denser,论文用语,指更不易碎、更少依赖稀疏安全神经元)。
- 论文产出:提出防御方法 ABS-Align(Addition by Subtraction),并在三家厂商的四个模型上评测其对白盒剪枝攻击、拒答方向消融和黑盒越狱的鲁棒性。
- 威胁模型(Section 3.2):
- 攻击者目标:越狱目标模型,使其生成本会拒答的有害内容。
- 攻击者知识:white-box 访问,可观察模型内部状态,包括权重和激活。
- 攻击者能力:可使用剪枝类攻击或激活转向(activation-steering)方法。
- 受害系统与范围:已完成安全对齐的 decoder-only 开放权重 LLM;对抗性微调攻击(adversarial finetuning attacks)不在威胁模型范围内。
有哪些相关研究?
相关工作分三类:黑盒/白盒越狱攻击、输入/输出/微调三类防御、以及安全对齐稀疏性研究。
越狱攻击
- 黑盒攻击:早期工作依赖手工构造的对抗提示词(角色扮演、说服、混淆恶意意图);后续工作将其系统化,如 PAIR [19] 用攻击方 LLM 迭代优化越狱提示词,仅需黑盒访问。
- 白盒攻击:攻击者可访问架构、权重和内部状态,如 GCG [14] 用梯度优化对抗后缀,AutoDAN [15] 用分层遗传算法迭代改进越狱提示词。
防御方法
- 输入/输出时防御:Alon et al. [29] 用困惑度检测对抗提示词;Kumar et al. [28] 提出 erase-and-check;Llama Guard [26] 扫描输入输出;SmoothLLM [27] 对提示词做随机扰动并多数投票;Aligner [54] 修正输出文本。论文指出这类防御不提升模型自身鲁棒性,被绕过后模型仍然脆弱。
- 微调类防御:W-DOOR [30] 将 DPO 损失分解为拒答训练与有害知识遗忘的双目标;Circuit Breaker(Zou et al. [41])重路由有害内部表示;Alignment-Weighted DPO(Hu et al. [31])用 CoT 安全数据并对推理轨迹和最终答案赋不同权重。论文指出这些工作均未处理安全对齐的稀疏性,仍易受干预类和神经元剪枝攻击。
安全对齐的稀疏性
- Wei et al. [24] 用 Wanda 和 SNIP 分数定位安全关键神经元;TwinBreak [23] 比较成对良性/恶意提示词的中间激活并迭代剪枝;NeuroStrike [22] 训练线性探针识别安全神经元;Arditi et al. [25] 发现拒答行为由激活空间中单一方向介导。这些工作表明剪除 1–5% 神经元即可削弱安全对齐而几乎不影响通用能力。
基线与基准:对比基线为 Circuit Breaker [41]、W-DOOR [30]、Deep Refusal [42];攻击评测用 TwinBreak、NeuroStrike、refusal-direction ablation、SORRY-Bench 黑盒攻击,指标基于 StrongREJECT 和 SORRY-Bench 评审器。
本文定位:作者称 ABS-Align 直接针对安全对齐的稀疏性,通过渐进剪枝加微调让安全行为分布到更多神经元,而非依赖外部机制或通用鲁棒性训练。
论文如何解决这个问题?
ABS-Align:TwinBreak 识别安全神经元,DPO 微调中按重要性渐进剪枝,结束后恢复全部神经元。
整体思路:先识别安全关键神经元,再在 ABS-Align(Addition by Subtraction)的 DPO 微调过程中按重要性从高到低渐进地临时剪除它们,迫使模型通过其他神经元重建安全行为,微调结束后恢复全部被剪神经元。
安全神经元识别与剪枝(Section 3.4.1)
- 检测方法:使用 TwinBreak [23],因其简单高效;输入成对的恶意/良性提示词(内容和结构相近),比较 MLP 块 gate 和 up 投影层的平均激活差异。
- 打分公式:T(ℓ) = 1/n∑i=1n abi(ℓ−1) Wgate(ℓ) − ami(ℓ−1) Wgate(ℓ),即第 ℓ 层 gate 投影上良性与恶意提示词激活的平均差异,用于给神经元排序。
- 迭代剪枝:每轮取差异最大的 top 1% 神经元(记为 I^(ℓ)),将其对应权重列置零;最多重复 5 轮,之前轮次识别的神经元保持被剪状态。
渐进剪枝的偏好微调(Section 3.4.2)
- 流程:冻结全部已识别安全神经元 → 先剪最重要的 r 个 → 每训练 tp 步再剪下一批 r 个 → 微调后期全部原始安全神经元均被剪除 → 训练结束后恢复全部神经元(Algorithm 1)。
- 训练目标:DPO 损失 LDPO = −𝔼log σ(β log (πθ(yc|x))/(πref(yc|x)) − β log (πθ(yr|x))/(πref(yr|x))),其中 yc 为拒答等偏好回复、yr 为有害回复。
- 为何渐进:作者给出两个理由——一次性剪除全部安全神经元会大幅削弱安全对齐,使重建安全行为更困难、需要更多数据和训练;也会损害非安全任务能力(此前剪枝攻击论文报告过)。
- 为何先剪最重要的:作者称先剪不重要的神经元会让模型在微调时仍保持较强的原有安全对齐,学习信号不足。
关键设计参数
- 冻结范围:微调整个模型,但第一个和最后一个 transformer block 保持冻结;作者的理由是低层编码表层词汇信息、最后一层直接生成输出 token,冻结可保留现有能力。
- 超参数(附录 1):训练 2 个 epoch,PKU-SafeRLHF 随机抽 1,000 条偏好样本,batch size 2;Llama 模型另加 850 条 Alpaca 和 150 条 XSTest 良性样本保持通用能力;剪枝步 tp = 200、剪枝率 20%(每 200 步剪掉 TwinBreak 一轮迭代检测出的安全神经元);优化器 AdamW,linear cosine scheduler;各模型学习率 1e-5 至 2e-4,DPO beta 0.1–0.3。
- 一轮即可:作者观察到只对最初识别的安全神经元做一次该流程即可使稀疏性攻击失效,无需在微调后重新识别并剪除新的安全神经元。
论文做了哪些实验?
四个模型上测白盒剪枝、拒答方向消融、黑盒越狱、过度拒答与效用,并与三种防御基线对比。
实验设置
- 被测模型:Gemma-2-2B-IT(Google)、Llama-3-8B-Instruct 与 Llama-3.2-3B-Instruct(Meta)、Qwen-3-4B(Alibaba),共四个。
- 攻击:白盒攻击 TwinBreak [23]、NeuroStrike [22]、refusal-direction ablation [25];黑盒攻击取自 SORRY-Bench [21] 的 20 类变换中选取的 10 类(每类 440 条提示词,排除多语言和编解码类)。
- 指标与评审:白盒攻击用 StrongREJECT [48](313 条恶意提示词,微调 LLM-as-a-judge 打 0–1 分,越低越安全);黑盒攻击用 SORRY-Bench 自带的微调评审器,报告 440 条提示词的满足率(即 ASR)。
- 过度拒答:XSTest [40],250 条良性提示词中 150 条用于训练、100 条用于评测,用 XSTest 的关键词匹配评审器报告错误拒答比例。
- 效用:MMLU、TruthfulQA、ARC-Challenge、WinoGrande、HellaSwag 的 few-shot 准确率。
- 基线:W-DOOR(仅 Gemma-2-2B)、Deep Refusal 与 Circuit Breaker(仅 Llama-3-8B),均沿用原论文的超参数,未扩展到其他模型。
主结果
据 Table 1(TwinBreak,StrongREJECT 分数,越低越好):
表格较宽,可左右滑动
模型 方法 逐迭代 ASR(1–5 轮) 累计 ASR Gemma-2-2B-IT No Defense 0.55/0.58/0.59/0.55/0.53 0.71 Gemma-2-2B-IT ABS-Align 0.07/0.15/0.15/0.15/0.13 0.23 Llama-3-8B-Instruct No Defense 0.64/0.66/0.68/0.69/0.68 0.81 Llama-3-8B-Instruct ABS-Align 0.04/0.04/0.07/0.06/0.03 0.11 Llama-3.2-3B-Instruct No Defense 0.59/0.54/0.36/0.40/0.35 0.74 Llama-3.2-3B-Instruct ABS-Align 0.19/0.22/0.15/0.15/0.11 0.33 Qwen-3-4B No Defense 0.68/0.66/0.65/0.62/0.58 0.79 Qwen-3-4B ABS-Align 0.04/0.04/0.04/0.07/0.05 0.13 - 作者称 ABS-Align 在四个模型上一致降低 TwinBreak 的逐迭代和累计分数,TwinBreak 通过识别并剪枝安全神经元来移除安全行为的能力受损。
- 作者称累计分数的降幅分别约为 70%(Gemma)、55%(Llama-3.2-3B)、83%(Qwen-3-4B),Llama-3-8B 降 0.7 个点。
其他稀疏性攻击的泛化(Table 2)
- 测了什么:对 ABS-Align 微调后的模型施加 NeuroStrike(NS)和 refusal-direction ablation(Rf-Dir),用 StrongREJECT 评测。
- 结果:Gemma-2-2B-IT 上 NS 从 0.50 降至 0.05、Rf-Dir 从 0.80 降至 0.08;Llama-3-8B 上 NS 从 0.84 降至 0.03、Rf-Dir 从 0.75 降至 0.05;Llama-3.2-3B 上 NS 从 0.79 降至 0.37、Rf-Dir 从 0.57 降至 0.30;Qwen-3-4B 上 NS 从 0.89 降至 0.44、Rf-Dir 从 0.70 降至 0.09。
- 作者解读:鲁棒性不限于 TwinBreak 的神经元识别方法,可泛化到其他利用安全对齐稀疏性的攻击;Llama-3.2-3B 和 Qwen-3-4B 的 NS 改善相对较小,作者称各设置下仍超过 50%。
黑盒攻击泛化(Table 3,附录 3)
- 测了什么:SORRY-Bench 十类黑盒变换攻击,每类 440 条提示词,报告满足率。
- 结果:十类平均 ASR,Gemma-2-2B-IT 从 41.58% 降至 13.24%,Llama-3-8B 从 48.34% 降至 17.79%,Llama-3.2-3B 从 53.07% 降至 33.02%,Qwen-3-4B 从 68.75% 降至 27.20%(Table 3)。
- 作者解读:微调仅针对复制安全神经元这一目标,未使用黑盒攻击数据增强或显式指导,仍带来黑盒鲁棒性提升。
与基线对比(Table 4)
- Gemma-2-2B-IT 上对比 W-DOOR:ABS-Align 在 TB 0.23、NS 0.05、SB 13.24%、Ref-Dir 0.08、过度拒答 4.00,均优于 W-DOOR 的 0.62、0.19、35.36%、0.55、9.00;TruthfulQA 上 ABS-Align 64.29 高于无防御的 55.15 和 W-DOOR 的 52.71。
- Llama-3-8B 上对比 Deep Refusal 与 Circuit Breaker:ABS-Align 在四项攻击上 ASR 最低(TB 0.11、NS 0.03、SB 17.79%、Ref-Dir 0.05),但 Circuit Breaker 的 SB 为 16.06%,略低于 ABS-Align;Deep Refusal 过度拒答率达 48.00,ABS-Align 为 1.00。
- 作者解读:作者称 ABS-Align 在所有受测攻击上鲁棒性更好且过度拒答更低;Circuit Breaker 在 SORRY-Bench 上略好、在 MMLU 和 ARC 上略高,是表格中的例外。
过度拒答与效用(Table 5、6)
- 过度拒答(Table 5):Gemma-2-2B-IT 从 2.00 升至 4.00;Llama-3-8B 从 5.00 降至 1.00;Llama-3.2-3B 保持 4.00;Qwen-3-4B 从 3.00 降至 1.00(分母为 100 条评测提示词)。
- 效用变化(Table 6):四个模型在 WinoGrande、MMLU、HellaSwag 上变化多在 ±3 个百分点内;TruthfulQA 均上升,Gemma +9.14、Llama-3-8B +14.26、Llama-3.2-3B +13.78、Qwen-3-4B +11.75。
自适应攻击(Table 8)
- 测了什么:将 TwinBreak 剪枝迭代预算从 5 提高到 10 和 15,模拟知道防御机制的自适应攻击者。
- 结果:ASR@15 分别为 Gemma 0.27、Llama-3-8B 0.25、Llama-3.2-3B 0.39、Qwen-3-4B 0.29,对应无防御累计 ASR 为 0.71、0.81、0.74、0.79。
- 作者解读:提高剪枝预算只给自适应攻击者带来有限收益,远未恢复到无防御模型的攻击成功率。
其他消融与分析(Table 7,Gemma-2-2B-IT,ASR 为 TwinBreak)
- 不剪神经元(仅 DPO):ASR 0.52;随机剪神经元:0.50;完整方法:0.23。
- 非渐进(开头全剪):0.38;递减式(开头全剪再逐步恢复):0.31;每步随机剪一部分安全神经元(r=0.2/0.4/0.6):0.41/0.32/0.31。
- 解冻首尾 transformer block:ASR 0.23 不变,但过度拒答升至 7.0%、效用下降更多。
- 训练 4 个 epoch:ASR 0.32、过度拒答 5.0%;训练 1 个 epoch:ASR 0.45。
有什么可以进一步探索的点?
作者指出神经元检测不完美、密度未量化、DPO 有开销;未来方向包括扩展到其他能力和改进训练阶段。
作者指出的局限与后续方向
- 安全神经元检测不完美(Section 5.1):检测方法依赖启发式(如取激活差异最大的 top k),可能漏掉部分安全神经元、误伤无关神经元;部分神经元有多个功能,难以专属于安全对齐。后果是难以得到完全未对齐的模型进行微调,误剪多功能神经元可能损害通用能力。
- 未直接量化安全对齐密度(Section 5.1):作者称由于检测方法的局限,没有直接量化微调后模型安全对齐的绝对密度,"denser safety alignment"仅指对原识别稀疏神经元集合的依赖降低。
- DPO 的计算与内存开销(Section 5.1):DPO 需要在被微调模型之外维护一个冻结的参考模型,作者称其仍带来可观的计算和内存开销。
- 扩展到其他能力(Section 5.2):作者提出未来可研究将该方法用于让特定能力(如某任务或语言)的表示更分布式。
- 在训练主阶段建立非稀疏拒答表示(Section 5.2):作者提出未来可研究能否在偏好优化的主阶段直接建立非稀疏的拒答表示,而非事后(post-hoc)处理。
实验覆盖范围
- 被测模型为 Gemma-2-2B-IT、Llama-3-8B-Instruct、Llama-3.2-3B-Instruct、Qwen-3-4B,共四个(Section 4.1)。
- 白盒攻击评测覆盖 TwinBreak、NeuroStrike、refusal-direction ablation 三种;黑盒攻击覆盖 SORRY-Bench 十类变换,多语言和编解码类被排除(附录 2)。
- 基线对比仅在各基线原论文评测过的模型上进行:W-DOOR 仅 Gemma-2-2B,Deep Refusal 与 Circuit Breaker 仅 Llama-3-8B(Section 4.5)。
- 自适应攻击评测仅覆盖提高 TwinBreak 剪枝迭代预算(5→10→15)这一种策略(Section 4.7)。
- 对抗性微调攻击不在威胁模型范围内,论文未评测(Section 3.2);论文未报告各实验的重复次数。
总结一下论文的主要内容
ABS-Align 通过渐进剪枝加 DPO 微调让安全对齐更分布式,四个模型上多类攻击 ASR 下降。
一篇防御论文:针对"安全对齐高度稀疏、剪除少量神经元即可破坏"这一结构性弱点,提出微调防御 ABS-Align。
- 问题:已有研究表明安全对齐集中在少数安全关键神经元和单一拒答方向上,开放权重模型的攻击者可直接剪枝或消融这些组件;作者称现有护栏和通用微调防御未处理这一稀疏性。
- 方法:用 TwinBreak 识别安全关键神经元,DPO 微调期间按重要性从高到低每 200 步剪除一批(剪枝率 20%),微调后期全部原始安全神经元被临时剪除,迫使模型经其他神经元重建拒答行为,训练结束后恢复全部神经元;首尾 transformer block 冻结。
- 白盒结果:TwinBreak 累计 ASR 在四个模型上从 0.71–0.81 降至 0.11–0.33(Table 1);NeuroStrike 和 refusal-direction ablation 的 ASR 同样下降,如 Llama-3-8B 上分别从 0.84、0.75 降至 0.03、0.05(Table 2)。
- 黑盒结果:SORRY-Bench 十类攻击平均 ASR 从 41.58%–68.75% 降至 13.24%–33.02%,微调未使用黑盒攻击数据(Table 3)。
- 代价与对比:过度拒答基本不变(Table 5),效用基准大多小幅波动而 TruthfulQA 上升 9.14–14.26 个百分点(Table 6);与 W-DOOR、Deep Refusal、Circuit Breaker 相比,作者称 ABS-Align 在几乎所有受测攻击上 ASR 更低,例外是 Circuit Breaker 在 SORRY-Bench 上略低(16.06% 对 17.79%)。
- 作者结论:作者称 ABS-Align 提供了缓解安全对齐脆弱性的简单方法,鲁棒性从神经元级干预扩展到表示级攻击和黑盒越狱;局限包括神经元检测不完美、未量化对齐密度、DPO 有计算开销。
相关论文
- TRACE分析/可解释性arXiv