CKU：通过约束知识遗忘实现 LLM 安全对齐

1. 01这篇论文试图解决什么问题？

   已对齐模型的有害知识未被删除，越狱仍能引出有害输出；CKU在遗忘时冻结有用神经元。

   已对齐的大语言模型仍会在越狱下输出有害内容，因为有害知识没有被删除。

   • 场景：作者称，RLHF、RLAIF、SFT、模型合并和知识编辑之后，模型会拒绝普通有害指令，但对抗提示、说服式操纵和解码利用仍能绕过防护。作者认为安全因此仍是关键问题。Figure 1把遗忘后仍附带建议的拒绝标成未完全安全。
   • 现有做法：作者称，持续训练是目前增强越狱防护最有效的策略，但有害知识可能残留，通用能力可能下降，还可能学到无关知识并产生幻觉或误导输出。过滤会增加推理成本；微调没有消除模型内潜在有害知识。
   • 假设：作者假设大部分内部知识在MLP层。训练时固定与有用知识相关的神经元，以便遗忘有害知识时少损失通用能力。
   • 方法：提出Constrained Knowledge Unlearning（CKU）。它对特定MLP层神经元打分，得到与有用知识相关的子集U，遗忘时剪掉U的梯度。
   • 威胁模型：
     • 目标：给定已对齐模型h(x)和有害查询x，训练h'(x)，保留大部分原有知识，并抵抗基于x的越狱（§3.2）。
     • 知识：论文未用no-box、black-box或gray-box描述这一防御。评测中GCG被写成gradient-based white-box；AIM、AutoDAN为prompt-level；generation exploitation只改解码。
     • 输入：攻击评估使用越狱指令或解码设置。简化GCG使用三个现成对抗后缀，而不是在本次实验里重新搜索。
     • 判定：受害系统是已对齐LLM。响应缺少拒答关键词则攻击成功，按Zou et al. (2023b)做字符串匹配，ASR为成功占比。

   收起这一问

2. 02有哪些相关研究？

   相关工作覆盖机器遗忘、对齐与越狱防御；作者称Eraser再学习无害知识既复杂又低效。

   机器遗忘

   • 隐私与投毒：Bourtoule et al. (2021)、Lu et al. (2022)、Jang et al. (2023)、Chen and Yang (2023)用遗忘减轻隐私泄露或投毒。论文此处只作背景。
   • 选择性遗忘：Zhou et al. (2023)与Yao et al. (2024)对有害指令做受控训练，以阻止学习有害信息或去掉有害回答；Gundavarapu et al. (2024)用梯度上升选择性擦除或修改有害信息。
   • 与本文最近的工作：Wang et al. (2024b)用decoder特定MLP层遗忘知识。作者称最相关的是Lu et al. (2024)：遗忘有害知识并保留通用能力，但要通过训练把无害知识从已遗忘内容里再学回来，复杂且低效。

   对齐

   • 常见流程：instruction tuning（Wei et al., 2022）、基于反馈的强化学习（Ji et al., 2023; Ouyang et al., 2022）和DPO（Rafailov et al., 2023）。
   • 分开偏好：Dai et al. (2024)的Safe RLHF把有用性与无害性偏好分开，以减轻标注者对安全与效用冲突的混淆。论文未单独批评这些方法。

   越狱与既有防御

   • 攻击类别：token-level（Geisler et al., 2024; Liu et al., 2024; Zou et al., 2023b）和prompt-level（Deng et al., 2024; Shayegani et al., 2024; Paulus et al., 2024）。引言还写到说服式操纵（Zeng et al., 2024）和解码利用（Huang et al., 2024）。
   • 两类防御：过滤（Markov et al., 2023; Phute et al., 2024）和微调（Yi et al., 2024）。作者称过滤增加推理成本，这些方法没有彻底消除或纠正潜在有害知识。

   基线与数据

   • 基线方法：RSFT（Deng et al., 2023）、GAM（Yao et al., 2024）、Eraser（Lu et al., 2024）、Safe Unlearning（Zhang et al., 2024b）、Circuit Break（Zou et al., 2024）。
   • 基准/数据集：识别用Alpaca；训练用AdvBench；测试用AdvExtent与MaliciousInstruct；效用用MT-Bench、CommonsenseQA、HellaSwag、RTE、WinoGrande、OpenBookQA。攻击为AIM、AutoDAN、GCG和generation exploitation。

   作者把CKU放在遗忘有害信息的同时保留通用知识这一侧，而不是Eraser那种再训练回无害知识；并认为这比未删除有害知识的持续对齐更能兼顾越狱防护与通用能力。

   收起这一问

3. 03论文如何解决这个问题？

   CKU用SNIP定位MLP中的有用知识神经元，剪枝其梯度，再用带λ的梯度上升遗忘有害回答。

   CKU先找出与有用知识相关的MLP神经元并冻结其梯度，再对有害回答做带阈值的梯度上升。

   问题设定

   • 形式化：已对齐模型会拒绝普通有害查询，但对越狱指令仍会生成有害响应。目标是得到h'(x)，保留大部分原有知识，并抵抗基于x的越狱。
   • 三部分：知识定位与保留、有害知识遗忘、遗忘正则。作者没有把该方法写成推理时过滤器。

   知识定位与保留

   • 打分：作者依据Geva et al. (2021)和Dai et al. (2022)，认为大部分内部知识在MLP。损失取正确输出的负对数概率。神经元重要性用剪枝文献中的一阶近似：I(W, x)=|W \odot \nabla_W L(x)|。再在校准集上取期望，避免只反映单个样本。
   • 集合U：按Michel et al. (2019)汇总后，每层按平均分排序，取top p%为knowledge-related neurons，即子集U。识别集为Alpaca，打分方法为SNIP（Lee et al., 2019）。Figure 2把固定比例标为top 80%。
   • 梯度剪枝：属于这些神经元的权重，反传梯度置0，遗忘训练中不更新。作者称这是为了减轻灾难性遗忘，并让其余参数适应。

   有害知识遗忘与正则

   • 数据：作者引用Qi et al. (2024)，称同一问题的多个回答应相似，故遗忘一个回答可望泛化。实验中的提示来自AdvBench的520条查询，回答由Wizard-Vicuna-30B-Uncensored-GPTQ生成。
   • 更新：采用Chen and Yang (2023)的梯度上升，参数加上学习率乘损失梯度。作者称最大化与待删除数据相关的损失，以降低对目标数据的依赖。式(6)把Lf写成各token条件log概率之和的样本平均，条件写成p(yi|T(x), y<i)。论文未解释T。
   • 停机：作者称过度遗忘会损害性能。正则目标为L=max(0,λ+L_f)，λ约束损失最小值，达到足够遗忘后停止。附录A：λ=1.5，batch size 4，超过2048 token截断，AdamW，学习率4e-6，1个epoch；训练种子42，知识定位种子0。

   训练哪些参数

   • 只动MLP：§5.1比较全参数、非MLP和仅MLP。作者据此主张只改一部分MLP参数。比较数字放在第4问。
   • 比例与层：每层按Neuron Locking Rate固定得分最高的神经元。因算力限制，四个decoder的MLP合成一个unlearning layer。Figure 2与§5.2使用0.8。§5.3把MLP第8–12层写成效用最高的层组合。§6.1和附录A没有再次写明Table 1的CKU是否用这一层组合。

   收起这一问

4. 04论文做了哪些实验？

   两个已对齐模型上，作者称CKU多数ASR更低且平均效用接近原模型；GCG的AdvBench上RSFT更低。

   实验设置

   • 模型：Llama2-7B-Chat、Llama3-8B-Instruct。作者称二者权重公开且做过安全调优。有害回答由Wizard-Vicuna-30B-Uncensored-GPTQ生成。
   • 数据：识别集Alpaca。训练为AdvBench的520条有害查询。Table 1同时报告AdvBench与AdvExtent；解码攻击用MaliciousInstruct。论文未报告后两个测试集的条数。
   • 攻击：AIM、AutoDAN、GCG、generation exploitation。GCG因计算成本使用Wei et al. (2024)的三个后缀，正文称simplified GCG，不是现场梯度搜索。
   • 基线：RSFT、GAM、Eraser、Safe Unlearning、Circuit Break。前两者按Lu et al. (2024)的参数复现；Eraser使用其代码中的开源LoRA；后两者用原文配置，只替换数据集。
   • 指标：安全为ASR，越低越好。成功条件是响应缺少拒答关键词，字符串匹配沿用Zou et al. (2023b)。效用为MT-Bench两轮平均分，以及RTE、OpenBookQA、HellaSwag、CommonsenseQA、WinoGrande的准确率，并报告平均分。
   • 未写明项：论文未写MT-Bench的评审模型，也未写重复次数。训练超参见附录A：λ=1.5，1 epoch，AdamW，学习率4e-6，batch size 4。

   主结果

   下表为Table 1的ASR（%）。解码两列在MaliciousInstruct上；AIM、GCG列为AdvBench，AutoDAN列为AdvExtent。省略GAM、Eraser、Safe Unlearning、Circuit Break，以及AIM-AdvE、GCG-AdvE、AutoDAN-AdvB。

   表格较宽，可左右滑动

   模型与方法	AIM AdvB	GCG AdvB	AutoDAN AdvE	解码无系统提示	解码有系统提示
   Llama2-7B-Chat Base	3.27	11.54	27.10	92.00	19.00
   Llama2-7B-Chat CKU	0.19	4.23	12.71	71.00	7.00
   Llama2-7B-Chat RSFT	0.38	2.31	16.07	81.00	9.00
   Llama3-8B-Instruct Base	3.08	9.04	24.46	91.00	17.00
   Llama3-8B-Instruct CKU	0.00	2.69	9.83	69.00	6.00
   Llama3-8B-Instruct RSFT	0.38	1.92	13.91	77.00	7.00

   • 作者解读：表注称CKU在防御越狱上表现最好，正文称多数情况下ASR最低。表内GCG AdvBench已是RSFT更低。表外的GCG AdvExtent上，RSFT为0.96%，CKU在Llama2为1.68%、在Llama3为1.20%。AIM AdvExtent上CKU与RSFT并列，Llama2均为0.48%，Llama3均为0.24%。Llama2有系统提示时CKU与Eraser均为7.00%。
   • 未到零：作者称被保留知识里可能仍有有害内容，所以ASR到不了0%；并认为扩大识别集、降低其中有害内容比重，结果可能更好。AdvExtent被作者用来说明对相似有害主题的泛化。
   • 效用：Table 2平均分，Llama2上CKU为57.51、基座57.54；Llama3上CKU为61.18、基座61.24。除基座外，两列Avg都以CKU最高。分项并非每项都最高，例如Llama2的MT-Bench上Circuit Break为6.28、CKU为6.26。作者称其他方法有不同程度的性能下降，CKU的整体能力损失很小。

   组件、锁定率与层

   • 组件：Figure 3比较all、no_mlp、only_mlp。图注称only_mlp在安全与效用上最好；作者称MLP比非MLP更与两者相关。正文未给出该图的ASR与准确率。基座为Llama2-7B-Chat，安全指标为simplified GCG的ASR。
   • NLR：Figure 4图注称GCG ASR在NLR=0.8时最低。作者称相对其他遗忘状态，安全提升超过三倍。正文未给出各NLR的ASR。
   • 层：Figure 5图注称随遗忘层加深，GCG ASR先降后升，平均准确率有两次波动。作者称固定第8–12层MLP神经元时效用最高，相对基座平均准确率约下降0.15%，安全指标提升超过四倍。作者称Llama3-8B-Instruct上现象相同，该节未给对应数字。

   神经元选择与λ

   • 随机与SNIP：Table 3，Llama2-7B-Chat。SNIP的GCG ASR为1.20、平均准确率57.85；随机选择为2.16与57.42。论文未说明该GCG ASR对应AdvBench还是AdvExtent。作者称随机选择能提高安全，但效用下降更明显。
   • λ：Llama2-7B-Chat上取0、0.2、1.0、1.5、2.0、2.5。Figure 6图注称GCG ASR与平均准确率都随λ增大而下降。正文称λ小于1时安全与泛化都不变；λ超过1后安全提高、效用下降。作者称1.5在所试取值中取得平衡，并称过大的λ会过度约束模型。正文未给出各λ的ASR。

   其他消融与分析

   • GAM相对基座：Llama2的AIM AdvBench为5.19%对3.27%，AutoDAN AdvBench为24.42%对20.77%；Llama3的AIM AdvBench为4.62%对3.08%，AutoDAN AdvBench为22.69%对18.65%（Table 1）。
   • 无系统提示的解码攻击上，CKU仍为Llama2 71.00%、Llama3 69.00%（Table 1）。
   • Llama2的CommonsenseQA：CKU 59.13，基座58.89（Table 2）。
   • Llama3的OpenBookQA：CKU与Circuit Break均为33.60，基座33.40（Table 2）。
   • Llama3的HellaSwag：Safe Unlearning 57.68，CKU 57.62（Table 2）。
   • Table 3的平均准确率57.85与Table 2中CKU的57.51不同；论文未说明二者是否同一口径。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称效果随领域或数据集变化，复杂语境下细致解释可能困难，还需提高通用性与效率。

   作者指出的局限与后续方向

   • 跨域变化：Limitations写，CKU的有效性在不同领域或数据集上会变化。
   • 复杂解释：同一节写，拒绝有害指令时，在高度复杂或含糊的语境中，偶尔难以给出细致解释。
   • 后续：同一节写，需要进一步研究这些挑战，并提高CKU的通用性与效率。

   实验覆盖范围

   • 被测模型为Llama2-7B-Chat与Llama3-8B-Instruct；有害回答生成模型为Wizard-Vicuna-30B-Uncensored-GPTQ（§6.1）。
   • 攻击为AIM、AutoDAN、简化GCG（三个后缀）和generation exploitation（MaliciousInstruct上含或不含系统提示）。基线为RSFT、GAM、Eraser、Safe Unlearning、Circuit Break（§6.1，附录D、E）。
   • 训练查询为AdvBench的520条，识别集为Alpaca；Table 1同时报告AdvBench与AdvExtent。论文未报告AdvExtent、MaliciousInstruct的样本量，也未报告AdvBench上的ASR是否与训练查询相同。
   • 安全判定为字符串匹配ASR；效用为MT-Bench与RTE、OpenBookQA、HellaSwag、CommonsenseQA、WinoGrande。论文未报告MT-Bench评审模型、重复次数和统计检验。
   • §5的组件、NLR与层选择以Llama2-7B-Chat为基座，并给出Figure 3–5的文字结论；作者称Llama3-8B-Instruct上现象相同，该节未附对应数字。

   收起这一问

6. 06总结一下论文的主要内容

   CKU冻结有用知识神经元并遗忘有害回答；作者称安全提升且效用接近原模型，但ASR未到0。

   CKU是训练期的安全对齐方法：在忘掉有害回答时，不动一批被判定为存储有用知识的MLP神经元。

   • 问题：普通拒答挡不住越狱。作者认为有害知识还在；继续训练则可能伤及通用能力，或学进无关知识。
   • 做法：用SNIP在Alpaca上给MLP神经元打分，剪掉高分神经元的梯度；对AdvBench上由Wizard-Vicuna-30B-Uncensored-GPTQ生成的有害回答做梯度上升，并用λ截断损失。Figure 2的固定比例为80%，附录A取λ=1.5、1个epoch。
   • 安全：Table 1中，Llama3-8B-Instruct上CKU的AIM AdvBench ASR为0.00%（基座3.08%），无系统提示的解码ASR为69.00%（基座91.00%）。Llama2-7B-Chat上对应为0.19%（基座3.27%）和71.00%（基座92.00%）。
   • 例外：同一张表里，两种模型的GCG AdvBench ASR都是RSFT更低，Llama2为2.31%对4.23%，Llama3为1.92%对2.69%。作者称残留有害知识使ASR到不了0。
   • 效用与结论：Table 2平均分从Llama2基座的57.54到CKU的57.51，Llama3从61.24到61.18。作者称这比所列方法更好地兼顾安全与效用，并认为MLP神经元敏感性分析可供知识编辑参考。Limitations写效果会随领域或数据集变化。

   收起这一问

相关论文