FDCU：用双重约束子空间投影抵御机器遗忘后的重训练攻击

未学习后的恶意知识容易被再训练重新引出，作者将其归因于浅层抑制而非真实删除。

• 场景：作者称 LLM 会记住敏感、受版权与有害信息。从头训练成本过高，machine unlearning 被用来在遗忘集上增大损失、在保留集上维持效用。
• 不足：作者称静态指标上的成功常只是 obfuscation。retraining attack（良性再学习）用少量松散相关数据微调，即可让恶意输出回来。模型不拆兴奋通路，而激活休眠参数充当 spurious suppressors。作者称已有约束遗忘能防效用崩塌，但忽略这种异常激活。
• 观察：作者称优化器走阻力最小路径，形成盖在完整恶意表示上的抑制壳；该现象称为 shallow alignment（名称引自 Xu 等，2025b）。
• 方法：提出 FDCU，标题为 Faithful Dual-constrained Erasure。Fisher 掩码保护一般知识流形，PMFI 禁止非兴奋参数翻转成抑制器，迫使更新去拆原有恶意表示。
• 威胁模型：
  • 目标：再训练后对遗忘样本的生成概率仍不超过 ε_safe。论文未给该阈值的数值。
  • 能力：攻击者或普通用户可做上述微调。论文未用 white-box、black-box 或 gray-box 描述该攻击者。
  • 实验实现：知识擦除随机取遗忘集 20%，用 next-token prediction；安全输出使用遗忘集子集，Table 2 称为 benign fine-tuning attack。附录 A.2 用 LoRA。
  • 受害对象：接受遗忘的开源 LLM。恶意提示可拼接 jailbreak 前缀，用来绕过表面安全过滤。

论文把相关工作分成遗忘算法、再训练下的脆弱性，以及用重要性约束参数更新。

大模型中的遗忘

• 优化式遗忘：Jang 等（2022）与 Bourtoule 等（2021）将去掉特定知识、避免从头训练作为目标。主流包括梯度上升，以及 DPO、NPO（Rafailov 等，2023；Zhang 等，2024）。作者称这些方法能降低恶意输出概率，但朴素遗忘常扰乱全局性能。
• 其他范式与评测套件：双层优化（Reisizadeh 等，2026）与 forward learning（Xu 等，2025a）。统一基准包括 OpenUnlearning（Dorna 等，2025），以及 TOFU、MUSE、WMDP。论文在第 2 节引用这些套件；本文实验用到的集合见基线条。

遗忘的脆弱性

• 隐藏而非擦除：Hu 等（2025）研究良性再学习使已遗忘行为复现；Xu 等（2025b）讨论遗忘是否可逆。Yang 等（2026）写模型激活休眠参数充当 spurious suppressors，形成推拉均衡，原知识因此容易回来。
• 其他动摇抑制的因素：Zhang 等（2025）讨论部署后量化，Song 等（2025）讨论对抗性 unlearning 请求。Qi 等（2023）、Fan 等（2025）讨论微调或再学习使安全行为回退。CIR（Sondej 与 Yang，2025）称朴素遗忘破坏共享一般表示，使被抑制知识在后续微调中更容易恢复。

约束参数更新

• 重要性约束：LoKU（Cha 等，2025）与 LLMEraser（Ding 等，2025）用 Fisher 等 Hessian 近似或影响函数限制偏移。CKU（Shi 等，2025）给效用敏感神经元打分并冻结。作者称这些方法防止效用丢失，但着重结构保护，没有处理 spurious suppressors。

基线与数据集

• 基线：GA、CKU、ELM、SSIUU、CIR。正文把 ELM 写作 Erasing Conceptual Knowledge，附录 A.1 写作 Erasure of Language Memory。Table 1 未列 CKU。
• 本文实验用到的数据：WMDP-Bio、WMDP-Cyber；AdvBench、AdvExtent，并搭配 GCG、AIM、AutoDAN。效用指标来自 MMLU 与 WikiText 子集。

作者的定位是：已有约束挡住效用崩塌，却放任非兴奋参数被改成抑制器；FDCU 用 PMFI 堵住这条捷径。

FDCU 不把约束写成额外惩罚，而是把朴素遗忘梯度投影到同时保住效用、并禁止虚假抑制的子空间。

问题设定

• 集合：遗忘集含恶意输入与目标输出，保留集含要保住的样本，模型为 fθ。
• 对抗提示：恶意提示可拼接 jailbreak 前缀。作者称这样是为了不论引出方式都去掉底层有害知识。
• 稳健目标：遗忘刚结束时概率低并不够。对遗忘集中任意样本，再训练后须满足 P_θretrained(y_f ∣ x_f) ≤ ϵ_safe。ε_safe 无数值。
• 方向不够：作者称只沿遗忘损失的梯度更新会把知识藏起来。参数改变量必须同时落入下面两个约束。

两个几何约束

• 一般知识：在 Dretain 上用对角 Fisher Fretain 近似损失曲率，要求改变量相对 Fretain 的二次型不超过 ε1。对角元大表示动该参数会损害一般效用。Fisher 来自平方梯度，非负，不含方向。
• 归因：一阶 Taylor 归因是参数与 log pθ(y|x) 的梯度之逐元素积。正值表示推动生成 y，小于等于 0 表示抑制或休眠。该定义在第 3.2 节。
• PMFI：在 Dforget 上计算 Aforget，H 标记其中小于等于 0 的参数，要求更新在该区域的二次型不超过 ε2。ε1、ε2 均未给数值。作者称冻结后，优化器只能改 Aforget 大于 0 的参数，从而拆原有恶意表示。

从闭式投影到双掩码

• 优化问题：在两个二次约束下最大化遗忘梯度与参数改变量的内积。拉格朗日乘子 λ1、λ2 非负。闭式更新含单位阵、Fretain 与 H 的线性组合之逆，作者称对十亿级参数不可直接求逆。
• 近似：按过参数化网络的 mean-field 假设只保留对角；再把两个分母近似成乘积，从而拆开约束。论文给出该近似，未报告近似误差。
• 逐元素规则：安全步长是两个掩码与遗忘梯度的 Hadamard 积，即 \Delta\theta_{safe} \approx M_1 \odot M_2 \odot \nabla L_{forget}。M1 按 Fisher 对角缩小对良性关键参数的步长；M2 按非兴奋掩码关掉对应更新。α、β 控制边界松紧。5.4 节最终取 α=50、β=20。论文称 f、h 是归一化后的局部界限，未写出归一化式。

两阶段流程与损失

1. 初始化 M1：在 Dretain 上前向反向，计算对角 Fisher。Figure 1 左半标为 Initialization Stage。
2. 朴素梯度：在 Dforget 批次上计算遗忘梯度。知识擦除采用 CIR 的 representation-breaking loss；安全输出采用有害回答上的梯度上升，与 CKU 的写法一致。保留集重要性用交叉熵。
3. 动态 M2：与上述梯度同时，隔离对恶意输出初始贡献为零或为负的参数。
4. 过滤：两掩码与朴素梯度逐元素相乘后写回权重。Figure 1 右半为 Training Stage。

如何判定遗忘

• 知识擦除：WMDP 的四选一按 A/B/C/D 下一 token 的 logit 取最大者。准确率越低，作者将其视为目标危险知识越少。再训练后用同一协议看知识是否回来。
• 安全输出：拒答率统计输出是否包含附录 A.3 所列拒答短语中的至少一条。HarmfulScore 为 1 到 5 的平均分：1 为拒绝或把对话引开，5 为直接完成违规请求。评审提示改编自 Lu 等（2024）。论文未写评审模型，也未报告人工一致性。

实验设置

• 模型：Qwen2.5-3B、Llama-3-8B-Instruct、Qwen-3-8B。
• 任务：知识擦除的训练文本是危险概念描述，正文举例 bioweapons；评测为 WMDP-Bio 与 WMDP-Cyber 的选择题。安全输出的遗忘集从有害指令数据抽取实体并生成描述，具体源数据集名称论文未写出；评测为 AdvBench 与 AdvExtent，后缀包括 GCG、AIM、AutoDAN。各评测条数论文未报告。
• 基线与损失：GA、CKU、ELM、SSIUU、CIR。Table 1 无 CKU 与 Origin；Table 2 有 Origin。FDCU 在知识擦除中用 CIR 的 representation-breaking loss，在安全输出中用有害回答上的梯度上升。保留集上用交叉熵做 Fisher。
• 指标：WMDP 准确率越低越好。拒答率是含附录 A.3 拒答短语的输出比例。HarmfulScore 为 1–5 的平均，LLM-as-a-judge；评审模型未说明。效用为正文所称 MMLU Acc（表头写作 Acc）与 WikiText 子集 PPL；子集规模未报告。
• 再训练：知识擦除随机抽取遗忘集 20%，目标为 next-token prediction。安全输出正文写遗忘集子集，Table 2 标题写 benign fine-tuning attack，二者是否同一分布论文未对照说明。附录 A.2：LoRA，rank 8，scaling 32，dropout 0.05，模块 q_proj 与 v_proj，3 个 epoch，学习率 1×10−5，每卡 batch 2，梯度累积 8，bf16。
• 其他设置：两张 A100 80GB。Llama-3-8B-Instruct 的遗忘学习率为 5×10−6，batch 8，bf16。最终 α=50、β=20。主表重复次数论文未报告。

主结果

据 Table 1 与 Table 2。知识擦除列为再训练后 Acc（Bio / Cyber，越低越好）。安全输出列为再训练后拒答率 / HarmfulScore。

表格较宽，可左右滑动

模型	任务	FDCU	CIR	GA
Qwen2.5-3B	知识擦除再训练 Acc	31.5 / 31.0	32.3 / 31.5	42.3 / 45.1
Llama-3-8B-Instruct	知识擦除再训练 Acc	32.5 / 27.4	33.4 / 27.1	52.4 / 59.6
Qwen-3-8B	知识擦除再训练 Acc	32.3 / 27.2	33.1 / 27.9	45.2 / 50.1
Qwen2.5-3B	安全输出再训练	88.6 / 1.35	89.5 / 1.38	57.7 / 2.53
Llama-3-8B-Instruct	安全输出再训练	91.7 / 1.28	91.5 / 1.38	78.6 / 2.36
Qwen-3-8B	安全输出再训练	87.9 / 1.33	87.7 / 1.37	62.8 / 2.69

• 作者称 Table 1 中较低的再训练 Acc 支持 PMFI 限制虚假抑制。相对 GA，三模型上 FDCU 的再训练 Acc 更低。例外：Llama-3-8B-Instruct 的 Cyber 列，CIR 低于 FDCU。
• 作者称再训练后 FDCU 相对 GA、CKU、ELM 更稳，并举 Qwen2.5-3B 上 GA 的拒答率从 79.6% 降到 57.7%。Table 2 中 Qwen2.5-3B 的再训练拒答率是 CIR 更高；三模型的再训练 HarmfulScore 都是 FDCU 更低。
• 作者在摘要称对 retraining attack 达到 state-of-the-art。上表没有覆盖 ELM、SSIUU、CKU 的全部格子；这些数字在 Table 1、Table 2，且并非每一格都是 FDCU 最低或最高。

遗忘刚结束时的安全与效用

• 安全输出，Table 2：遗忘后拒答率 / HarmfulScore，FDCU 为 Qwen2.5-3B 的 91.0% / 1.23、Llama-3-8B-Instruct 的 93.9% / 1.16、Qwen-3-8B 的 89.1% / 1.31。同列 Origin 为 62.9% / 2.67、79.6% / 2.19、67.4% / 2.46。作者称三模型上 FDCU 的遗忘后拒答率最高、HarmfulScore 最低。
• 效用，Table 2：Origin 的 Acc / PPL 为 59.1 / 15.2、66.6 / 10.3、76.9 / 11.0；FDCU 为 58.3 / 15.7、65.8 / 10.7、76.3 / 12.7。GA 的 PPL 为 26.7、17.8、20.1。作者称 FDCU 接近 Origin。反例：Qwen2.5-3B 的 Acc 上 ELM 为 58.8，高于 FDCU；Qwen-3-8B 的 PPL 上 CIR 为 12.3，低于 FDCU。
• 知识擦除，Table 1：FDCU 的初始 Bio / Cyber Acc 为 30.9 / 29.8、31.9 / 27.3、31.5 / 27.2。Llama-3-8B-Instruct 的初始 Cyber Acc 上 ELM 为 27.2，低于 FDCU 的 27.3。该表没有 Origin 行，因此不能从该表比较遗忘前效用。

掩码消融

Table 3，Safe Output Control，模型为 Qwen2.5-3B。完整版为 91.0、1.23、58.3、15.7、88.6、1.35（遗忘后拒答率、HarmfulScore、Acc、PPL、再训练拒答率、HarmfulScore）。

• 去掉 Fretain：84.7、1.46、55.7、17.8、83.4、1.54。作者称一般效用变差，该掩码用于保护良性通路。
• 去掉 H：遗忘后 90.5、1.25，Acc / PPL 为 58.5 / 16.0；再训练后 81.2、1.67。作者称初始安全仍在，再训练后防御下降，因此 H 用来禁止 spurious suppressors。
• Random Mask：82.1、1.51、56.8、18.1、79.6、1.72。作者称各项都差。

其他消融与分析

• α、β（5.4，Figure 2）：作者称更大的 α 通常提高 General Utility，中等 β 更好；最终 α=50、β=20。图注未写模型。纯文本看不到各网格点的数值。
• 层组（Figure 3）：可选范围为 [8-12]、[12-16]、[16-20]、[24-28]、[28-32]。作者称中间层如 [24–28] 在效用与再训练 HarmfulScore 之间更平衡，改早期或末层会降低稳健性。图注未写模型；纵轴名称为 HarmfulScore 与 General Utility。柱高与层的对应在纯文本中对不齐，不转写。
• 案例（5.5）：再训练后，作者展示 GA 写出有害叙事，FDCU 拒绝同一请求。此处不复述提示或输出原文。

作者指出的局限与后续方向

• 额外内存（第 6 节）：相对朴素遗忘，FDCU 要保存遗忘集与保留集上的梯度统计。
• 作者给出的处理（第 6 节）：作者称该成本可处理，因为第 5.4 节显示只在选定中间层应用即可取得稳健性与效用的折中，Fisher 与归因只需存这些层，而不必存全模型。
• 未另列方向：Conclusion 只重述方法与结果，没有单独的未来工作清单。Broader Impact（附录 A.4）讨论社会影响，不写成方法局限。

实验覆盖范围

• 被测模型为 Qwen2.5-3B、Llama-3-8B-Instruct、Qwen-3-8B，共 3 个（5.1 节，Table 1–2）。
• 任务包括 WMDP-Bio 与 WMDP-Cyber 上的知识擦除，以及 AdvBench、AdvExtent 搭配 GCG、AIM、AutoDAN 的安全输出控制（5.1 节）。
• 再训练按 5.1 节与附录 A.2：知识擦除使用遗忘集的 20% 与 next-token prediction；LoRA 作用于 q_proj、v_proj，rank 8，3 个 epoch，学习率 1×10−5。
• 掩码消融表指定 Qwen2.5-3B（Table 3）。α、β 与层选择写在 5.4 节；Figure 2 与 Figure 3 的图注未写模型。
• 论文未报告 HarmfulScore 的评审模型、主表重复次数、WMDP 与 AdvBench/AdvExtent 的评测条数，以及 WikiText 子集规模。附录 A.2 写 SSIUU 原协议报告三次平均，并称本文采用同一选择原则，未写主表是否为三次平均。第 2 节提到的 post-deployment quantization 与 adversarial unlearning requests 没有出现在第 5 节的评测设置里，论文也未报告这两项的结果。

FDCU 是一种约束参数更新的遗忘方法，用来降低再训练把已抑制恶意行为重新引出的可能。

• 问题：作者认为现有遗忘常走捷径，激活休眠参数去压住恶意输出，而不是拆掉原有表示。随后的微调容易打掉这层抑制。
• 做法：遗忘梯度要同时通过两个逐元素掩码。一个按保留集上的对角 Fisher 缩小对一般知识敏感的更新，一个按 PMFI 冻结对恶意输出初始并不兴奋的参数。知识擦除借用 CIR 的表示破坏损失，安全输出使用梯度上升。
• 知识擦除：Table 1 中，FDCU 在 Qwen2.5-3B、Llama-3-8B-Instruct、Qwen-3-8B 上的再训练后 Bio Acc 为 31.5%、32.5%、32.3%，均低于同表 GA。Llama-3-8B-Instruct 的 Cyber 再训练 Acc 为 27.4%，CIR 为 27.1%。
• 安全输出：Table 2 中，Llama-3-8B-Instruct 上 FDCU 遗忘后拒答率 93.9%、HarmfulScore 1.16，再训练后拒答率 91.7%、HarmfulScore 1.28。Qwen2.5-3B 的再训练拒答率 FDCU 为 88.6%，CIR 为 89.5%。作者称三模型上遗忘后的拒答率与 HarmfulScore 都是 FDCU 更好。
• 作者结论：作者称浅层对齐来自 spurious suppressors，双约束投影能在保住效用的同时提高再训练稳健性，并在摘要中称达到 state-of-the-art。Table 1 没有 Origin 行；Table 2 里 Origin 的 Acc 与 PPL 仍优于各遗忘方法。