面向对抗性再学习的分层遗忘

1. 01这篇论文试图解决什么问题？

   作者假设单次遗忘只装共享抑制器，故用分层遗忘诱导多个抑制器以抵抗子集重学。

   后训练改动常被子集上的微调撤销；作者把原因归于单一共享抑制器，并用分层遗忘拆开它。

   • 场景：微调、偏好学习与 machine unlearning 被用来改预训练 LLM 的行为。作者称这些改动常常浅或脆弱，可被对抗提示或微调绕过（引言引 Jain et al., 2024; Arditi et al., 2024; Zou et al., 2023; Greenblatt et al., 2024; Che et al., 2024; Deeb & Roger, 2025; Betley et al., 2025）。
   • 现有不足：Deeb & Roger (2025) 报告，在已删除数据的子集上微调，就能把“已遗忘”信息重新引出。作者认为，重学能泛化，是因为微调拆掉单一共享机制，从而逆转整次后训练修改。
   • 假设：作者称当前遗忘方法引入的是情境依赖的抑制器（inhibitor）。若全集只共享一个抑制器，攻击者只需重学一个子集。
   • 做法：提出 Layered Unlearning（LU）。数据分成 k 个不交折；第 i 阶段遗忘前 i 折的并，并保留其后各折，以诱导覆盖范围不同的抑制器。动机来自 Reason (1990) 的瑞士奶酪纵深防御。
   • 威胁模型：
     • 目标：用遗忘集的真子集做微调，恢复其余遗忘折上的表现。论文称此为 adversarial relearning。
     • 能力：攻击者持有子集 S 的 MCQ 或对应语料，并在其上微调。论文未写 white-box、black-box 或 no-box。
     • 受害系统：已做 unlearning 的模型。LLM 实验一律用 Zephyr-7B-β；遗忘集来自 WMDP、Years 或 MMLU 的子集。
     • 判定：沿 Deeb & Roger (2025)，在 S 上微调后，于 T 为 F 去掉 S 的 MCQ 上，报告各 epoch 的最高准确率。

   收起这一问

2. 02有哪些相关研究？

   相关工作分LLM遗忘、对抗重学与顺序遗忘；本文用保留缩减的多阶段遗忘针对重学鲁棒性。

   论文第 4 节分三组讨论，实验基线在第 3 节另列。

   LLM 遗忘

   • 近似策略：论文称精确遗忘困难，现有工作多为近似，包括模型优化（Ilharco et al., 2022; Liu et al., 2022; Yao et al., 2023; Eldan & Russinovich, 2023; Jia et al., 2024; Zhang et al., 2024b; Li et al., 2024b）与基于提示或上下文的方法（Thaker et al., 2024; Pawelczyk et al., 2023; Liu et al., 2024a）。
   • 残留可被重新引出：论文称这些模型仍易受对抗攻击（Schwarzschild et al., 2024; Patil et al., 2024; Lynch et al., 2024），或被少量已见数据重学（Hu et al., 2024; Lynch et al., 2024）。

   对抗重学

   • Che et al. (2024)：在遗忘数据的小子集上微调，以恢复全集信息。论文称其指出多数现有遗忘方法易受此类攻击。
   • Deeb & Roger (2025)：信息上不同的例子也能诱发重学，失败不限于死记硬背。本文评测协议来自此工作。
   • 已提出的防御：Rosati et al. (2024)、Zou et al. (2024)、Tamirisa et al. (2025)、Sheshadri et al. (2025)。论文称（并引 Che et al., 2024）这些防御无一能稳定挡住对抗重学。先前工作分别用过语料微调（Che et al., 2024）与 MCQ 微调（Deeb & Roger, 2025）；论文称据其所知尚无对二者的全面比较，并称语料微调更自然、也更有效。

   顺序遗忘

   • Dou et al. (2025)：随时间移除受版权保护的信息。论文只作描述。
   • Zhao et al. (2024)：用顺序遗忘提高遗忘效率。论文称其未考虑对对抗重学的鲁棒性。

   基线与基准

   • 基线：RMU（Li et al., 2024a，表征工程）与 SimNPO（Fan et al., 2025，梯度上升类）。附录另设 RMU-Split，把各折投到不同随机向量。
   • 基准：WMDP、Years、MMLU；合成设定为二维高斯混合分类与三 token bigram。

   作者把本文定位为：分析遗忘顺序与结构如何影响对对抗重学的鲁棒性，并用结构化遗忘减轻信息泄漏；这与只追求遗忘效率的顺序遗忘不同。

   收起这一问

3. 03论文如何解决这个问题？

   Layered Unlearning分k折逐阶段遗忘扩大子集，并保留剩余折以诱导不同抑制器。

   Layered Unlearning（LU） 不改遗忘原语 U 的内部损失，只改变各阶段的遗忘集与保留集，使抑制器覆盖不同折。

   遗忘问题与记号

   • 目标：从参数 θ 中去掉遗忘集 F 的信息，并维持保留集 R 上的表现。算力无限时应对 D 去掉 F 从头重训；U 是对此的后训练近似。
   • 接口：U 把 θ、F、R 与超参 γ 映到新参数。论文写作 U : Θ × X × X × Γ → Θ。

   分层流程

   • 划分：把 F 均匀随机分成 k 个不交折。同一 k 与数据集上，划分在遗忘与评测中保持不变。
   • 更新：第 i 阶段在上一阶段参数上调用 U，遗忘已累积的前 i 折，保留尚未遗忘的折以及原保留集。即 \theta_i = U(\theta_{i-1}, \bigcup_{j=1}^{i} F_j, R \cup \bigcup_{j=i+1}^{k} F_j, \gamma_i)。含义是抑制范围随阶段扩大，同时用仍须保留的折阻止一个覆盖全部折的共享抑制器。
   • 两折情形：先遗忘 A、保留 B。作者称这迫使模型激活只压 A 的 IA。第二阶段可能激活只压 B 的 IB，或同时压 A 与 B 的 IAB。重学 B 会关掉涉及 B 的抑制器，IA 仍在，故 A 保持被压。屏障单向还是双向取决于原语。三折示意见 Figure 1。

   合成任务里的原语

   • 二维分类：输入为 R^2。类 1 为高斯混合，均值取自 U([-50, 50]^2)，协方差以 σ^2 = 4 为主，并加幅度 0.1 的扰动；类 0 为 U([-60, 60]^2) 上的均匀背景。分类器是 12×12 RBF 网格上的逻辑回归，参数维数为 145（含偏置）。遗忘把 F 中的点改标为类 0，保留 R 的原标签。优化器用 Adam。
   • Bigram：词表为 a、b、r，序列长度 8，ε = 0.05。a 或 b 之后接到 r 的概率为 1−2ε；r 之后接到 a 或 b 的概率各为 1/2 − ε/2。模型是一层、仅注意力的 transformer，参数维数 4288。遗忘把 F 中 token 的下一 token 分布压成均匀 1/3，保留 R 的原条件分布，用标准语言建模损失。重学则恢复该子集的原条件分布。
   • 读数：分类里 A、B 是把对应集合标为类 1 的准确率；R 是把 R 标为类 1 且背景标为类 0 的联合准确率。Bigram 里 A、B 是对应二元组上的预测表现；R 用相对 a、b 均匀分布的 total variation，越低越接近保留目标。

   LLM 原语与成功判定

   • 原语：表征工程用 RMU，梯度上升类用 SimNPO。加 LU 后记为 L-RMU、L-SimNPO。附录的 RMU-Split 让各折投到不同随机向量，用来把 LU 与“分开的随机向量”分开。流程示意见附录 Figure 5。
   • 模型与数据：全部 LLM 实验用 Zephyr-7B-β。遗忘集为 WMDP（危险知识 MCQ）、Years（带年份的重大事件）或 MMLU 子集。保留集用 MMLU；遗忘 MMLU 时，保留集去掉被遗忘类别。
   • 筛选：只保留 retain 准确率下降不超过 10% 的模型（附录 Table 6）。附录 G 把遗忘阈值定为 0.35，理由是四选一随机猜测期望为 0.25，并按每个数据集 735 题、最小折为四分之一、三倍标准差给出该上界。
   • 重学评测：对全部 2^k−2 个真子集 S，在 S 的 MCQ 或对应语料上用 Adam 微调，再在其余折的 MCQ 上按 Language Model Evaluation Harness 做 0-shot，取各 epoch 最高准确率作为最终 forget accuracy。附录 E：学习率 10^{-6}，batch size 4，MCQ 8 epoch，语料 5 epoch。各阶段系数、学习率与微调层写在附录 G。

   收起这一问

4. 04论文做了哪些实验？

   作者称在合成任务与Zephyr-7B-β上，LU使早折更难被后折重学恢复。

   实验设置

   • 模型：LLM 实验只有 Zephyr-7B-β。合成实验是 RBF 逻辑回归与一层 attention-only transformer。
   • 数据：WMDP 做 2、3、4 折；MMLU 与 Years 做 3 折。附录 C：MMLU 遗忘类为 geography、culture、STEM、chemistry、business；保留类为 health、history、law、philosophy、social sciences。附录 G 写每个数据集共 735 题。Table 1 为每集 5 个高斯、随机分配、10 个种子；Table 2 为 10 个种子。
   • 基线：同一原语的单次遗忘（U、RMU、SimNPO）以及 RMU-Split。LU 变体为 U-LU、L-RMU、L-SimNPO、L-RMU-Split。附录 G 写 WMDP 上的 RMU 使用 Li et al. (2024a) 的官方 checkpoint；SimNPO 因在线 checkpoint 在其折上遗忘不足而自行重跑。
   • 指标：重学后在未参与重学的折上的 MCQ 准确率；保留集准确率；附录 F 的 recovery rate。该比把两种方法“重学后减遗忘后”的回升相除，遗忘准确率低于 0.25 时按 0.25 计；论文称越低表示越抗重学。
   • 评审：0-shot，Language Model Evaluation Harness。论文未使用 LLM 裁判，也未报告人工一致性或统计显著性检验。
   • 重复：合成结果为 10 个种子平均。LLM 主表未报告多种子重复。微调取各 epoch 的最高验证准确率。

   主结果

   据 Table 3，Zephyr-7B-β、WMDP 三折、MCQ 微调后的准确率：

   表格较宽，可左右滑动

   方法	重学C评A	重学C评B	重学A评C	重学B评A	重学A评B
   RMU	0.43	0.39	0.45	0.41	0.41
   L-RMU	0.26	0.34	0.50	0.31	0.40
   SimNPO	0.52	0.48	0.50	0.54	0.47
   L-SimNPO	0.42	0.45	0.41	0.42	0.41

   • 作者称鲁棒性依赖折序：持有折 A 的攻击者比只持有折 C 的攻击者能恢复更多关于 B、C 的信息（第 3.1 节）。Figure 3 图注称对角线下方低于上方，并称 L-RMU 有单向屏障。表中重学早折、评晚折时，L-RMU 并不都低于 RMU。
   • 作者称 SimNPO 加上 LU 后也更抗重学，但提升更弱，屏障更对称（第 3.1 节）。
   • 起点并不相同。Table 7 中遗忘后、重学前，WMDP 三折 L-RMU 在 A 上为 0.15，RMU 为 0.27。附录 F 用 recovery rate 归一这一差别。

   合成任务

   • 二维分类（Table 1）：标准 U 重学 B 后，A 的准确率为 0.93（原模型 1.00）。作者称这恢复了任务 A 原性能的 93%。U-LU 重学 B 后 A 为 0.30；作者称相对遗忘后的 0.01 只提高 0.29。反向重学 A 后，U-LU 的 B 为 0.96。保留集上，U-LU 重学 B 后为 0.86，U 为 0.80。
   • Bigram（Table 2）：U 重学 B 后 A 为 0.76，LU 为 0.51（原模型 0.91；遗忘后 U 为 0.33，LU 为 0.34）。作者称 U 在重学 A 或 B 后使另一任务平均提高 0.43，LU 后平均只提高 0.17，且两个方向都不传递。正文另写重学 B 恢复任务 A 性能的 73%，与表中 0.76 不是同一写法，此处以表为准。
   • 作者解读：Figure 2 图注称标准流程里重学 B 会泛化到 A 附近；LU 后 B 仍上升，但不再泛化到 A。正文称任务重叠越大，对抗重学越强；把高斯均值聚类后再整簇分配，会降低各算法上的对抗重学。Figure 6–7 的柱高数值文本未给出。

   语料微调与其他数据集

   • 语料相对 MCQ（第 3.2 节，Table 3）：作者称语料微调更强。作者称 RMU 在语料微调下平均升高 5%；L-RMU 在重学后折、评早折时平均升高 10%，反向为 6%。表中 L-RMU 重学 C 评 A 为 MCQ 0.26、语料 0.36；RMU 同格为 0.43 与 0.50。SimNPO 与 L-SimNPO 受语料影响较小：L-SimNPO 重学 A 评 B 的语料准确率为 0.35，低于 MCQ 的 0.41。
   • Years 与 MMLU：作者称附录 E 有类似结果。Years 三折、重学 C 评 A 的 MCQ：RMU 0.54，L-RMU 0.29（Table 12）。MMLU 三折同格：RMU 0.53，L-RMU 0.33（Table 11）。MMLU 上重学早折、评晚折时 L-RMU 可以更高：重学 B 评 C 的 MCQ 为 0.59，RMU 为 0.51。
   • 保留集：Table 6 中未遗忘的 full MMLU 为 0.58。WMDP 三折上 RMU、L-RMU、SimNPO 的 retain 均为 0.57，L-SimNPO 为 0.55，均在不超过 10% 下降的筛选内。

   其他消融与分析

   • RMU-Split（Table 9）：论文称与共享随机向量的结果相比并不因此改变。WMDP 三折、重学 C 评 A 的 MCQ：RMU-Split 0.40，L-RMU-Split 0.25。
   • recovery rate（Table 14，WMDP 三折 MCQ）：L-RMU 相对 RMU，重学 C 评 A 为 0.06，重学 A 评 C 为 1.33。
   • Bigram 组件（附录 Table 4）：重学 B 时，全用 U 的 A 为 0.75；只换入 LU 的 QK 与 OV 后为 0.52；全 LU 为 0.51。论文称 QK 或 OV 对抵抗重学最关键。零层、仅嵌入的 transformer 几乎没有对抗重学。
   • 折数（Table 8）：WMDP 两折、重学 B 评 A 的 MCQ：RMU 0.45，L-RMU 0.30。四折结果在 Table 10。
   • 遗忘后起点（Table 7，WMDP 三折）：L-RMU 为 A 0.15、B 0.24、C 0.33；RMU 为 0.27、0.24、0.33；L-SimNPO 为 0.29、0.32、0.33。
   • Figure 5 图注：RMU 在 WMDP 上按 A、B、C 顺序遗忘时，A 在第一段下降后保持低，B、C 分别到第二、第三段才下降。文本未给出曲线数值。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出超参敏感、折数扩展与算力代价，并把全面对抗评估和无关数据微调留作后续。

   作者指出的局限与后续方向

   • 超参：LU 对超参敏感，每阶段都要调节遗忘与保留的平衡。作者称这反映了分开遗忘表征与保留表征的困难（第 5 节）。
   • 折数：折增多时模型须区分每一对折。作者称复杂度按 (2k) 扩展，从而限制大 k（第 5 节）。
   • 算力：LU 计算更重。作者称作为交换，它能找到标准遗忘无论训多久都找不到的最优点，并称后续可考虑开销更低的方法（第 5 节）。
   • 评测组合：重学子集有 2^k−2 个，再加上 batch size、学习率、数据集与遗忘方法，全面对抗评估困难。作者把完整分析留待后续，并称固定超参已足以打破 RMU 与 SimNPO（第 5 节、附录）。
   • 无关数据：作者写明未直接处理 harmless fine-tuning，即攻击者使用与被遗忘内容无关的数据，只给出直觉供后续（第 5 节）。
   • 机理与推广：bigram 中注意力如何带来鲁棒性留待后续（附录 B.2）。作者还认为分层做法或可推广到对齐：先训成无害但无助，再在保持无害的前提下变有帮助（第 5 节）。结论称 LU 可作为抑制器机理研究的测试台。

   实验覆盖范围

   • 模型：LLM 实验为 Zephyr-7B-β 一个模型（第 3 节）。
   • 原语与数据：遗忘原语为 RMU、SimNPO 与 RMU-Split；数据集为 WMDP（2/3/4 折）、MMLU（3 折）与 Years（3 折）（第 3 节、附录 E）。
   • 攻击形式：对抗评测是在遗忘集子集上的 MCQ 微调（8 epoch）与语料微调（5 epoch），学习率 10^{-6}、batch size 4（附录 E）。引言提到提示工程可绕过后训练，论文未报告该攻击下的数值。
   • 筛选与种子：只纳入 retain 下降不超过 10% 的模型（第 3 节）。合成实验报告 10 个随机种子平均（Table 1、Table 2）；LLM 主结果未报告重复次数。
   • 附录对照：附录 D–F 还报告 RMU-Split、2/4 折、MMLU 与 Years 的重学准确率，以及 recovery rate。论文未报告统计显著性检验。

   收起这一问

6. 06总结一下论文的主要内容

   LU用多阶段保留与遗忘构造不同抑制器；作者称它更抗MCQ重学，但语料微调更强。

   LU 是一种 k 折顺序遗忘，用来减轻“在遗忘子集上微调就能恢复其余折”。

   • 问题：作者认为现有遗忘多半只装了一个情境依赖的共享抑制器，重学一次就会把整次修改拆掉。
   • 方法：第 i 阶段遗忘前 i 折的并，同时保留尚未遗忘的折，以留下覆盖范围不同的抑制器。原语本身不改。LLM 实验用 RMU 与 SimNPO，模型为 Zephyr-7B-β；合成实验用二维分类与一层 bigram transformer。
   • 合成：每集 5 个高斯、10 种子下，标准 U 重学 B 后 A 为 0.93，U-LU 为 0.30（Table 1）。Bigram 上 LU 重学 B 后 A 为 0.51，U 为 0.76（Table 2）。
   • LLM：WMDP 三折、MCQ 上，L-RMU 重学 C 评 A 为 0.26，RMU 为 0.43；反向重学 A 评 C 时 L-RMU 为 0.50，并不低于 RMU 的 0.45（Table 3）。作者称屏障对 RMU 单向，对 SimNPO 更对称也更弱。
   • 语料攻击：作者称语料微调更强。在 WMDP 上，它使 RMU 平均升高 5%，使 L-RMU 在后折重学、早折评估时平均升高 10%（第 3.2 节）。
   • 结论：作者称 LU 提高了对标准 MCQ 重学的抵抗，同时露出语料攻击下现有方法的限度；遗忘本身脆弱，鲁棒性需要分层防御。作者还称结果推进了 machine unlearning 的 state-of-the-art，并有助于理解后训练更新。

   收起这一问

相关论文