并非所有变化都是损害：面向大语言模型的更新匹配遗忘

1. 01这篇论文试图解决什么问题？

   后续微调会恢复已删知识，低再学习分不清选择性抵抗与可塑性丧失。

   后续微调会恢复已删知识，低再学习分不清选择性抵抗与可塑性丧失。

   • 场景：作者认为 LLM 会记忆隐私或有害可用知识，遗忘要删除它们并保住有用能力。发布后仍被微调的模型还须能学新任务；参数变化也可能让被删知识重新可用，即使微调不针对它。论文举例：其他作者的同类问题微调，曾恢复已不再输出的目标姓名。
   • 现有不足：TAR 与 AntiDote 针对模拟更新训练，能力目标却在未做模拟修改的模型上评估，查的是当前行为而非更新后的可塑性。作者认为，对一切更新反应都弱的模型可同时通过该检查并表现出低再学习。
   • 假设：匹配更新前的保留集输出，会把普通学习造成的改变也当成偏离。参考若接受同一更新，该改变不再计入差异。作者提出 reference-timing 假设：相近目标抑制下，update-matched 参考比 pre-update 参考更能保住可塑性。
   • 方法：UMU 把同一模拟再学习更新作用于被防御模型，以及从同一遗忘模型初始化的参考，并用新任务试验选择 checkpoint。可叠在已有遗忘方法上，发布时无运行时组件。
   • 威胁模型：
     • 目标：阻止后续微调恢复被删知识，同时保留学习新任务的能力。
     • 能力：论文未写 white-box 或 black-box。评测对已发布模型重训：Harmful Attack 用 forget set 的 p=0.1 或 0.3，Benign Attack 用不含目标数据的指令。非目标微调也可造成恢复。
     • 受害系统：合并 EraseLoRA 后的单个模型；teacher 与 TaskLoRA 发布前丢弃。
     • 判定：再学习取重训中最大 FS；可塑性取 AGNews 一个 epoch 后的 NS。

   收起这一问

2. 02有哪些相关研究？

   相关工作分遗忘评测与抗再学习训练；作者把差别放在参考时刻。

   论文在 Related Work 中分成遗忘目标与评测、面向后续微调的鲁棒训练，并点名保留目标与再学习更新来源上的差别。

   遗忘目标与评测

   • 三类删除：输出层用梯度上升或负偏好优化（Jang et al., 2023；Chen and Yang, 2023；Yao et al., 2024；Zhang et al., 2024；Fan et al., 2025b；Jia et al., 2024）。表示层扰动目标数据激活（Li et al., 2024; 2026；Hong et al., 2024）。参数层定位或正则被归于目标的神经元（Yang et al., 2025a;b）。
   • 评测与恢复：即时评测看遗忘和效用（Maini et al., 2024 等），另有记忆与隐私泄漏、知识抽取，以及用其他目标事实微调来恢复被扣事实。非目标微调也可触发恢复（Lucki et al., 2025；Hu et al., 2025），包括不同虚构作者但共享目标句法的问题（Yoon et al., 2026）。
   • 立场论文：Thaker et al. (2025) 与 Shumailov et al. (2024) 认为现有基准低估这类恢复，且单靠遗忘不能约束已发布模型能被做成产出什么。论文据此同时看持续微调下的遗忘和学习新任务的能力。

   抗再学习的训练

   • 模拟更新与有害微调：任务阻断更早提出限制有害适应并保留有用行为（Henderson et al., 2023；Deng et al., 2024）。模拟防御对显式微调轨迹（Tamirisa et al., 2025；Sondej et al., 2025）或生成的低秩扰动（Sanyal et al., 2026）训练。另有发布前扰动或正则对齐状态的防御（Huang et al., 2024a;b; 2025；Rosati et al., 2024），动机是少量微调可撤销安全训练（Qi et al., 2024；Lermen et al., 2023）。
   • 正则与保留规则：不变性正则把下游任务当作遗忘应稳定的环境（Wang et al., 2025a）；锐度感知目标压平遗忘状态附近的损失（Fan et al., 2025a）；蒸馏或混淆损失加强遗忘本身（Xu et al., 2025a；Wang et al., 2025c）。TAR 与 AntiDote 的语言建模和参考损失不带模拟修改；Sondej et al. (2025) 按保留梯度过滤遗忘梯度。ILU 把下游任务准确率与静态效用、遗忘鲁棒性分开报告。论文指出，这些测试区分的是保住现有表现和保住学习新任务的能力。
   • 论文点名的差别：TAR 与 AntiDote 的能力目标不检查更新后的可塑性。现有防御的再学习更新来自单独对手或辅助网络；UMU 从在被防御模型本身上再学习目标的普通学习器记录更新。

   基线与基准

   • 基线方法：GD（Maini et al., 2024）、RMU（Li et al., 2024）、KLUE（Yang et al., 2025b）。UMU 加在三者遗忘完成后的 checkpoint 上，遗忘损失沿用基座方法。
   • 基准：TOFU 的 Forget01；FaithUn 的 5% forget。新任务用 AGNews，良性再学习用 Alpaca。

   作者把本文定位为：在同一条记录下来的再学习更新下比较学生与参考，并用短时新任务学习试验选择候选；研究对象是持续微调下的遗忘，以及学习新任务的能力。

   收起这一问

3. 03论文如何解决这个问题？

   UMU重放同一再学习更新到学生和教师，并用新任务试验选择发布模型。

   Update-Matched Unlearning（UMU）不追求抵抗一切更新，而是让被删知识在后续更新下仍受抑制，同时允许从后续微调中学习。它由 update-matched replay 和按学习试验选择 checkpoint 两部分组成，发布物没有运行时组件。

   问题设定与参考时刻

   • 状态：θ0 是基座遗忘后的模型，被防御模型为 θφ=θ0+Eφ，起点 Eφ=0。更新 Δ 若恢复被删知识就是再学习；若仍能降低新任务损失 Ltask，则保持 plasticity。
   • 目标：Δ 固定时，防御求解 min_ϕ L_F(θ_ϕ+Δ)+λ_R L_R(θ_ϕ+Δ)。两项都在同一更新后模型上计算。L_F 是基座遗忘损失；L_R 是保留集答案 token 上、更新后模型与已脱离的参考分布之间的 KL；λR>0。
   • 两种参考：pre-update 参考为 θ0，损失记为 Lold；update-matched 参考为 θ0+Δ，损失记为 Lmatch。二者共享 φ、Δ 和保留 token，只差是否惩罚更新自己造成的预测变化。
   • 梯度：附录 A 写明，pre-update 梯度等于 update-matched 梯度，加上完全由 Δ 在保留预测上的变化驱动的一项。该项在更新不改变保留预测时为零，否则把预测拉回更新前。在防御尚未改模型的 φ0，update-matched 梯度为零。作者认为保留集不含目标知识，故这一项对应普通学习而非目标恢复。
   • 一步的方向：对光滑任务损失，保留步对任务损失的一阶变化里，λR 只出现在步长中；升降由保留梯度与任务梯度余弦 c 的符号决定。c<0 时，足够小的保留步都会升高任务损失，减小 λR 只是把每步变小。Figure 2 在 GD、Llama-3.2-3B-Instruct、TOFU 上比较两种参考：无防御时 pre-update 的保留 KL 随十步普通学习上升，update-matched 按构造为零；100 步防御中的 21 个状态上，作者称 cold 保持为负、cmatch 趋向零；只对保留损失做一步 SGD，作者称 pre-update 升高任务损失，update-matched 几乎不变。第 0 步的 update-matched 余弦无定义，因为梯度恰好为零。

   Update-matched replay

   • 更新从哪来：分开微调即使数据和种子相同也会走出不同轨迹，差距会被算到防御上；事先固定的扰动两边相同，但不是该模型实际经历的更新。每一轮在当前模型副本上对目标答案微调，记录若干步 k∈K 后的权重变化 Δk。作者引用 Tamirisa et al. (2025)：只对抗攻击早期步的防御，可被后面的步撤销。
   • 重放：同一 Δk 加到两边，学生变为 θφ+Δk，冻结参考变为 θ0+Δk。训练目标为 L_UMU(ϕ)=avg_{k∈ K}(L_F(θ_ϕ+Δ_k)+λ_R L_match(θ_ϕ+Δ_k))。基座目标中除遗忘损失以外的项，仍在未加该更新的模型上保持不变。Figure 3 中两边的遗忘损失相同，差别只是参考取在 θ0 还是 θ0+Δk。
   • KL 的作用：保留项是常用的输出分布 KL，教师是参考、学生是被防御模型；变化只是教师接受了同一更新。作者给出两点：更新在保留集上的改变两边都有，φ0 处 Lmatch 及其梯度为零，只惩罚防御额外加入的改变；比较只覆盖保留集，更新后参考若恢复目标答案，该答案仍受遗忘损失约束。
   • 可叠加：L_F 沿用基座方法，例如 GD 的梯度上升项或 RMU 的表示损失。因此可加在遗忘损失能在更新后模型上计算的已有 checkpoint 之上。

   用学习试验选择

   • 动机：低恢复或与参考一致，并不表示 checkpoint 还能学习；只看恢复会偏向已经不再学习的候选。
   • 规则：预先声明的晚期候选池中，每个候选在普通新任务上短时微调。须学习试验有足够进展，且遗忘、保留和已有任务表现通过开发集检查。训练与选择数据均为内部数据，与全部评测集不相交。
   • 发布：只把所选候选的防御权重合并进基座遗忘后的 checkpoint，参考和学习器丢弃。附录 B 的 Algorithm 1 给出流程。

   实例化与配置

   • LoRA：教师是冻结的基座遗忘 checkpoint；学生加可训练的 EraseLoRA，发布时合并。临时 TaskLoRA 用 AdamW 在学生副本上训练，与教师一起在发布前丢弃。作者给出的理由是：双方共享冻结权重，TaskLoRA 的权重变化就是被记录的更新，可加到同架构教师上；LoRA 是适配已发布模型成本最低的方式，且可以撤销安全训练。
   • 求导：记录的更新和教师在求导时视为常数，梯度只到 EraseLoRA，不穿过学习器轨迹，因此不是二阶元学习。每轮是一次短 rehearsal，外加每个记录步各一次教师前向和一次学生前向。
   • 附录 C 的取值：两种 LoRA 秩为 8，加在每层 query、key、value、output 投影，缩放 16/8。TaskLoRA 每轮 20 步、学习率 1e-4、批大小 8；K 为 5、10、20，权重各 1/3。外循环 100 步、学习率 1e-4。正文式 (4) 写出 λR，附录 C 给出 λR=1，并列出 λS=1，正文公式未定义 λS。候选为最后 5 个外循环 checkpoint；学习试验在 AGNews 选择子集上 10 步。合格线：开发集 FS 不超过基座 checkpoint 1 个点，开发集 RS 与 US 距基座 1 个点以内，学习进展至少为遗忘前模型的 90%。这些取值在全部基座、基准和骨干上共享。合并为 bfloat16 后，与适配器附着时的 FS、RS、US 相差在 0.1 以内，且 20 步 AGNews 微调能降低训练损失。

   收起这一问

4. 04论文做了哪些实验？

   十二个设置中UMU同时降低两类再学习并提高新任务分；去掉同步参考则新任务分下降。

   实验设置

   • 模型与基座：骨干为 Llama-3.2-3B-Instruct 与 Qwen3-4B 的指令微调版。UMU 加在 GD、RMU、KLUE 遗忘后的 checkpoint 上，有无 UMU 共享起点。Default 是遗忘前模型。
   • 数据与停止点：TOFU 的作者档案先注入再删，Forget01 为 40 条 forget、3960 条 retain；注入 5 个 epoch、学习率 1e-5。FaithUn 的真实人物事实来自预训练，用 5% forget。基座遗忘停在阈值：FaithUn 准确率 0.33，TOFU 的 ROUGE-L recall 0.1971，即随机错配问答的平均 recall。学习率在 1e-5、2e-5、5e-5 中取达到阈值的最小者。
   • 指标：FS 在 forget set 上，TOFU 为 ROUGE-L recall，FaithUn 为选择题准确率；RS 在 retain set；US 在 UMU 未使用的通用基准上。Harmful Attack 是在 forget set 比例 p 为 0.1 或 0.3 上重训时达到的最大 FS；Benign Attack 是在 1000 条不含目标数据的 Alpaca 上重训时的最大 FS。NS 是 AGNews 上微调一个 epoch 后的测试准确率，与选择子集不相交。FS 和两种攻击分越低越好，RS、US、NS 越高越好。论文未使用 LLM 评审。
   • 攻击协议：有害攻击从合格池抽比例 p 重训，FS 在剩余部分上测。TOFU 合格池为全部 40 题，两位虚构作者各 20 题，故重训 4 或 12 题、评测 36 或 28 题。FaithUn 合格池是已发布模型答错的 forget 题。AdamW 训 5 个 epoch，学习率 1e-5、5e-6、1e-6，报告 epoch 与学习率网格上的最大 FS。良性攻击学习率为 1e-5、1e-6、1e-7。每种配置换数据顺序重复 3 次后平均。评测攻击重新针对已发布模型优化，不复用训练中的 TaskLoRA。
   • 新任务与效用：AGNews 有 120000 条训练、7600 条测试。留出 6000 条训练，3000 用于选择、3000 用于第 3 节诊断；其余 114000 条、有效批大小 128、一个 epoch 为 891 次更新。NS 取最后一步在全部 7600 条测试上的准确率。Figure 4 在 24 个 checkpoint 上测量，起点为 0、1、2、5、10、20、50，其后每 50 步。FaithUn 的 US 为 MMLU、GSM8K、HellaSwag、ARC-Challenge、WinoGrande 各 500 条的平均准确率，各模型同一样本；TOFU 的 US 为 Real Authors 与 World Facts 的 ROUGE-L recall 平均。
   • 设备：全部实验在单张 NVIDIA GeForce RTX 5090 上。附录 C 给出 RMU 的层与系数、KLUE 的神经元比例，UMU 超参在全部配置间共享。

   主结果

   下表据 Table 1，箭头前为基座、后为加 UMU。只列 7 个设置，含 p=0.1 有害攻击分剩余最高的 TOFU Qwen RMU。省略 TOFU Qwen 的 GD 与 KLUE，以及 FaithUn 上 Llama、Qwen 的 KLUE。p=0.3 见 Table 1。

   表格较宽，可左右滑动

   设置	Harmful p=0.1	Benign	NS
   TOFU Llama GD	45.41→24.98	20.98→19.08	82.03→85.16
   TOFU Llama RMU	87.97→52.34	20.33→15.35	79.69→83.98
   TOFU Llama KLUE	43.71→24.04	22.19→18.95	81.25→84.38
   TOFU Qwen RMU	89.07→53.00	20.89→15.87	82.03→85.55
   FaithUn Llama GD	48.13→11.11	33.33→9.88	80.86→84.77
   FaithUn Llama RMU	52.63→15.79	14.29→5.26	78.12→83.20
   FaithUn Qwen GD	26.00→5.56	21.83→3.70	83.59→86.72

   • 遗忘与保留：作者称 UMU 保持遗忘，并修复基座遗忘损伤的保留。TOFU 上每种基座的 FS 都略降，如 Llama 上 GD 从 19.32 到 18.45；FaithUn 上各方法 FS 保持 0.0。RS 在被基座拉低处上升，如 FaithUn 上 GD 从 81.03 到 87.99（Llama）、69.35 到 79.29（Qwen3）；作者称 TOFU 上 KLUE 的 RS 增益最大，Llama 从 86.86 到 92.54。Table 1 中 TOFU 的 RMU，RS 从 93.70 到 93.56（Llama）、94.43 到 94.30（Qwen），并未上升。TOFU 六组 US 均低于对应基座，作者未单独解释 US。
   • 再学习：作者称十二个设置里两类攻击分一起下降，因而基座遗忘是抑制而非删除；UMU 对着会再次暴露目标的更新训练。第 5.2 节写平均降幅为良性 9.9、p=0.1 有害 28.8；摘要写 harmful 与 benign 平均降 30.4 与 9.9，未注明 30.4 对应哪种 p。作者称有害攻击是直接训练所针对的威胁，良性下降说明抵抗延伸到未曾 rehearsal 的更新。剩余最高的 p=0.1 有害分在 TOFU 的 RMU+UMU。
   • 可塑性：三种基座学 AGNews 都差于遗忘前模型；加 UMU 后接近该模型。作者称 Llama 上 RMU 掉得最多，TOFU 7.0、FaithUn 8.6，FaithUn 上也回升最多，为 5.1。作者称 GD+UMU 的 85.16（TOFU Llama）和 86.72（FaithUn Qwen3）分别距遗忘前模型 1.6 与 1.2 以内。作者把原因放在：参考若未接受更新，保留数据上的一切改变都算错误；UMU 中更新本身的改变不再算错误。作者也称 NS 上升有一部分来自学习试验，两部分在第 5.3 节分开。

   消融：replay 与选择（Table 2）

   • 测了什么：只在 GD、四个数据集与模型设置上，分别去掉 replay 和去掉学习试验。去掉 replay 时教师在重放更新之前取值，即 pre-update 参考。各变体共享起点和评测协议。
   • 结果：TOFU Llama 上去掉 replay 的 p=0.1 有害分为 23.89，全量 UMU 为 24.98；NS 为 78.91，作者称比全量低 6.3，也低于未加 UMU 的 GD（82.03）。FaithUn Qwen 上去掉 replay 的 NS 为 81.25，作者称比全量低 5.5，并称四个设置里该 NS 都低于未加 UMU 的 GD。去掉选择后，攻击分与全量大约相差 1 个点以内；FaithUn Qwen 的 p=0.3 为 8.33，全量为 9.26。作者称其 NS 在每个设置都比全量低 2.0 到 2.7。
   • 作者解读：去掉 replay 时，pre-update 参考把更新后的一切改变当成偏离，代价落在 NS 上；攻击分看不到这一点，因为不能学习的模型也不能恢复。只看恢复会漂向最不能训练的候选。作者认为两个方向都支持 reference-timing 假设。

   同一轨迹上的学习与恢复（Figure 4、Table 3）

   • 测了什么：已发布的 Llama-3.2-3B-Instruct，比较 GD、去掉 replay 的 UMU 和全量 UMU，在 AGNews 上微调一个 epoch（891 次更新），同时记录 TOFU Forget01 的 FS。
   • 结果：作者称三模型起点彼此在 1 个点以内，为 61.32、61.76、60.93。UMU 在第 20 步落后于 GD，第 50 步超过，终点 85.16，GD 为 82.03；去掉 replay 者在第 50 步落后于 GD，终点 78.91。作者称 GD 的 FS 在十个区间中有九个上升，从 19.32 到 22.18；又称 UMU 只升 0.88（18.45 到 19.33），去掉 replay 升 0.32。Table 3 在一个 epoch 预算的 11 个比例点上给出绝对 FS，GD 终点同为 22.18，但 30%、60%、90% 三点低于前一列。三个 UMU 变体终点在 18.93 到 19.33，各自距起点 1 个点以内。
   • 作者解读：作者称差别在学习有多快，因为惩罚更新本身的保留参考也会放慢习得新任务的更新。作者称 Figure 4(b) 最平的曲线属于 (a) 中最低的曲线，而 UMU 把最陡的学习曲线和几乎同样平的恢复曲线放在一起，并称这种选择性来自 replay。

   其他消融与分析

   • 附录 E：FaithUn 上基座遗忘使 GD 的 RS 降 8.2（Llama）和 11.7（Qwen3）。作者对 UMU 找回这部分给出一种解读，并写明未测量重放更新下教师的 RS，该解读未经验证。
   • 附录 E：TOFU 上被忘与保留作者用相同档案模板注入。作者用这一点解释 KLUE 的 RS 最低、UMU 的 RS 增益最大。作者认为 Qwen3 上基座遗忘后的 NS 损失更小，是因为更大更深的网络留下更多未被同一更新碰到的容量。
   • 附录 F 给出 p=0.3 有害攻击下 GD 与 GD+UMU 的生成示例。作者称攻击前两者都流畅作答并替换目标实体；攻击后 GD 恢复标签内容，GD+UMU 仍给出替换答案。
   • Figure 2 的轴为 optimizer steps，以及 Retain KL、Gradient cosine、Task ΔCE。正文给出升降和符号，未给出曲线端点数值。诊断设置为 GD、Llama-3.2-3B-Instruct、TOFU。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出遗忘质量继承基座方法，且rehearsal与攻击使用低秩适配。

   作者指出的局限与后续方向

   • 继承遗忘质量：UMU 继承底层遗忘方法的遗忘质量（第 6 节）。
   • 低秩适配：rehearsal 流程和所评估的攻击使用 low-rank adaptation（第 6 节）。
   • 不能跨 checkpoint 复用：每个基座遗忘 checkpoint 目前都需要自己的 rehearsal（第 6 节）。
   • 后续计划：作者计划研究全参数和自适应微调攻击，并研究 rehearsal 得到的更新能否在 checkpoint 之间迁移或复用（第 6 节）。

   实验覆盖范围

   • 主实验：骨干为 Llama-3.2-3B-Instruct 与 Qwen3-4B；基准为 TOFU Forget01 与 FaithUn 的 5% forget；基座为 GD、RMU、KLUE，共十二个设置（第 5.1–5.2 节，Table 1）。
   • 攻击协议：有害重训使用 forget set 的 p=0.1 与 0.3，良性重训使用 1000 条 Alpaca；每种攻击配置重复 3 次并平均（附录 D）。论文未报告标准差或统计检验。
   • 消融与轨迹：replay 与学习试验的消融在 GD 上、四个数据集与模型设置（Table 2）。同一轨迹为 Llama-3.2-3B-Instruct、GD 一族、AGNews 与 TOFU Forget01（Figure 4、Table 3）。Figure 2 的诊断为 GD、Llama-3.2-3B-Instruct、TOFU。
   • 适配形式：结论称 rehearsal 与所评估攻击使用 low-rank adaptation；附录 D 写评测重训使用 AdamW，未写明评测攻击是否采用 LoRA。实例化中的 EraseLoRA 与 TaskLoRA 为 LoRA（第 4.3 节、附录 C）。
   • 对照范围：实验基线为 GD、RMU、KLUE（Table 1）。相关工作讨论了 TAR、AntiDote 与 ILU，论文未报告与这三者的对照实验。效用集为五个通用基准各 500 条，以及 TOFU 的 Real Authors 与 World Facts（附录 D）。附录 E 写明未测量重放更新下教师的 RS。

   收起这一问

6. 06总结一下论文的主要内容

   UMU用同步更新的参考分开再学习抵抗与可塑性，作者称十二设置上两者同时改善。

   UMU 是加在已有遗忘方法上的训练流程，使发布后仍会被微调的模型抵抗再学习，同时还能学新任务。

   • 问题：后续微调可能恢复已删知识，即使微调不针对这些知识。只看再学习低，分不清选择性抵抗和可塑性丧失。pre-update 参考会把更新本身带来的有用变化当成偏离。作者提出 reference-timing 假设：相近目标抑制下，与更新同步的参考更能保住可塑性。
   • 做法：在学生副本上对目标答案做短时再学习，记录若干步的权重变化，把同一更新重放到冻结教师和学生上。只训练 EraseLoRA，使更新后的遗忘损失下降，并在保留集上匹配更新后教师。晚期 checkpoint 经短时新任务试验筛选后合并，教师和 TaskLoRA 丢弃，发布物没有运行时组件。
   • 主结果：Table 1 的十二个设置里，相对 GD、RMU、KLUE，有害与良性攻击分下降、NS 上升。作者报告 p=0.1 有害攻击分平均降 28.8，良性攻击分平均降 9.9，NS 平均升 3.5；摘要把 harmful 平均降幅写作 30.4。TOFU 上 RMU+UMU 的 p=0.1 有害分仍为 52.34（Llama）和 53.00（Qwen）。FaithUn 上各方法 FS 保持 0.0。
   • 对照：去掉 replay 后攻击分仍低，甚至可以低于全量 UMU，但 NS 低于未加 UMU 的 GD（Table 2）。Figure 4 中，作者称全量 UMU 的 AGNews 学习曲线最陡，而 FS 只从 18.45 升到 19.33。
   • 作者结论：鲁棒遗忘应当阻止被删知识回来，而不使模型抵抗学习本身。作者指出方法继承基座遗忘质量，rehearsal 与所评估攻击使用低秩适配，且每个 checkpoint 需要自己的 rehearsal。

   收起这一问

相关论文