Unmerge：用任务算术实现高效机器遗忘

近似机器遗忘要在不从头重训时去掉遗忘集影响，同时看清遗忘与保留在网络里如何纠缠。

• 场景：作者关注法规中的被遗忘权，以及基础模型里版权、隐私与安全相关的数据足迹删除。精确遗忘（按分片重训）是金标准，但对现代深度网络计算代价过高，因此大量工作在训练后编辑权重。本文聚焦概念级请求：去掉一个类、一个语义组或一种行为，遗忘集是其样本；任意单条记录的删除被作者视为另一问题（§4.5）。
• 现有方法不足：作者把主流近似方法分成梯度上升、重标注、师生蒸馏、以及显著性或 Fisher 类四类，并指出三点不足。（i）脆弱：多一个 epoch 就可能从遗忘不足翻到崩溃，需要按任务调参。（ii）看不见纠缠：标量遗忘/保留损失无法描述两者共享特征时的共存位置。（iii）不透明：评测几乎只有准确率与隐私数字，看不出某一层或某一方向为何成功或失败。
• 核心观察：若在 S = R ∪ F 上微调得到合并任务向量 τm，遗忘就是逆运算：找出其中的遗忘分量 τF 并减去，使余项表现得像只在保留集上训练的任务向量。作者称每一层的遗忘激活落在少数主导方向张成的子空间里，因此可用低秩分解 τF = B QF⊤。
• 本文提出：UNMERGE。它在每层解一个凸二次目标（匹配遗忘子空间内的合并向量、抑制向保留子空间泄漏、约束修正大小），只用前向激活统计，不做数据上的梯度。同时给出逐层、逐方向的重叠与幅度诊断，并在编辑前用可分性分数标出子空间编辑够不到的请求。

任务向量与模型合并

• Task vectors（Ilharco et al., 2023）：微调引起的权重差支持加减来组合或抑制行为。后续包括权重平均（Wortsman et al., 2022; Matena & Raffel, 2022）、冲突感知剪枝后再平均（Yadav et al., 2023; Yu et al., 2024）、闭式层激活目标（Jin et al., 2023），以及切空间上任务向量线性何时成立的分析（Ortiz-Jiménez et al., 2023）。
• Cheng et al. (2025)：作者称其指出任务向量干扰由层输入的张成空间决定，并给出无数据合并目标。本文沿用该视角但方向相反：从已合并向量里分解出遗忘子空间中的分量再减去。
• 用任务向量做删除：减去毒性向量一类工作（Ilharco et al., 2023; 2022; Zhang et al., 2023）假定已有显式遗忘任务向量。Kim et al. (2025) 的 NegMerge 在遗忘集上微调得到向量再取负，并在符号一致掩码下合并多个向量；Kuo et al. (2026) 约束微调使合并模型可精确遗忘。作者在 §4.2 与取负向量和 NegMerge 对比。

机器遗忘

• 精确方法：Bourtoule et al. (2021) 用分片训练使忘掉一点只作废一个分片，但需要训练时的机制。目标是得到与只在 R = S \ F 上重训不可区分的模型（Cao & Yang, 2015; Nguyen et al., 2025; Wang et al., 2024）。
• 近似方法：影响函数或 Fisher 擦除（Golatkar et al., 2020; 2021）、NegGrad+ 与 SCRUB（Kurmanji et al., 2023）、显著性掩码更新 SalUn（Fan et al., 2024）、突触抑制（Foster et al., 2024）、边界移动（Chen et al., 2023）、失忆式重标注（Graves et al., 2021; Tarun et al., 2024）、以及用教师把遗忘与保留分开的蒸馏（Chundawat et al., 2023; Zhou et al., 2025）或对过度遗忘加掩码蒸馏惩罚（Ha et al., 2026）。作者称相对这些方法，UNMERGE 在优化时无数据梯度（数据只用于二阶矩统计）、逐层可检查，并由带激活空间界的合并式目标驱动（Prop. 3.3），遗忘时不对 F 或 R 训练（App. B.3）。

子空间投影与表示编辑

• 持续学习与概念擦除：把梯度投到与旧任务正交的方向（Saha et al., 2021; Farajtabar et al., 2020）；在激活方向或低秩权重子空间上干预（Kim et al., 2018; Belrose et al., 2023; Ravfogel et al., 2022; Meng et al., 2022）。
• 与本文最近的编辑：Kodge et al. (2024)、Chen et al. (2024) 把权重从遗忘激活子空间投开。作者称当 Winit = 0 时，本文更新是该族的软成员，区别在于作用在任务向量上、解显式遗忘–泄漏目标而不是硬投影，并使用有监督基与诊断（App. A）。本文采用 CAV（Kim et al., 2018）作为基的一种构造，但从激活探测提升到权重级相减，并保留 QF 与 QR 的自然重叠，用式 (2) 的第二项软惩罚保留泄漏。

基线与基准

• 基线方法：重训模型 WRT、NegGrad+、Random Label、SalUn、NegTV、NegMerge，以及 Kodge et al. (2024) 的激活空间投影。语言实验还与 RMU 比较。
• 基准/数据集：CIFAR-100、TinyImageNet 上的类别级遗忘；实例级协议在 §4.5；语言模型初步实验用 TOFU 与 Llama-3.2-3B-Instruct。

作者把本文定位为模型合并的逆问题：不假定另训一个遗忘专家，而是在微调模型上从数据无关的基构造并学习 τF，再从 τm 中减去。

UNMERGE 把联合微调得到的权重差看成合并任务向量，学习低秩遗忘分量并减去，使余项在激活空间里接近只保留的任务向量。

问题设定与形式化

• 起点与任务向量：Winit 取公开预训练检查点 WPT，或从零训练时取 Winit = 0（从而 τm = WFT，App. D.4 有消融）。在训练集 S 上微调得到 WFT。遗忘集 F ⊂ S 在微调后给出，R = S \ F 且 |R| > |F|。理想目标是只在 R 上从 Winit 重训的 WRT。
• 定义：按式 (1)，τm = WFT − Winit，理想 τR⋆ = WRT − Winit，学到的余项 τR := τm − τF。作者不假设 τm 等于分别训练的专家之和；τR 定义为余项，目标选择使它近似正交于遗忘张成的 τF。
• 低秩参数化：层 l 上 τFl = B^l (QlF)⊤，B^l ∈ R^{m×k} 可学习，QlF ∈ R^{dl×k} 为遗忘基。遗忘投影 PFl = QlF (QlF)⊤；保留基与投影由保留输入同样构造。基有两种：对遗忘输入做 SVD 的无监督高能量基（PCA），或岭探测概念激活向量（CAV，Kim et al., 2018）的有监督判别基。

逐层目标

• 三项：式 (2) 对每层最小化 ∥(τm^l − τFl) PFl∥²F + λ∥τFl PRl∥²F + γ∥τFl∥²F。第一项让余项在遗忘张成内对齐合并向量，第二项抑制遗忘修正进入保留张成，第三项限制修正大小。更新为式 (3)：WUL = WFT − α τFl，α > 0。
• 降维后的凸问题：正交基下目标化为只关于 B^l 的严格凸二次型，每层 mk 个参数，优化时不再访问数据；保留项只作用在 QlF 与 QlR 共享的方向上。交叉矩阵 C^l = (QlF)⊤ QlR ∈ R^{k×k}。
• 为何低秩：作者依据 Assumption 3.1，称 τF 的行近似落在遗忘激活张成内，top-k 特征基的误差由尾特征值界定（Lemma 3.2）。秩过大在同一 α 下会伤害保留准确率（App. D.1）。

求解与理论界

• 三阶段：① 对 F ∪ R 做一次前向，构造 QlF、QlR；② B^l 初始化为投影 B0^l = τm^l QlF，在固定预算 T = 100 步 Adam 内走向投影二次型的极小点（作者称 < 1s）；③ 施加式 (3)，可选只改深层（skip-layers，§4.3）。作者称优化阶段无数据梯度。
• 闭式极小点：式 (4) 给出 B^l⋆ = τm^l QlF ((1+γ)I + λ C^l (C^l)⊤)^{-1}，每层一次 k×k 求解。作者并不跑到收敛：固定预算是估计器的一部分。Adam 每项位移至多 δ = lr × T，从而早停相当于隐式正则（Yao et al., 2007）。低重叠的 CAV 基上迭代与极小点重合；PCA 上残差承担部分编辑（App. D.3）。作者称去掉各项并重扫 α 后，第二项几乎解释了相对纯投影的全部增益（App. D.2）。
• 激活空间界：Assumption 3.1 称在学习率 η、Lipschitz 条件下，层任务向量 τ = CX + E，∥E∥F = O(η²)。Proposition 3.3 把遗忘输入上余项响应（遗忘泄漏）和保留输入上 ατF 的响应（保留损伤）分别用头特征值与尾特征值界定。Corollary 3.4 称极小点在遗忘私有方向（奇异值 σi ≈ 0）上增益为 1/(1+γ)，在与保留共享的方向（σi ≈ 1）上最多缩到 1/(1+γ+λ)。Remark 3.5 称与 Cheng et al. (2025) 的合并目标是同一子空间词汇、方向相反，对应关系是目标层面的类比，不是形式对偶。

诊断与成功参照

• 层几何：逐层任务向量幅度、遗忘–保留重叠及其深度剖面可在更新前检查。可分性分数在编辑前判断请求是否落在子空间编辑范围之外；作者称没有可分激活子空间的请求（极端情况是随机实例子集）无法被 unmerge，UNMERGE 会事先标出（§4.5）。
• 评测参照：理想参照是 WRT。性能用遗忘、保留、测试准确率，以及 Zhao et al. (2024) 的 tug-of-war：ToW = (1 − |AccF − AccF^RT|) · (1 − |AccR − AccR^RT|) · (1 − |Acctest − Acctest^RT|)，精确恢复 WRT 时为 1，同时惩罚过度与不足遗忘。另有倒数第二层特征分布相对间隙，以及遗忘集上成员推断准确率相对 WRT 的间隙。

实验设置

• 模型与初始化：ResNet-50 用于 CIFAR-100 与 TinyImageNet；ViT-S/16 用于 CIFAR-100（App. E.3）。每个模型从 Winit ∈ {W0, WPT} 微调得到 WFT。语言模型初步实验为 Llama-3.2-3B-Instruct（App. E.4）。
• 遗忘请求：类别级。CIFAR-100 为五个类组成的超类 Trees、Aquatic Mammals、Vehicles；TinyImageNet 为十个类的语义组 Dogs & Cats、Arthropods。F 为所选类训练图像的并，R = S \ F。§4.5 另有两种实例级协议。类索引、训练日程与配置在 App. C。
• 基线：WRT、NegGrad+、Random Label、SalUn、NegTV、NegMerge、Kodge et al. (2024)。本文变体为 UNMERGE-PCA 与 UNMERGE-CAV 的 KMEANS、CLASS 两种模式。超参按（方法, 初始化）在 Trees 与 Dogs & Cats 上调节，再以最小改动迁到其他任务（App. C）。
• 指标：相对重训的间隙，而不是绝对值。性能为 Forget / Retain / Test Acc 与式 (8) 的 ToW。纠缠为倒数第二层遗忘与保留特征分布距离相对 WRT 的间隙（MMD2、多带宽 MMD2、Bures–Wasserstein W2²、Sliced-W2²）。隐私为遗忘集上 WUL 与 WRT 的成员推断准确率间隙（Zhao et al., 2024; Fan et al., 2024; Shokri et al., 2017; Song & Mittal, 2021; App. E.6）。
• 汇总方式：Table 1 为 CIFAR-100 三个超类的均值 ± 样本标准差（N = 3，每格一种子；三随机种子方差在 App. E.2）。Table 2 为 TinyImageNet 的 Dogs & Cats。App. E.2 报告 Trees 上三种子的 μ 与 σ。运行时间在单张 H100 上测量。

主结果

Table 1 的 ToW（CIFAR-100，三超类均值）与 Table 2 的 ToW（TinyImageNet，Dogs & Cats）如下。

表格较宽，可左右滑动

设置	PCA	CAV-KMeans	CAV-Class	NegGrad+	Kodge et al.
CIFAR-100, WPT	0.9851	0.9739	0.9498	0.8992	0.9622
CIFAR-100, W0	0.9230	0.9865	0.9909	0.8798	0.9435
TinyIN Dogs&Cats, WPT	0.9635	0.9893	0.9904	0.8883	0.8189
TinyIN Dogs&Cats, W0	0.6736	0.8898	0.9152	0.7373	0.7350

据 Table 1、Table 2。CIFAR-100 格为三超类均值；WRT 的 ToW 均为 1。

• 作者的解读：作者称两种初始化、两个数据集上 UNMERGE 变体在 ToW 上领先；CIFAR-100 上至少两个变体高于每个梯度基线，TinyImageNet/W0 上只有 CAV-CLASS 如此。领先格子的超类离散小（ToW ±0.005–0.006），破坏性基线更大（WPT 上 Random Label 的遗忘准确率 9.2±5.1%）。NegTV 与 NegMerge 在每个任务上比最佳变体低 0.12–0.24 ToW，作者归因于它们减去的、在 F 上微调的向量与保留方向重叠，而式 (2) 第二项惩罚该泄漏。
• 效率：作者称 UNMERGE 在一张 H100 上为 8–105s；PCA 约为 NegGrad+ 的 2 倍快，CAV 与之相当，相对 Random Label 与 SalUn（CIFAR-100 上 110–113s，TinyImageNet 上 666–679s）约快 5 倍。作者称相对可比耗时的 NegGrad+，ToW 相对提升最高约 24%；相对 Random Label 与 SalUn 最高约 18%，同时约快 5 倍。超过 95% 的时间花在前向与基构造（App. B.3）。
• 其他主数字：ViT-S/16（重训测试准确率 86.1%，App. E.3）上 UNMERGE-CAV-KMEANS 的 ToW 为 0.9975，SalUn 为 0.9949，运行时间低 14 倍；作者称 MIA 间隙与纠缠分别比 SalUn 近重训 1.8 倍与 7 倍。TOFU 上 Llama-3.2-3B-Instruct：无训练、用保留收缩的 PCA 基与闭式求解器，遗忘质量 0.13、模型效用 0.630（只保留模型 0.650）；作者所跑默认设置下最强基线 RMU 为 0.09 与 0.633（§4.2, App. E.4）。

遗忘发生在何处

• 跳过浅层：作者称有用的 unmerge 预算集中在更深层。ResNet-50 跳过前 35/40 个卷积层仍保留遗忘下降，保留/测试准确率提高 2–5 个点（§4.3）。作者将其对应到视觉网络的特征层级，并称这是请求的性质：类或概念在语义被编码处可分；颜色或纹理这类低层属性会指向更早的层，同一诊断会指出来。
• Figure 1（CIFAR-100 Trees，ResNet-50，秩 16，seed 1）：纵轴为遗忘基方向与保留子空间重叠的方向均值。作者称该重叠随深度下降，layer1–2 为 0.8–1.0，layer4 为 0.4–0.6；PCA 在每一深度最纠缠（layer4 上 WPT/W0 为 0.54/0.58，分类器为 0.46/0.56），CAV 为 0.40–0.46 与 0.08–0.20；三种基几乎不随初始化变（块均值相差 0.13 以内，layer4 为 0.05）。
• 幅度（Fig. 2, App. D.1）：作者称 layer1–2 上 ∥τm∥ 在 WPT 略大，layer4 与分类器上 W0 约为 WPT 的 1.5–2 倍（峰值 15.4/15.8 对 10.0/8.8）。诊断用来定 skip-layers（重叠拐点）、α（与最深层 ∥τm∥ 成反比）以及高纠缠时用 CAV；α 可只按遗忘集准确率线搜索，不必用 WRT 或测试数据。

特征纠缠与成员隐私

• Table 3（CIFAR-100 Trees，相对 WRT 的间隙，越低越近）：四种距离的均值，WPT 上 CAV-KMeans 0.254、CAV-Class 0.315、PCA 0.318，Random Label 1.213、SalUn 1.014、Kodge et al. 0.634；W0 上 CAV-Class 0.097、CAV-KMeans 0.108、PCA 0.312，Random Label 2.495、SalUn 2.434。作者称重标注把遗忘准确率压低，但遗忘表示仍与保留可分；UNMERGE 在压低遗忘准确率的同时更接近重训的特征分离。W2²-Bures 在 WPT 上有利于 SalUn。未编辑 WFT 在 W0 为 0.67；CIFAR-100/WPT 上未编辑特征已接近重训（0.22），该轴没有余量。
• MIA（§4.5, App. E.6）：CIFAR-100 上 Kodge et al. 的平均 MIA 间隙最小（W0/WPT 为 0.017/0.028）；W0 上随后是 CAV-KMEANS 0.026、CAV-CLASS 0.029，优于 SalUn 0.047、Random Label 0.062、NegGrad+ 0.109；WPT 上其他方法在 0.067–0.093。TinyImageNet 的 WPT 上 UNMERGE 为 0.009–0.020，各基线为 0.043–0.261。作者称在这些攻击下，类别级的成员推断暴露仍接近重训参照。

其他消融与分析

• 实例级（Trees, App. E.7）：相干子集（每类一半图像）上 UNMERGE 的 ToW 为 0.97/0.94，重调的 NegGrad+ 为 0.94，重标注为 0.81–0.90；作者称编辑同时压低同一类的两半，没有方法复现重训。随机子集上 UNMERGE 与 NegGrad+ 近乎不动；Random Label 与 SalUn 的攻击准确率 0.84–0.88，重训为 0.63–0.68。Phase-1 可分性分数 S = 0.17。
• 任务向量保真（Trees, App. E.8）：两次独立重训的权重相对误差 0.72–0.73，未编辑 WFT 为 0.75；UNMERGE 停在 0.750–0.754，Random Label 0.82、SalUn 0.91。遗忘集输出散度：CAV-KMEANS 在 W0 为 2.9（基线 4.9–5.2），WPT 为 5.3（基线 5.9–6.6）。附录另记 CAV-CLASS 在 WPT、α=2.5 时遗忘准确率与重训相差 0.12 个点以内，但遗忘集散度最大（7.15）。
• 三随机种子（Trees, App. E.2）：相对 SalUn 与 RL 的排序保持；W0 上 UNMERGE 变体的 ToW 标准差小 1.7–4.5 倍。
• 目标项消融（App. D.2）：作者称重扫 α 后，第二项几乎贡献了相对纯投影的全部增益。
• 求解器（App. D.3）：报告格子用早停 Adam 而不是精确极小点；低重叠 CAV 与极小点重合，PCA 残差承担部分编辑，且依赖固定的步数预算。
• 检查点（App. D.4）：WPT 必须用同一预训练检查点，换一个会灾难性失败；Winit = 0 是安全回退。

作者指出的局限与后续方向

• 概念级而非逐样本：UNMERGE 是针对占据可分激活子空间的概念级请求的免训练编辑，如整类与语义组。相干实例子集上它会同时压低一类的遗忘半与保留半（Tab. 21）。随机实例子集是逐样本去记忆而不是概念去除，没有子空间编辑能在不动保留的情况下移动其遗忘准确率（App. F；§4.5；Conclusion）。
• 并非无数据：优化时无梯度，但仍需要对 F ∪ R 的前向；CAV-CLASS 需要遗忘标签；WPT 必须用同一预训练检查点，换检查点会失败，Winit = 0 是回退（App. F, Requirements）。可分性比需要同样大小的随机子集对照来标定（App. E.7）。
• 权重空间不重构重训向量：作者称 unmerge 在权重空间不造成伤害，遗忘集散度在 Tab. 23 的方法中最小，但并不在权重空间里把 τR 重构到超过未编辑模型（§4.5, App. F）。
• 类别信息仍可被探测：类别级上，对未编辑模型做 logit 掩码已能在 ToW 与 MIA 间隙上匹配重训；冻结特征上的线性探针仍能从所测每种近似方法（含本文）恢复遗忘类。特征纠缠轴在 W0 与 TinyImageNet 上把 UNMERGE 与这种掩码分开，但在 CIFAR-100/WPT 上分不开，因为未编辑特征已接近重训。作者因此只声称输出与特征分布上接近重训，不声称类别信息不可解码（App. F）。
• 求解器与实验广度：报告结果用早停 Adam 迭代而非精确极小点，因此 λ 是名义的，PCA 变体依赖全程固定的步数预算（App. D.3, App. F）。实例级、任务向量验证与种子方差研究只用一个 CIFAR-100 超类；代价模型在 ResNet-50 与 ViT-S/16 上验证；语言模型规模只有 App. E.4 的初步研究（App. F）。
• 后续方向：作者计划的方向包括初步研究之外的语言模型、持续遗忘请求，以及由同一诊断驱动的逐层自适应秩与深度选择（Conclusion；App. F）。作者还称 CAV 接受任意正负池，概念标签可把同一目标用到语言与视觉–语言模型，层结构也适合 LoRA 合并与混合专家检查点；显式求解器是另一方向（App. F）。作者计划在接收后发布代码、配置与评测流程。

实验覆盖范围

• 视觉主实验：ResNet-50 在 CIFAR-100 三个五类超类和 TinyImageNet 两个十类语义组上，各有 WPT 与 W0；ViT-S/16 在 CIFAR-100 上报告 ToW、运行时间以及相对 SalUn 的 MIA 与纠缠比较（§4.1–4.2, App. E.3）。
• 基线与变体：梯度方法 NegGrad+、Random Label、SalUn，任务向量 NegTV 与 NegMerge，梯度无关投影 Kodge et al. (2024)，以及 UNMERGE 的 PCA、CAV-KMeans、CAV-Class（§4.1）。
• 隐私、特征与保真：成员推断间隙按 CIFAR-100 与 TinyImageNet、两种初始化报告（§4.5）；特征相对间隙的完整四距离表为 CIFAR-100 Trees（Table 3）；权重与输出空间对照为 Trees（App. E.8）。
• 实例级与诊断：两种实例级协议均在 Trees 上，各有自己的重训参照，并给出 Phase-1 可分性分数 S = 0.17（§4.5）。层重叠图为 CIFAR-100 Trees、ResNet-50、秩 16、seed 1（Figure 1）。三随机种子方差报告在 Trees（App. E.2）。
• 语言模型：TOFU 上 Llama-3.2-3B-Instruct 的初步设置使用保留收缩的 PCA 基与闭式求解器，并与默认设置的 RMU 比较遗忘质量与模型效用（§4.2, App. E.4）。论文报告所有实验在单张 NVIDIA H100 上运行。

UNMERGE 把近似机器遗忘写成模型合并的逆运算：从已微调的合并任务向量里减去一个学出来的低秩遗忘分量。

作者要处理的是概念级请求（一个类或一个语义组），而不是任意单条记录。梯度上升、重标注、蒸馏和显著性方法都靠把遗忘损失写进权重，作者认为它们超参脆弱、无法表达遗忘与保留的共享方向，也缺少逐层诊断。

做法是在每一层用遗忘激活的 PCA 或 CAV 基参数化 τF = B QF⊤，最小化三项：余项在遗忘张成内对齐 τm、遗忘修正少进入保留张成、修正本身不要过大。优化只用一次 F ∪ R 前向得到的统计，每层在 k 维投影空间里做最多 100 步 Adam 或用闭式解，再按比例 α 从 WFT 减去。Proposition 3.3 把三项分别联系到激活空间里的遗忘泄漏与保留损伤。重叠与任务向量幅度在编辑前即可计算，用来选层、选 α，并标出没有可分子空间的请求。

类别级结果以相对重训的 ToW 为主。CIFAR-100 三超类均值上，W0 的 CAV-Class 为 0.9909，WPT 的 PCA 为 0.9851（Table 1）。TinyImageNet 的 Dogs & Cats 上，CAV-Class 在 WPT 为 0.9904、在 W0 为 0.9152，后者是该设置下唯一高于全部梯度基线的变体（Table 2）。作者称相对耗时相近的 NegGrad+，ToW 相对提升最高约 24%，相对更慢的重标注与 SalUn 最高约 18%。CIFAR-100 Trees 上 CAV 变体的特征距离相对间隙在 W0 约为 0.10（Table 3）。类别级 MIA 间隙接近重训；Kodge et al. 在 CIFAR-100 上更小。ViT-S/16 上 CAV-KMeans 的 ToW 为 0.9975。TOFU 上 Llama-3.2-3B 的初步结果为遗忘质量 0.13、效用 0.630，对照只保留模型 0.650。

作者的结论是：该方法在类别遗忘上改善保留/遗忘权衡，成员推断暴露停留在重训水平，并把遗忘特征推向重训模型而不是推开；诊断把适用范围划在概念级请求。随机实例删除是另一问题，所测方法都没有复现重训。权重空间里余项并不比未编辑模型更接近重训任务向量，冻结特征上的线性探针仍能读出遗忘类。