通过逆向蒸馏实现数据遗忘（IDU）

如何在没有保留训练样本时，把多步匹配教师蒸馏成单步生成器，并抑制指定遗忘子集的生成。

• 场景：作者称多步 diffusion、flow 等匹配模型质量高，但推理开销大，且可能记住并复现未经充分审核的网络数据，带来隐私、版权、法律和伦理问题。机器遗忘要去掉特定数据、类或概念的影响，同时保住其余数据的生成质量。
• 设定分裂：数据遗忘擦的是没有类或提示词锚点的样本（如单张人脸、NSFW），遗忘集以样本给出，常见于无条件模型，也可用于条件模型中某一类内部。类别遗忘则用标签或文本概念，让条件模型在该条件上输出噪声或无关内容。
• 现有不足：作者称匹配模型的数据遗忘已有通用框架和专用解法，但面向单步生成器、易调且模型无关的进展很少，只点名 Choi et al., 2026。类别遗忘里处理单步模型的工作也少，作者点名 Chen et al., 2025。难点是遗忘与保留数据缠在参数里，生成时不能直接提示出遗忘数据，保留样本还可能不可得，又不能从头重训。
• 本文做法：提出 Inverse Distillation Unlearning（IDU）。只用全数据预训练教师和遗忘集，经逆蒸馏得到单步生成器，并惩罚其复现不想要的样本。不需要额外特征提取器或分类器，方法自带的权衡参数只有 ρ∈[0,1)。
• 作者定位：作者称据其所知，IDU 是无条件 flow-matching 与 score-based 模型上同时做遗忘和蒸馏的首个统一框架。它既可从教师新建单步生成器，也可擦掉已有单步生成器中的不想要样本。

论文第 2 节按匹配模型、蒸馏、数据遗忘和类别遗忘来写。

匹配模型

• 多步生成：Ho et al.（2020）的 DDPM 学习去噪器以反转前向过程；Song et al.（2021）的 SGM 在连续时间近似分数并模拟反向 SDE；Lipman et al.（2023）的 flow matching 学习数据到噪声的 ODE 漂移。作者把它们统称 matching models：用通用匹配损失 L_UM，去拟合以初始数据为条件的无偏估计。
• 条件目标：去噪模型的条件估计是干净样本，分数模型是条件分数，线性插值的 flow 匹配条件漂移。时间采样和损失加权被记在期望符号里。

蒸馏与单步模型

• 逆蒸馏共性：多步采样慢于 VAE（Kingma & Welling, 2013）和 GAN（Goodfellow et al., 2014）。Yin et al.（2024a;b）、Zhou et al.（2024）、Gushchin et al.（2025）等在多步教师下训练单步生成器。Kornilov et al.（2026）把它们收成同一逆优化：比较教师与最优伪造模型在当前生成分布上的 L_UM，差为 0 当且仅当找回教师数据。
• 与本文的衔接：论文以该 min-max 方案为起点，再改被优化的分布，而不是另起一种生成器。

数据遗忘

• 遗忘加保留：理想模型应像只在保留数据上用普通损失训练。Golatkar et al.（2020）、Thudi et al.（2022）、Tang & Khanna（2026）改为微调 ρ·L_forget+(1-ρ)·L_remain。匹配模型上的后续工作包括 NegGrad、SA（Heng & Soh, 2023）、SalUn（Fan et al., 2024）、SISS（Alberti et al., 2025）、MGSM（Jiang et al., 2025）、EraseDiff（Wu et al., 2025）、Retrack（Shi et al., 2026）、Khalafi et al.（2026）的约束 KL、VDU（Panda et al., 2024）和 ContinualFlow（Simone et al., 2025）。论文指出 NegGrad 常不稳定，并带来灾难性遗忘。
• 单步数据遗忘：Choi et al.（2026）的 UOT-Unlearn 用不平衡最优传输把已有单步生成器推离不想要的样本。论文指出其代价要预计算特征提取器并手调，且不用教师；并称 OT 相对匹配模型蒸馏，可扩展性和多样性有限。同一工作把 VDU、SalUn、SA 改到一致性模型；论文指出这些改法靠分类器认出遗忘样本，不能直接用到非自一致生成器。

类别遗忘与基线

• 条件擦除：Gandikota et al.（2023;2024）、Lu et al.（2024）、Zhang et al.（2024）等把不想要的类绑到别的对象，多数不提供遗忘样本。SA、SalUn、EraseDiff 也可做类别遗忘。论文称这类注意力或推断结构上的方法并不总能改到数据遗忘。
• SFD：Chen et al.（2025）在条件逆蒸馏里做类别遗忘，把遗忘类的教师分数换成安全类分数。作者称这是最相关的单步类别遗忘工作，完整生成器损失在附录 A.3。
• 实验基线与基准：第 4 节的基线是全数据教师、纯蒸馏、仅保留数据重训的教师及其蒸馏学生；基准是 MNIST 与 CIFAR-10。讨论里的 UOT-Unlearn、SFD 数字来自对方论文，不是本文重跑。

作者把本文放在单步生成器的数据遗忘空缺上：只用教师和遗忘样本，把遗忘分布与生成分布当成一个混合去拟合，而不是让遗忘损失和保留损失互相对抗。

Inverse Distillation Unlearning（IDU） 不直接最小化“只在保留数据上的匹配损失”。它把逆蒸馏要恢复的分布写成遗忘样本与当前生成分布的混合；比例设对时，生成器只需学会保留数据，就能对上全数据教师。

问题设定

• 数据分解：遗忘分布为 p^F_0，全数据写成 p^∗₀=π p^F₀+(1−π)p^R₀。π∈[0,1) 是遗忘占比，p^R_0 是保留分布。原始数据和保留数据都不可得。
• 教师与生成器：可得任意匹配类型的教师 f*=arg min L_UM(f,p*_0)，以及遗忘样本。单步生成器 G_θ:Z→R^D 把潜变量分布映到 p^θ_0，可预训练，或用教师的单步推断方案初始化。
• 成功标准（训练目标）：最优生成器只复现 p^R_0。类标签和提示词不进入训练；类信息只在后面的评测里使用。

混合参数化

• 普通逆蒸馏：对分布 p_0 做 min-max，用 L_UM(f*,p_0)-L_UM(f,p_0) 衡量教师相对最优伪造模型拟合得如何。差非负；p_0 等于教师数据时差为 0。
• IDU 的替换：被优化分布写成 p^mix₀=ρ p^F₀+(1−ρ)p^θ₀，ρ∈[0,1)，即用生成分布代替式中的保留分布。遗忘成分已由遗忘样本计入。
• 定理：Theorem 1 称，ρ=π 时优化 IDU 损失，最优参数给出 p^θ_0opt=p^R_0。证明在附录 A.1，用到 Kornilov et al.（2026）的引理：逆蒸馏最优为 0 当且仅当找回教师数据。
• 损失拆分：作者指出 L_UM 对输入数据线性，所以目标可拆成权重 ρ 的遗忘项和权重 1-ρ 的生成项，两项都是教师与伪造模型的 L_UM 之差。

交替更新

• 伪造模型：先最小化加权和 ρ·L_UM(f,p^F_0)+(1-ρ)·L_UM(f,p^θ_0)。两条分支各自做前向加噪，并使用对应的条件估计。Figure 1 的说明称，这一步用来发现与遗忘样本相似的生成。
• 生成器：固定伪造模型后，不用默认的 L_UM(f*,p^θ_0)-L_UM(f,p^θ_0)，而用 Zhou et al.（2024）SiD 的内积形式，并把第二项乘上 α_SiD。作者称 α_SiD=0.5 回到默认理论损失；更大的因子实践中可能更好，但依赖模型类型和网络。他们取 α_SiD∈[0.5,1.2]。
• 迭代内容：Algorithm 1 以 flow 为例：采样潜变量、噪声和遗忘批，按线性插值加噪，条件目标为两端点之差除以 T，然后先更新伪造模型、再更新生成器。分数模型换成对应的条件分数估计，总流程相同。
• 作者对机制的说法：附录 A.2 与第 5 节把最优伪造模型下的生成器损失写成混合路径上教师与伪造模型之差的平方范数。作者称，生成器若再产出遗忘样本，伪造模型会偏离教师；最小化该损失抑制这部分多余生成，也抑制低质量的保留生成。

参数与两种用法

• ρ：唯一新超参。理论值是 ρ=π，可按遗忘集在全数据中的比例近似。作者仍建议试其他值，以权衡遗忘率与保留质量；FM 与 SiD 的取值见第 4 问。
• α_SiD：沿用原蒸馏配方，FM 为 0.5，SiD 为 1.2。学习率、批大小和迭代预算在附录 B.5。
• 从头或微调：附录 B.6 称，微调时用已有生成器初始化 G_θ，否则用教师的单步推断方案。损失形式不变。
• 不进入训练的东西：保留图像、外部分类器、额外特征提取器都不进入损失或梯度。教师可以是 flow 或 score-based 匹配模型。

实验设置

• 任务：MNIST 与 CIFAR-10。主实验联合遗忘数字 3 和 7，或 CIFAR-10 类 1（automobile）与类 9（truck）。类成员只为了让遗忘可测；训练只接收遗忘样本，不接收标签或提示词。
• 骨干：flow matching（Tong et al., 2023）和 SiD 的 EDM-VP 分数骨干（Karras et al., 2024; Zhou et al., 2024）。CIFAR-10 使用公开的 400k 步 I-CFM U-Net 与无条件 EDM-VP（DDPM++）教师；MNIST 改成 28×28 灰度。每个冻结的全数据教师上同时跑纯蒸馏和 IDU。
• 基线：纯蒸馏不混入遗忘数据，用来核对同一框架能恢复普通单步生成器。另有仅保留数据重训的教师，及其蒸馏学生。
• 指标：FID 用 clean-fid v0.1.35、legacy tensorflow 模式、5 万张生成图。全数据教师和纯蒸馏对全训练集；IDU 和重训对去掉遗忘标签的训练集（Retain FID）。配对类参考集为 MNIST 6 万或 47604 张、CIFAR-10 5 万或 4 万张。FGR 是 5 万张图中被分到某一遗忘类的百分比。
• 分类器：MNIST 为公开 LeNet-5，论文写仓库报告验证准确率 99.13%、测试准确率 98.94%。CIFAR-10 为公开 ResNet-56，仓库报告 top-1 94.37%、top-5 99.83%。分类器不进入损失、梯度或条件。
• 重复与检查点：Table 1 注为五次运行的均值±标准差，正文写 five evaluations；标 † 的 CIFAR-10 分数模型数字来自 Zhou et al., 2024。报告检查点按观察到的最低 FID 选取，FM 还要选在后期遗忘回升之前。论文未说明五次是独立训练还是重复评估。

主结果

据 Table 1。Pretrain 与纯蒸馏的 FID 对全数据，重训蒸馏与 IDU 对保留数据。FM IDU 的 ρ 为 MNIST 0.4、CIFAR-10 0.6；SiD IDU 的 ρ=0.2。FGR 依次为类 3/7 或类 1/9。

| 方法 | MNIST FID | MNIST FGR | CIFAR-10 FID | CIFAR-10 FGR | | FM Pretrain | 0.88±0.01 | 10.40±0.12 / 10.10±0.26 | 3.66±0.03 | 12.50±0.08 / 11.18±0.12 | | FM 纯蒸馏 | 3.23±0.03 | 10.50±0.15 / 10.53±0.09 | 4.35±0.05 | 7.58±0.09 / 8.75±0.21 | | FM 重训蒸馏 | 5.72±0.12 | 未报告 | 5.12±0.05 | 未报告 | | FM IDU | 3.57±0.03 | 0.16±0.01 / 0.16±0.01 | 5.81±0.05 | 0.56±0.05 / 0.39±0.03 | | SiD Pretrain | 1.35±0.02 | 10.99±0.14 / 9.65±0.22 | 1.97† | 11.13±0.12 / 10.04±0.15 | | SiD 纯蒸馏 | 1.12±0.01 | 10.51±0.12 / 10.07±0.24 | 1.92±0.02† | 10.11±0.14 / 10.66±0.14 | | SiD 重训蒸馏 | 1.20±0.02 | 未报告 | 2.82±0.02 | 未报告 | | SiD IDU | 1.65±0.02 | 0.63±0.03 / 0.32±0.02 | 3.15±0.03 | 1.11±0.06 / 1.25±0.06 |

• 作者解读：作者称四种数据集–骨干组合都压低了两个遗忘模式，三个设置的生成质量接近对应重训蒸馏，FM–MNIST 上 IDU 优于该参照；并称该对照要谨慎，因为仅保留数据的重训基线敏感（附录 B.9）。
• 未列入上表的重训教师：Table 1 中 FM 重训教师 FID 为 MNIST 0.340±0.001、CIFAR-10 3.93±0.02；SiD 为 0.85±0.02 与 2.26±0.02。FGR 栏为未报告。
• 定性网格：附录 C 图注称，教师网格含目标类，IDU 网格抑制这些类并保留其余类；5 万张的 FGR 在 Table 1。文本转写看不到网格像素。生成器在这些实验里不被类标签提示。

单类遗忘

• 测了什么：Table 2 对 FM–MNIST、FM–CIFAR-10、SiD–CIFAR-10 的 10 个类分别遗忘。论文未在该表报告 SiD–MNIST。
• 结果：十次实验的类均值，Retain FID / FGR 为 FM–MNIST 4.54 / 0.16%，FM–CIFAR-10 7.73 / 0.84%，SiD–CIFAR-10 3.61 / 0.75%。各类 FGR 最高的一行是 FM–MNIST 类 9 的 0.45±0.03%、FM–CIFAR-10 类 3 的 1.51±0.04%、SiD–CIFAR-10 类 3 的 1.11±0.02%。
• 作者解读：作者称低 FGR 并不只出现在主实验使用的类对上。

遗忘权重 ρ

• 测了什么：Table 3 在 CIFAR-10 上联合遗忘类 1 与 9。FM 评了 ρ=0.05 到 0.9；SiD 未评 0.05 与 0.1。正文把该表的 FID 称为 Retain FID。
• 结果：FM 在 ρ=0.9 立即发散。作者称稳定运行中低 ρ 留下更高 FGR，ρ=0.8 改善遗忘但 FID 代价大（8.59±0.11，FGR 0.38±0.03% 与 0.32±0.03%）。加粗配置 ρ=0.6 的 FID 为 5.81±0.05，FGR 为 0.56±0.05% 与 0.39±0.03%。SiD 从 ρ=0.2 增到 0.8，Retain FID 从 3.15±0.03 升到 6.29±0.07，两类 FGR 非单调；ρ=0.9 不发散，FGR 为 12.05±0.18% 与 9.55±0.12%，FID 为 10.36±0.10。
• 作者解读：作者称过大的 ρ 可以降低保真度却并不遗忘；ρ=0.9 的 SiD FGR 接近全数据教师。MNIST 的 FM 取 ρ=0.4，按同一质量–遗忘标准选取。

对方论文数字与微调

• UOT-Unlearn：作者称对方代码不可得，对照其采用 SiD 结构、初始 FID 1.73 的已遗忘 CTM。CIFAR-10 遗忘类 1、6、8 时，对方 Retain FID 为 9.90、5.11、5.88，FGR 作者称约为 2%、0.9%、1.5%。作者给出的本文数字为 2.96、4.16、3.22 与 0.61%、0.53%、0.54%；这些数字与 Table 2 的 SiD–CIFAR-10 类 1、6、8 相同，该段未写“据 Table 2”。
• SFD：CIFAR-10 遗忘类 0 时，作者称 SFD 的 Retain FID 约为 3.1、FGR 为 0.36%（对方 Figure 5），本文为 3.54 与 0.58%（Table 2）。后一组数字与 Table 2 的 SiD–CIFAR-10 类 0 相同，该句未再写骨干。作者称在生成器不被类标签提示时，结果与之相当。
• 微调：Table 4 从纯蒸馏检查点继续 IDU。FM（学习率 5×10^-6，ρ=0.6）对类 1/9 的 Retain FID 为 5.17±0.08，FGR 为 0.89±0.02% 与 0.42±0.03%。SiD（学习率 10^-6，ρ=0.2）为 3.12±0.06，以及 2.69±0.06% 与 2.60±0.04%。作者称两者相对纯蒸馏都降低了遗忘类生成；相对从头训练的 IDU，FM 的 Retain FID 更低而 FGR 略高，SiD 的 Retain FID 相近而 FGR 更高。

其他消融与分析

• FM 回升（第 5 节）：扩展运行中目标类常先被压低，约 20k 次生成器更新后频率可能回升，起点依赖 ρ；评测过的 SiD 范围内作者未观察到回升。
• FM–MNIST 的 ρ（Table 5）：ρ=0.4 时 Retain FID 3.57±0.03，两类 FGR 均为 0.16±0.01%。ρ≥0.6 时目标 FGR 为 0，但额外抑制数字 2 和 5，部分运行还有 8 或 9，Retain FID 高于 10（ρ=0.6 为 11.20±0.10）。
• 重训对照（附录 B.9）：作者认为 FM–MNIST 重训教师 Retain FID 0.34 可能反映对较小保留子集过拟合；其蒸馏学生持续生成不好数字 2，Retain FID 为 5.72。作者称所用结构与优化设置和全数据预训练相同。
• 采样（附录 B.2）：CIFAR-10 FM 教师用 Dopri5、容差 10^-5；MNIST FM 教师用 100 步 Euler；两个 SiD 教师用带二阶修正的确定性 18 步 EDM。蒸馏后的生成器均为一步。
• 预算（附录 B.5）：FM–MNIST 的蒸馏与 IDU 约 3 万次生成器迭代、学习率 10^-4、批大小 256；FM–CIFAR-10 约 5 万次、学习率 3×10^-5。SiD 的 IDU 与蒸馏为两侧学习率 10^-5、全局批大小 512、100 Mimg，并保留 t_max=800、初始噪声标准差 2.5。
• 无保留数据时选 ρ（第 5 节）：作者称可从遗忘集比例起选取；若必须直接评测，可用分类或人工从教师样本里挑保留数据。

作者指出的局限与后续方向

• FM 遗忘回升：扩展的 FM 运行里，目标类常较早被压低，但大约 20k 次生成器更新后生成频率可能再升高，起点依赖 ρ，因此要联合选择 ρ 和 checkpoint（第 5 节）。
• 归因与后续：作者称在评测过的 SiD 训练范围内没有看到这一回升；这像是当前 FM 实例的局限，不是 IDU 目标本身的局限。更大、更稳定的 FM 结构可能让 ρ 接近遗忘集比例，如同 SiD 上 ρ=0.2 对应十类中的两类（第 5 节）。
• ρ 不一定越大越好：没有保留数据时，ρ 可从遗忘集比例起选取；作者称消融显示更大的值不一定改善遗忘，还可能降低保真度（第 5 节）。
• MNIST–FM 重训对照：仅保留数据的 FM 基线敏感。重训教师 Retain FID 为 0.34，作者认为可能是对较小保留子集过拟合；蒸馏后数字 2 生成差，Retain FID 升到 5.72。作者称这促使用更大、更稳定的骨干做评估（附录 B.9）。

实验覆盖范围

• 数据与骨干：实验在 MNIST 与 CIFAR-10 上，骨干为 FM 与 SiD 所用的 EDM-VP；Table 1 含全数据教师、纯蒸馏、重训教师、重训蒸馏和 IDU。
• 遗忘任务：主实验各联合遗忘两个类。Table 2 另有 FM–MNIST、FM–CIFAR-10、SiD–CIFAR-10 各 10 个单类实验。论文未报告 SiD–MNIST 的单类结果。
• 指标协议：FGR 对 5 万张生成图，MNIST 用 LeNet-5、CIFAR-10 用 ResNet-56；FID 用 clean-fid 和 5 万张生成图。除 † 外为五次运行或五次评估的均值±标准差。论文未说明这五次是否为独立训练。
• 对照来源：训练损失只用教师和遗忘样本，分类器不进入训练（第 4 节、附录 B.3）。与 UOT-Unlearn、SFD 的数字对比使用对方报告值；作者称 UOT-Unlearn 代码不可得。论文未报告在同一协议下重跑 NegGrad、SA、SalUn 等方法。
• 材料：作者计划发表后发布复现主结果所用的代码、配置、评测脚本和 checkpoint（附录 B.8）。

IDU 面向无条件 flow 与 score-based 教师，在蒸馏成单步生成器的同时做数据遗忘。

• 问题：多步匹配模型可能复现不想要的训练内容。理想结果应像只在保留数据上训练，但保留样本常常不可得，也不能从头重训。作者称单步生成器上少有不依赖分类器或特征提取器的数据遗忘方法。
• 方法：把逆蒸馏要恢复的分布写成遗忘样本与当前生成分布的混合，权重 ρ。伪造模型拟合该混合，生成器使用 SiD 形式的损失，使再生成遗忘样本会偏离教师。Theorem 1 称 ρ 等于遗忘占比时，最优生成器只复现保留数据。FM 取 α_SiD=0.5，SiD 取 1.2。
• 主结果：Table 1 中，FM–MNIST（ρ=0.4）两类 FGR 均为 0.16±0.01%，Retain FID 为 3.57±0.03；FM–CIFAR-10（ρ=0.6）FGR 为 0.56±0.05% 与 0.39±0.03%，Retain FID 为 5.81±0.05。SiD（ρ=0.2）在 MNIST 的 FGR 为 0.63±0.03% 与 0.32±0.02%，在 CIFAR-10 为 1.11±0.06% 与 1.25±0.06%，Retain FID 为 1.65±0.02 与 3.15±0.03。
• 其余结果：Table 2 十类平均 FGR 为 FM–MNIST 0.16%、FM–CIFAR-10 0.84%、SiD–CIFAR-10 0.75%。Table 3 中 FM 的 ρ=0.9 在 CIFAR-10 上立即发散；SiD 的 ρ=0.9 使类 1/9 的 FGR 回到 12.05% 与 9.55%。
• 作者结论：作者称四种数据集–骨干组合都压低了遗忘类生成，三个设置的 Retain FID 接近重训蒸馏，FM–MNIST 上优于该参照。同时，当前 FM 实例约 20k 次更新后遗忘可能回升，过大的 ρ 可能降低保真度而不带来遗忘。