论文揭示 BatchNorm 架构下机器遗忘评测的归一化伪影

近似机器遗忘在 BatchNorm 架构上的遗忘准确率，可能测的是归一化状态而不是权重是否真的擦除了遗忘内容。

• 场景与重要性：近似遗忘要在不从头重训的情况下去掉指定训练数据的影响，以满足作者所说的 GDPR 式擦除义务。作者以 SalUn 为例：原文报告 CIFAR-10 遗忘类准确率 3.0%；作者加载发布的 checkpoint、不改权重，对 retain 集跑 update_bn 后得到 65.1%。
• 现有评估的两类失败：作者区分 encoder failure（参数仍编码遗忘内容，即使遗忘集准确率接近 0）与 measurement failure（评估过程在并未发生遗忘时报告了遗忘）。本文只处理第二类；作者认为两者互补，对若干方法会同时存在。
• 核心观察：BN corruption（遗忘时 BN 处于 train mode，遗忘数据前向通过 EMA 改写运行统计，且该更新在梯度图之外）与 BN misalignment（BN 冻结但卷积权重漂移，激活分布与仍冻结的统计量脱节）都会压低表面遗忘准确率，且都在重校准后消失。
• 威胁模型：
  • 目标：恢复遗忘类能力，而不是重建训练样本。
  • 知识与能力：持有发布的 checkpoint（权重与 BN 运行统计），至少有十张无标签自然图像，可在本地运行模型；不需要标签、梯度更新、原模型或指定遗忘集。
  • 受害系统与成功判定：主要设定是模型发布（本地可执行 checkpoint）；仅推理 API 无法通过接口更新 BN 统计。成功以重校准后的遗忘类准确率及其相对发布 checkpoint 的变化衡量。
• 本文提出什么：作者称不提出新的遗忘方法，而是测量校正：把 BN 重校准形式化为保权重不动点算子，给出线性探针的唯一分解，并在九种方法上检查该伪影。

近似遗忘

• Cao and Yang [3]（2015）与 SISA [1]：前者形式化遗忘问题；后者为精确方法。近似方法被并列为数据删除 [8, 16]、遗忘因素分析 [29]、retain 上微调与 Fisher 加权遗忘 [9]、蒸馏 [4, 28]、amnesiac learning [10]、显著性权重擦除 SalUn [5]、SCRUB [17]、选择性突触阻尼 SSD [6]、投影梯度遗忘 [12]、输出分布重加权 RWFT [31]、表示级遗忘 [18]。
• 三个规模基准：NeurIPS unlearning competition [30]、Deep Unlearn [2]、MUBox [20] 在 BN 架构上评估遗忘。作者称按其阅读，这三者都没有明确报告 BN 重校准控制。UMA [32] 也依赖 BN 骨干；作者认为该诊断可直接用于此类验证。

编码器级评估

• Gao et al. [7]：用线性探针说明近似方法仍有遗忘类信息，并归因于 Neural Collapse 意义上的特征–分类器错位。作者认为该解释与本文一致，但若不先去掉 BN 测量偏差，就无法如实量化编码器层面的严重程度。
• Lee et al. [19]、relearning [13, 27]：前者冻结骨干后重训分类器以恢复遗忘准确率；后者表明当前方法的遗忘表示可以低代价微调重新诱导。作者把这些定位为 encoder failure，并称本文的测量失败与之大体正交、叠加在其上。

BatchNorm 与其他场景的重校准

• BN 的双重角色 [14, 24]：训练期稳定性，以及作为 checkpoint 参数决定推理行为的运行统计。作者认为后者使伪影成为可能。
• SWA [15]、test-time adaptation [25, 22]：用目标数据前向重算 BN 统计，分别修正平均模型的统计量、把 BN 与漂移的测试分布重新对齐。作者称贡献不在机制本身，而在说明缺少该步会在遗忘基准上造成系统性测量失败，并给出算子理论归因。

基线方法与基准：实验比较 Retrain、SCRUB、GA、GA+FT、SalUn、BadTeacher、IncompTeacher、NoiseInject（作者称为 Chundawat et al. [4] 风格的简化噪声注入，不是 Golatkar et al. [9] 的 Fisher forgetting）、SSD、PGU；主要数据为 CIFAR-10（单类、两类）与 CIFAR-100（单类、五类），并扩展到 Tiny-ImageNet、ImageNet-100。

作者把本文定位为测量校正：测量失败叠加在编码器失败之上，且对 CIFAR-100 上若干方法，BN 测量偏差会掩盖编码器泄露。

作者把 BN recalibration 定义为在当前权重上、关闭梯度的单次 retain 前向，用来重算运行统计；任何准确率变化都归因于归一化状态。

两种机制相反的现象

• 模型状态：BN 网络写成 M=(θ,ϕ)，θ 含卷积核、BN 仿射 γ,β 与分类器权重，ϕ 为各层运行均值与方差。推理时用固定的 (μ_ℓ,(σ^ℓ)²) 归一化。
• BN corruption：遗忘时若 BN 处于 train mode，每次遗忘数据前向都用式 (1) 的 EMA 更新运行统计，动量为 m。该更新在前向中完成，作者称任何只作用于权重梯度的算子（包括投影）都无法拦截已执行的 buffer 更新（Theorem 2）。
• BN misalignment：BN 冻结时 ϕ 不变，但 θ→θ_T 后，retain 上的激活分布不再是原来标定统计量的那个分布。两者不是连续统的两端：由 train 与 eval 两种控制选择产生，在 checkpoint 里留下不同痕迹；方法也可以部分步骤 train、部分步骤冻结。
• 为什么同一诊断能覆盖两者：R^∗ 把运行统计改到与当前 θ 一致，不论原先移动的是 θ 还是 ϕ。

重校准算子

• 定义：R^∗_Dr:(θ,ϕ)↦(θ,ϕ^∗(θ;D_r))，其中 ϕ^∗ 是权重 θ 在 retain 分布上的逐层总体激活矩。实验用 R̂_Nr,b：对 N_r 张 retain 图像做一次 train mode、关梯度的前向，mini-batch 大小为 b，对应 PyTorch 的 update_bn。
• Theorem 1：作者称该算子满足幂等、权重不变、与逐层 oracle 总体矩点态等价；在 Appendix B 的矩与二阶正则性下，实验算子偏离 R^∗ 的量级为 O_p(N_r^−1/2)+O_L(b⁻¹)。输入张量、batch 划分与前向计算固定时，实验通过也幂等。
• Corollary 1：对任何依赖前向映射的指标 g，差距 g(R^∗(M))−g(M) 只能归因于 BN 状态。作者称 R^∗ 不能创造遗忘，也不能摧毁已编码在权重里的遗忘，只能揭示模型处于哪一种状态。“权重不变”指 θ（含 γ,β），不指前向特征不变。

线性探针的唯一分解

• Proposition 1：相对从头重训的线性探针差距写成 NC-residual（LP_Mcal−LP_Mretr）加 BN-residual（LP_M−LP_Mcal）。作者称在“ϕ=ϕ^∗ 时 BN 项为 0”且“NC 项在 R^∗ 下不变”这两条下，该分解唯一。
• 符号：BN-residual 为正表示表面 LP 高估编码器泄露，为负表示低估。重校准后的 LP 被作者称为编码器残留遗忘类线性可分性的无偏测量。
• 不是平方和：Appendix D 报告 train-mode 方法上 |ρ| 均值 0.40、最大 0.68，作者认为这排除了把权重扰动与 BN 扰动的平方能量相加当作定量归因。式 (3) 只在 LP 准确率层面是代数恒等式。

实验中的操作与成功读法

• 诊断通过：主实验取 N_r≥ 5000 张 retain 样本、train mode、关梯度。线性探针用 lbfgs、max_iter=1000、每类 50 个样本。Relearning AUC 在 50 个遗忘类样本上微调 50 个 epoch，对归一化遗忘准确率曲线积分。
• 对抗性恢复：与诊断相同的单次前向，权重冻结、只更新运行统计；数据可换成分布内测试图或按 CIFAR-10 归一化的 CIFAR-100 像素，预算 B 从 10 到 9000。
• 作者给出的控制：架构上用 GroupNorm 或 LayerNorm 去掉运行统计；流程上冻结 BN 并在评估前用 retain 重校准；数据上，在所测的 SalUn 混合 batch 扫描中，retain 比例至少 25% 可去掉观察到的差距。作者写明这一混合结果只针对所评测的流水线，BadTeacher 的 eval-mode 错位在其参考混合比下仍在。

实验设置

• 方法：Retrain、SCRUB、GA、GA+FT、SalUn、BadTeacher、IncompTeacher、NoiseInject、SSD、PGU，共九种遗忘方法加从头重训。每个数据集/遗忘比例条件使用一套超参，取自各方法参考实现或最接近的重实现；完整配置在 Appendix F。PGU† 为作者的 cleaner-covariance 重实现；官方两阶段协议的 Δ F=+14.5pp（Appendix G）。
• 数据与架构：CIFAR-10 单类与两类、CIFAR-100 单类（p=0.01）与五类（p=0.05）；主表为 CIFAR-10、ResNet-18（CIFAR 适配：3× 3 stem、无 max-pool）、遗忘 class 0。另有 Tiny-ImageNet 上的 ResNet-50、ImageNet-100 上预训练 ResNet-50、GroupNorm 替换后的 ResNet-18、ViT-S/16（LayerNorm）。
• 指标：Pre-F/Post-F 为重校准前后遗忘类准确率，Δ F 为二者之差（百分点）；Pre-R/Post-R 为 retain 准确率；LP-50 为每类 50 样本的遗忘类线性探针准确率；ReAUC 为 relearning AUC。Table 2 单种子分解 BN-residual 与 NC-residual。
• 重复：多种子数字为三个随机种子的 mean±std；Table 2 为单种子。论文未报告每个遗忘类的测试集样本量。

主结果

Table 1（CIFAR-10，ResNet-18，单类遗忘 class 0，三种子 mean）：

Swipe horizontally to read the table

方法	Pre-F%	Post-F%	ΔF (pp)	Pre-R%	LP-50	ReAUC
Retrain	0.0	0.0	0.0	99.6	75.5	0.000
SCRUB	0.0	0.0	0.0	88.2	82.1	0.000
GA	0.0	0.0	0.0	57.2	79.4	0.000
GA+FT	67.9	67.7	−0.2	96.3	89.7	0.746
SalUn	3.0	65.1	+62.1	85.0	88.9	0.723
BadTeacher	18.9	97.2	+78.2	95.7	91.4	0.976
IncompTeacher	39.1	87.1	+48.0	90.1	89.8	0.928
NoiseInject	79.8	98.7	+18.9	95.0	91.1	0.988
SSD	25.7	88.1	+62.4	79.1	90.3	0.901
PGU†	1.1	62.0	+60.9	93.0	91.0	0.641

表中省略了 std 与 Post-R；Post-R 从 Retrain 到 PGU† 依次为 99.6、90.9、81.5、96.3、95.1、95.9、89.1、95.2、95.7、94.6。

• 作者称：九种方法中六种 Δ F≥ 18.9pp，最大翻转为 BadTeacher 的 +78pp；主比较中诊断把六种方法的表面遗忘翻回 19–78 个百分点。
• |Δ F|≤ 0.2pp 的四行分三类：SCRUB 在 retain 88% 下 Δ F=0；GA 在 500 步把 retain 降到表中最低的 57.2%；GA+FT 的微调步骤自行重校准 BN；PGU 即使 eval mode 仍有约 +61pp。作者称 Pre-R 能区分 Retrain、SCRUB、GA+FT 与 GA 这些零差距行。
• 重校准前近零遗忘准确率分不开泄露：四种遗忘方法加 Retrain 中 Pre-F≤3% 的行，ReAUC 为 0.000–0.723，LP-50 为 75.5%–91.0%，重训参考为 75.5%。重校准后与 relearning 的 Pearson r=0.998（p<10⁻⁶），Spearman ρ_S=0.988，Kendall τ_K=0.952；与 LP-50 的三种检验均 p<0.005。

线性探针分解

• 测了什么：Table 2 单种子实例化式 (3)。CIFAR-10 的 LP_Mretr=76.10，CIFAR-100 为 73.33。
• 结果：CIFAR-100 上 GA、SalUn、SSD 的 BN-residual 为 −29.67、−27.33、−20.67pp，NC-residual 为 +14.33、+14.67、+17.33pp。作者称这三者的表面 LP 低于重训，重校准后则高于重训 14–17pp。CIFAR-10 上 BadTeacher、NoiseInject、IncompTeacher、PGU 的 BN-residual 为 +0.37、+0.90、+3.07、+0.77pp。没有方法落入作者所说的“符号翻转”区（BN-residual 为正且 NC-residual 为负）。
• 作者的解读：负的 BN-residual 会掩盖而非制造编码器泄露；Neural Collapse 的说法因此被加强而非反驳。另一组复制中，GA 的 |ΔLP| 随遗忘比例变小：CIFAR-100 单类 +29.7pp，五类 +2.1pp；CIFAR-10 单类 +11.9pp，两类 +5.0pp。只有 CIFAR-100 五类的 Retrain 同时出现负的 ΔLP（−6.0pp）和 ΔNCC（−6.9pp）；SCRUB 在四个 CIFAR 条件中有三个 ΔLP>0。

对抗性恢复与机制对照

• 预算扫描：分布为原 retain、CIFAR-10 测试集、按 CIFAR-10 归一化的 CIFAR-100 像素；B∈{10,25,50,100,500,1000,2500,5000,9000}，三种子。BadTeacher 与 NoiseInject 在 B=10 时遗忘类准确率为 88.7% 与 91.0%；SalUn 在 B=10 为 54.4%，B=100 为 58.0%。B=100 时，CIFAR-100 图像的恢复达到对应分布内准确率的 78%–95%（Appendix J.2）。Figure 1 的图注写明：(a) 为重校准前、B=100 分布内无标签图恢复后、全量 retain 审计重校准后；(b) 为三种代表方法的遗忘类准确率随 B 变化，虚线为审计参考，作者称 B=10 时已能看到大幅恢复。
• GroupNorm 与 LayerNorm：CIFAR-10 上把 BatchNorm2d 换成 GroupNorm 后重训，八种方法加 Retrain（PGU 因计算量省略）的 Δ F 均为 0.00pp（Appendix F, Table 6）；GN-ResNet 的 Relearn-AUC 仍为 95%–98%。ViT-S/16 上 5 种调到遗忘区制的方法 Δ F=0.00pp（Appendix M）。
• 更大图像与 MIA：Tiny-ImageNet 上 ResNet-50 的 BadTeacher Δ F=+82.2pp，PGU +29.6pp。ImageNet-100 上预训练 ResNet-50 的 BadTeacher 从 0.0% 升至 92.0%（retain 从 71.6% 到 72.5%），十张图恢复到 82.0%（Appendix T）。Appendix O 中重校准使攻击 AUC 的变化至多 0.012，而这些 checkpoint 上遗忘准确率变化最高约 98pp。

其他消融与分析

• Appendix H：GA 的 Δ F 从 100 步的 +76pp 到 500 步的 0pp。
• Appendix I：固定 batch 组成的 3× 3 学习率/步数网格上，保持 retain 准确率 ≥85% 的 BadTeacher 与 SalUn 配置，Δ F≥ 57.8pp。
• Appendix B.3：5000 张对 45000 张、默认 batch 128 的层平均归一化运行均值差异，在 GA、SalUn、SCRUB、BadTeacher 上为 0.0016–0.0018；Figure 2 中最大层级均值错位 0.3402，出现在 BadTeacher 最后一个 BN 层。
• Appendix K：Adam 训练的探针对真正改过编码器的方法，低估 LP-50 14–22pp，故主文用 lbfgs。
• Appendix A：静态目标近似对五个 CIFAR 条件的拟合斜率为 0.019，对比恒等预测的斜率 1.0；作者称该近似不能用来预测漂移幅度。
• Appendix Q：混合 retain 的 batch 可减轻 SalUn 的 corruption 分量；作者称 retain 比例至少 25% 可去掉所观察到的 SalUn 差距。

作者指出的局限与后续方向

• 任务范围：评估的是分类基准（CIFAR-10/100、Tiny-ImageNet、ImageNet-100），且以类别级遗忘集为主；实例级遗忘（遗忘样本随机抽自各类）只在一个条件下评估（Limitations，Appendix P）。
• 规模：完整 ImageNet-1k 评估在可用计算预算内不可行（Limitations）。
• 模态：未在语言模型上做基准。作者称其中 BatchNorm 的对应物是 LayerNorm，Theorem 1 预测诊断为恒等映射；ViT-S/16 证实了视觉 LayerNorm，但未测文本（Limitations，Appendix M）。
• 威胁模型：假设本地可访问 checkpoint；作者写明，对拥有 checkpoint 的攻击者，防御需要架构改变（GN/LN），而不是评测侧控制（Limitations）。
• 后续报告：Conclusion 写明，未来基于 BN 的遗忘评估应把 Δ F 与 Pre-R、Post-R 一起报告；重校准后的 checkpoint M_cal 是残留遗忘类能力的无偏读数。Discussion 另写，重校准后遗忘准确率为 0 不是隐私保证，应与 MIA、MIA-NN 或 UMA 式验证器一起使用。

实验覆盖范围

• 主诊断覆盖 9 种遗忘方法加 Retrain，架构为 CIFAR 适配的 ResNet-18；多种子数字为三个随机种子的均值±标准差，Table 2 的分解为单种子（§4、Table 1–2）。
• 架构对照包括 GroupNorm-ResNet-18（八方法加 Retrain，PGU 省略）、ViT-S/16 上 5 种方法、Tiny-ImageNet 上的 ResNet-50，以及 ImageNet-100 上的预训练 ResNet-50（§4.5、Appendix L、M、T）。
• 对抗性恢复的图像预算为 10 到 9000，分布包括 retain、CIFAR-10 测试集和按 CIFAR-10 归一化的 CIFAR-100 像素，三个随机种子（§4.4）。
• 成员推断单独在 Appendix O 评估；论文报告重校准使攻击 AUC 变化至多 0.012。
• 每个数据集/遗忘比例条件使用一套超参；学习率与步数的 3× 3 网格只报告于 BadTeacher 与 SalUn，且固定 batch 组成（§4.6，Appendix I）。

BN illusion 是作者对近似机器遗忘评测中一种 BatchNorm 测量伪影的命名：不改权重、只用 retain 数据重算运行统计，就可以把表面遗忘准确率翻过来。

• 问题：低遗忘准确率可能来自 train mode 下的统计量污染，或 eval mode 下权重与冻结统计量的错位。作者把这一测量失败与参数仍编码遗忘内容的编码器失败区分开。
• 方法：重校准算子保持权重、把运行统计改到当前权重在 retain 上的激活矩。作者证明它是幂等不动点，因而任何前后差距只能归因于 BN 状态；线性探针相对重训的差距被唯一分成 BN 测量偏差与编码器几何项。
• 主结果：CIFAR-10、ResNet-18、单类遗忘上，六种方法的 Δ F 为 18.9–78.2 个百分点，BadTeacher 从 18.9% 到 97.2%。SCRUB 与 Retrain 保持 Δ F=0 且 retain 较高；GA 在 500 步也为 0，但 Pre-R 为 57.2%。CIFAR-100 上 GA、SalUn、SSD 的 BN-residual 为 −20.67 至 −29.67pp，重校准后 LP 仍高于重训 14–17pp。
• 可利用性与对照：本地持有 checkpoint 时，10 张无标签图使 BadTeacher、NoiseInject 的遗忘类准确率到 88.7%、91.0%。GroupNorm 上八方法加 Retrain 的 Δ F 为 0.00pp，但 Relearn-AUC 仍为 95%–98%。重校准使所测 MIA 的 AUC 变化至多 0.012。
• 作者的结论：BN 架构上的头条遗忘数字应在诊断之后重新报告；该伪影与编码器级失败互补，且对若干方法，BN 测量偏差掩盖而非制造编码器泄露。诚实评估需要同时报告 Δ F、Pre-R 与 Post-R。