重新思考机器遗忘的验证
Rethinking the Verification of Machine Unlearning
作者提出 ODR 攻击与 RUV 验证器:ODR 对输出型遗忘验证的平均欺骗成功率达 97.0%/97.7%,RUV 平均验证准确率 98.9%/94.9%。
验证者收到原始模型 Mo、声称已遗忘的模型 Mu、遗忘集 Du、匹配的保留对照 Dr′ 和参考集 Dref,在 gray box 设定下只能读取中间前向表示,不能访问参数、梯度或训练日志;恶意提供者可提交伪造模型,ODR 攻击者不做任何表示层参数更新,只操纵输出以通过输出型验证器。
- 机器遗忘需要可部署的事后验证,但主流验证器只依据模型返回的输出(准确率、成员推断、后验差异)推断遗忘,而这些输出由被审计的提供者控制,可能被伪造。
- 作者先构造 ODR 攻击:ODR-Head 只调分类头、ODR-Gate 只对注册查询重放同类非成员后验,不改表示层参数。再提出 gray box 验证器 RUV,比较原始与遗忘模型的中间前向表示,用 ARS、RS、NPG、MRD 四个证据视图加保留对照和联合置换校准做判定。
- ODR 对 Accuracy、LiRA、TAPE 的平均欺骗成功率为 97.0%(类级)和 97.7%(样本级)。RUV 在三个数据集、六种遗忘方法上平均验证准确率 98.9%/94.9%,并拒绝 99.5%/99.8% 的 ODR 提交;响应还随请求执行比例单调上升。
- 论文未设专门局限章节;结论提出将方法扩展到生成式和多模态模型。实验限于 CIFAR10/CIFAR100/FaceScrub 图像分类与 7 种 CNN/Transformer 骨干,样本级准确率在 1% 遗忘比例时降至 0.806。
- 被测模型
- ResNet18ResNet34ResNet50VGGDenseNet121MobileNetV2ViT-S/16
- 基准
- CIFAR10CIFAR100FaceScrub
- 指标
- VADSRdetection rate∆RUV
研究者论证仅凭输出行为的机器遗忘验证可被欺骗,并提出改为比较模型内部表示的 RUV 验证方法。现有可广泛部署的事后验证器主要从预测行为推断遗忘,而输出仍受模型提供方控制;论文提出的输出级欺骗响应(ODR)攻击能在保持原始内部表示的同时生成可通过输出验证的回复。RUV 是灰盒验证器,比较原始模型与遗忘模型的中间前向表示,追踪激活重组、表示位移、邻域破坏与流形支撑丧失四个阶段,并以匹配的保留数据对照区分针对特定目标的响应与全局模型漂移。在精确与近似遗忘设置下,ODR 平均欺骗成功率分别为 97.0% 和 97.7%,RUV 平均验证准确率分别为 98.9% 和 94.9%,并拒绝 99.5% 和 99.8% 的对应 ODR 提交。
深度解读
这篇论文试图解决什么问题?
输出型机器遗忘验证的证据由被审计方控制,作者用 ODR 攻击暴露这一点并提出表示层验证器 RUV。
核心问题:广泛可部署的机器遗忘事后验证只依据模型输出推断遗忘是否发生,而输出由被审计的提供者控制,可能被伪造。
- 场景与重要性:删除训练数据不等于移除其影响,机器遗忘通过更新模型消除指定数据的影响;但请求方看不到提供者的训练过程和内部状态,因此需要验证者判断声称的遗忘是否真实发生。
- 现有方法的不足(按论文说法):过程绑定方法需在训练前植入信号或暴露遗忘过程产物,难以用于普通模型服务;TruVRF 检查梯度变化但需要 white-box 访问和反向计算;因此可部署的事后验证仍主要依赖输出预测(准确率、成员推断等)。
- 核心观察:输出只是模型状态的最终投影,且由被审计方返回;作者提出问题——输出符合遗忘特征是否与内部遗忘可以分离,并用 ODR 构造性回答:可以。
- 论文提出:ODR-Head/ODR-Gate 两个攻击,以及 gray box 验证器 RUV,把审计边界从返回的预测上移到中间前向表示。
- 威胁模型:
- 攻击者目标:让提交的模型被输出型验证器接受为已遗忘,同时保留原始表示状态(即不真正遗忘)。
- 知识与能力:提供者控制返回的预测;ODR-Head 只优化分类头,ODR-Gate 拦截注册的目标查询并重放同类非成员后验,均不做表示层参数更新。
- 受害系统:基于输出的遗忘验证器(Accuracy、LiRA、TAPE 等)。
- 验证者(RUV 侧)访问:gray box,可在插桩运行时读取中间前向表示,但不能访问参数、梯度或训练日志;论文假设运行时忠实提取表示,部署证明与审计信道伪造不在接口范围内。
有哪些相关研究?
相关工作分三组:过程绑定证据、输出型事后验证、内部证据与表示分析;RUV 定位为算法无关的事后表示审计。
过程绑定证据
- 主动方法(Sommer et al., 2022;Guo et al., 2024;Gao et al., 2024 等)——在训练前或训练中植入触发器、水印、金丝雀、模型种子或可查询的样本关系。
- 认证遗忘、重放与证明系统(Chien et al., 2024a;b;Weng et al., 2024;Eisenhofer et al., 2025 等)——把遗忘声明绑定到规定的优化过程、保留记录或密码学产物。
- 论文指出这类方法把证据直接连到学习过程,但依赖预先安排的信号、兼容的算法、保留的记录或配套基础设施,部署与特定训练和遗忘流程绑定。
输出型事后验证
- Shokri et al. (2017)、Carlini et al. (2022)、Wang et al. (2025b) 等——通过遗忘集准确率、成员推断、置信度/损失、后验差异等统计量推断遗忘。
- 论文指出这些方法共享同一证据边界:被审计提供者返回的最终响应,因此共享"输出变化意味着遗忘发生"这一前提;ODR 正是针对这一前提。论文还引 Zhang et al. (2024) 作为验证在被审计方自适应行为下会变脆弱的既有证据。
内部证据与表示分析
- TruVRF(Zhou et al., 2025)——用遗忘数据的梯度敏感度做验证;论文指出它需要 white-box 参数和反向计算,且交叉熵梯度含后验残差,与输出耦合。
- 表示分析(Bau et al., 2017;Kornblith et al., 2019;Bengio et al., 2013)——解释隐藏单元、比较学习到的空间、刻画表示几何;论文认为这激励把审计移到前向表示,但原始的表示差异本身还不是验证器。
基线与基准:对比验证器为 Accuracy、LiRA、TAPE(输出型)和 TruVRF(梯度型);遗忘方法为 Retraining、SISA(精确)与 Amnesiac、SCRUB、SalUn、SSD(近似);数据集为 CIFAR10、CIFAR100、FaceScrub。
作者将 RUV 定位为介于"提供者控制的输出记录"与"参数级反向检查"之间的算法无关事后验证器:不需要训练日志,也不绑定特定遗忘算法。
论文如何解决这个问题?
先用 ODR 构造能通过输出验证的伪造响应,再用 RUV 沿表示形成链取四个互补证据视图,经保留对照归因与联合置换校准做判定。
整体思路分两步:先用 ODR 证明输出符合与内部遗忘可以分离,再把审计边界上移到前向表示,用 RUV 把表示观察转化为可归因、可校准的验证证据。
问题设定
- 原始模型 Mo 在 D 上训练;遗忘请求指定 Du ⊂ D,提供者提交 Mu。请求分类级(移除整个类/身份)与样本级(移除指定实例)。
- 验证者收到 (Mo, Mu)、Du、匹配的保留对照 Dr′ ⊂ Dr(|Dr′| = |Du|,样本级按类匹配)和参考集 Dref;在插桩运行时中读取中间前向表示,无参数、梯度、训练日志。
ODR:输出层欺骗响应
- ODR-Head(类请求):冻结全部骨干参数,只优化分类头,使目标类预测趋向 pforge(x) = (1−αODR)uK + αODRη(x)(均匀后验与扰动后验的混合),损失含保留集交叉熵项以保住保留效用。
- ODR-Gate(样本请求):不改任何参数;对注册的目标查询,用留出非成员集中同类样本的后验经种子控制的置换重放,非目标查询返回原模型输出。
- 两者都不做表示层参数更新,因此输出被接受不代表内部遗忘。附录 B 给出完整构造与图示。
RUV:四个互补证据视图
- 表示提取:每个块用固定算子 Pl 把原始输出映为审计向量(CNN 用空间池化、Transformer 用 summary token);类级请求只审 preclassifier 块,样本级审全部非终止块(Eq. 5)。
- ARS(激活路径变化):dominant 与阈值激活坐标的 Jaccard 差异加权组合;RS(表示位移):余弦距离 dcos(zo, zu)。
- NPG(邻域保持缺口):参考集中 k 近邻身份集合的 Jaccard 差异;MRD(流形秩下降):对标签兼容参考样本的余弦亲和度在参考分布中的百分位秩之差。
- 设计理由:不同遗忘算法修改不同参数,可能在链的不同阶段留下痕迹,单一统计量不足以覆盖。
目标归因与联合判定
- 每个视图先在 Du ∪ Dr′ 上做无组标签的标准化,再对审计块等权平均;观测缺口 Gobs = Du 组均值 − Dr′ 组均值,把响应归因于请求而非全模型漂移。
- 联合置换:对审计组标签做 B = 1000 次置换(同一置换作用于全部四个视图以保留其经验依赖),把各视图缺口标准化为 Z 后取第二大值作为 SRUV;判定边界 τα 为置换零分布的 1 − α 分位(α = 0.05),SRUV > τα 判通过。
- 关键参数:qtop = 0.1、ωb = 0.5、γact = 0、kNPG = 10、kMRD = 1、Nref ≤ 10,000(附录 E.4)。
成功判定
- 验证准确率 VA:配置的遗忘执行被接受、对抗提交被拒绝的比例;每次试验先与自己的边界比较再聚合。附录 D 给出理论性质:输出记录不可区分性界、保留对照的无偏归因、联合置换在零假设下的假阳性控制(≤ α),以及两个视图 corroborate 时检测的一致性。
论文做了哪些实验?
三个数据集、六种遗忘方法、五种验证器的统一评测:ODR 平均欺骗成功率 97.0%/97.7%,RUV 平均 VA 98.9%/94.9%。
实验设置
- 被测模型:CIFAR10/ResNet18、CIFAR100/ResNet34、FaceScrub/ResNet50 为主;架构稳健性另测 ResNet34、ResNet50、VGG16、DenseNet121、MobileNetV2、ViT-S/16(CIFAR10)。
- 遗忘方法:Retraining、SISA(精确基线);Amnesiac、SCRUB、SalUn、SSD(近似)。
- 请求:类级移除一个类/身份;样本级按类分层采样 ρ = 10%(规模实验用 ρ ∈ {1%, 5%, 10%, 20%} 与 1/2/5 个遗忘类)。
- 对比验证器:Accuracy、LiRA、TAPE(输出型)、TruVRF(梯度型)。
- 指标:VA(遗忘执行被正确接受 + 对抗提交被正确拒绝的比例)、DSR(ODR 被输出验证器接受的比例)。
- 样本量:每设置 10 个原始模型 × 10 个请求清单 × 10 个验证器种子 = 1000 次二元审计;标准误按 10 个模型级汇总计算(附录 E.1)。
主结果
据 Table 1(DSR)与 Table 2(VA,ODR 列为正确拒绝率;数值为 1000 次审计的成功比例):
表格较宽,可左右滑动
设置 Accuracy LiRA TAPE TruVRF RUV ODR DSR 类级(三数据集均值) 0.992/0.988/0.996 0.958/0.948/0.942 0.972/0.964/0.968 – – ODR DSR 样本级(三数据集均值) 0.991/0.987/0.993 0.969/0.958/0.965 0.978/0.972/0.980 – – 类级 VA,Retraining(CIFAR10/100/FaceScrub) 0.964/0.938/0.952 0.954/0.928/0.944 0.976/0.958/0.962 0.948/0.924/0.946 0.996/0.996/0.992 类级 VA,SSD(同上顺序) 0.860/0.832/0.854 0.874/0.836/0.858 0.904/0.880/0.890 0.840/0.802/0.816 0.984/0.980/0.982 类级 ODR 拒绝(同上) 0.008/0.012/0.004 0.042/0.052/0.058 0.028/0.036/0.032 0.138/0.174/0.158 0.998/0.996/0.990 样本级 VA,Retraining(同上) 0.931/0.904/0.920 0.924/0.898/0.913 0.952/0.925/0.936 0.918/0.882/0.910 0.961/0.957/0.963 样本级 VA,SSD(同上) 0.823/0.785/0.813 0.833/0.790/0.818 0.868/0.838/0.853 0.794/0.755/0.772 0.938/0.932/0.940 样本级 ODR 拒绝(同上) 0.009/0.013/0.007 0.031/0.042/0.035 0.022/0.028/0.020 0.784/0.778/0.826 0.999/0.998/0.997 - 作者报告:ODR 平均 DSR 为 0.970(类级)和 0.977(样本级),最低也有 0.942 和 0.958;RUV 跨数据集与方法平均 VA 为 0.989/0.949,比最强对比验证器 TAPE 高 5.8/5.1 个百分点。
- 作者称:TruVRF 对 ODR-Gate 拒绝率达 0.784–0.826,是因为其反向敏感度从提交模型重算,重放的响应不进入梯度提取。
- 作者解读:样本级数值较低反映共享类结构内更弱、更分散的实例响应;类请求更容易是因为类别移除会重组终止层几何。
请求执行比例(Figure 2)
- 固定 CIFAR10/ResNet18 与请求,只改变实际执行的子集比例:类级 margin/接受率从 0% 时的 −1.032/0.006 升至 100% 时的 1.863/0.996;样本级从 −1.061/0.004 升至 1.125/0.961。
- 25% 执行时接受率仅 0.068/0.037,75% 时达 0.842/0.647;保留准确率仅变化 0.19/0.65 个百分点。
- 作者称 RUV 跟踪的是请求被执行的程度,而非训练例程身份或效用损失。
目标归因与非遗忘对照(Table 3)
- 去掉保留对照后类/样本 VA 从 0.991/0.957 降到 0.842/0.774。
- 标准 RUV 正确拒绝良性漂移(0.989/0.947)、错误目标遗忘(0.976/0.937)和同目标正确标签微调(0.968/0.929);最后一种对照下遗忘集准确率 0.998/0.997,即目标知识被保留。
- 作者称:通用漂移、别处的遗忘形更新、保留知识的目标特定变化都不足以通过。
架构稳健性(Figure 3)
- CIFAR10 上七种骨干:类级 VA 在 0.963–0.994,样本级在 0.911–0.960;ViT-S/16 为 0.978/0.933,MobileNetV2 为 0.963/0.911。
- 作者称 RUV 依赖功能性表示组织而非特定架构的层身份。
其他消融与分析
- 证据视图(Table 4):单视图 NPG 最强(0.916/0.848),仍低于完整 RUV(0.991/0.957);去 NPG 损失最大(0.961/0.899)。
- 聚合规则(Table 5):second-largest 0.991/0.957,优于 max 0.945/0.901、mean 0.972/0.931、min 0.919/0.864。
- 表示选择(Table 10):preclassifier 单独用于样本级仅 0.742;全部非终止块用于类级降至 0.901,支持按粒度分设的规则。
- 联合校准(Table 11):独立置换降至 0.964/0.925,固定全局阈值降至 0.906/0.848。
- 参数敏感性(Figure 6):B 从 100 到 1000 时样本级 VA 从 0.887 升至 0.957;kNPG = 50 时下降;Nref 从 1k 到 10k 从 0.875 升至 0.957。
- 请求规模(Figure 7):1% 样本请求时 RUV 0.806(TruVRF 0.713、TAPE 0.669),20% 时 0.978;5 个遗忘类时类级 VA 0.998。
- 开销(Table 9,CIFAR10/ResNet18):RUV 4.37 秒、1684 MB;TruVRF 91.2 秒、2528 MB;LiRA-16 需 20,918.4 秒离线准备。
有什么可以进一步探索的点?
论文未设专门局限章节;结论提出扩展到生成式与多模态模型,实验覆盖三个图像分类数据集与七种骨干。
作者指出的局限与后续方向
- 论文未设专门的 Limitations 章节。Conclusion 末尾提出将前向表示审计"扩展到生成式和多模态模型",属于作者写明的后续方向。
- Problem Formulation 节写明接口假设:运行时忠实提取提交模型的表示,"部署证明与审计信道的伪造不在此接口范围内",即这两类问题不在本文处理范围。
- 附录 D.2 写明归因分析的条件:类匹配有助于平衡样本审计的 nuisance 响应,但"仅组大小相等并不能在类审计中建立这种平衡";Theorem D.6 的假阳性控制以审计标签在联合得分分布上可交换为条件,作者注明该条件强于等期望 nuisance 响应。
实验覆盖范围
- 被测模型为 ResNet18/34/50、VGG16、DenseNet121、MobileNetV2、ViT-S/16 共 7 种骨干,数据集为 CIFAR10、CIFAR100、FaceScrub,均为图像分类任务(Section 6.1、6.3)。
- 遗忘方法覆盖 Retraining、SISA 与 Amnesiac、SCRUB、SalUn、SSD 共 6 种;对比验证器为 Accuracy、LiRA、TAPE、TruVRF 共 4 种(Section 6.1)。
- 每设置为 10 模型 × 10 请求 × 10 验证器种子 = 1000 次二元审计,标准误按 10 个模型级汇总计算(附录 E.1)。
- 对抗评测针对 ODR-Head/ODR-Gate 两种输出层欺骗;附录 C.4 的伪造成本分析为理论论证,论文未报告针对 RUV 的自适应内部伪造攻击实验。
- 样本级请求规模实验覆盖 ρ ∈ {1%, 5%, 10%, 20%},1% 时 RUV VA 为 0.806(Figure 7);开销测量在 CIFAR10/ResNet18、RTX 4090 上进行(附录 G.2)。
总结一下论文的主要内容
ODR 攻击证明输出型遗忘验证可被低成本伪造,RUV 把审计移到前向表示,平均 VA 98.9%/94.9% 并拒绝逾 99.5% 的 ODR 提交。
一篇关于机器遗忘验证的攻击加防御论文,主张审计目标应从"模型返回什么"转向"模型内部改变了什么"。
- 问题:可部署的事后遗忘验证依赖准确率、成员推断、后验差异等输出统计,而这些输出由被审计的提供者控制。
- 攻击:ODR-Head 只优化分类头、ODR-Gate 对注册查询重放同类非成员后验,均不做表示层参数更新;对 Accuracy、LiRA、TAPE 的平均欺骗成功率达 97.0%(类级)和 97.7%(样本级)(Table 1),且保留效用基本不变(附录 F)。
- 防御:RUV 在 gray box 设定下比较原始与遗忘模型的中间前向表示,沿表示形成链取 ARS、RS、NPG、MRD 四个证据视图,用匹配保留对照做目标归因,用联合置换校准(B = 1000、α = 0.05)取第二大标准化效应做自适应判定。
- 主结果:在 CIFAR10/CIFAR100/FaceScrub 与六种遗忘方法上,RUV 平均 VA 为 98.9%(类级)和 94.9%(样本级),比 TAPE 高 5.8/5.1 个百分点;对 ODR 提交的拒绝率为 99.5%/99.8%,而输出型验证器最高仅 5.1%/3.6%(Table 2)。
- 补充证据:RUV 接受率随请求执行比例从 0.6%/0.4% 单调升至 99.6%/96.1%(Figure 2);能拒绝良性漂移、错误目标遗忘和保留知识的同目标微调(Table 3);七种架构上类级 VA 0.963–0.994(Figure 3);审计耗时 4.37 秒,低于 TruVRF 的 91.2 秒(Table 9)。
- 作者结论:前向表示审计可作为机器遗忘验证的实用基础,并计划扩展到生成式和多模态模型;作者认为通过 RUV 需要跨多个阶段的协调模型级修改,把输出替换变成了受约束的优化问题(附录 C.4 为理论分析,未做自适应攻击实验)。