UnAct：无需梯度的定向激活干预实现类别遗忘

删除请求只带少量待遗忘类图像时，如何不靠反传、标签和保留数据，从已训练分类器中去掉该类。

• 场景：作者称，从数据集删掉记录并不能抹掉其影响，模型仍可能编码敏感信息，并暴露于成员推理或模型反演。除GDPR删除权外，还要能丢掉错误标注、损坏、过时或有害数据；请求频繁或只占数据很小一部分时，从头重训代价过高。
• 现有不足：SSD用Fisher信息比较参数对遗忘集与全训练集的重要性并衰减相关参数；LFSSD改用输出范数平方的梯度，从而不需要标签。作者指出两者仍要反传，且都要在全训练集上估计重要性；遗忘图像很少时，重要性比值衰减可能使网络崩溃。
• 观察：作者认为当前激活更直接，因为它显示模型响应该类时实际用到哪些内部单元。按百分位固定每轮编辑比例，可使编辑规模不随遗忘图像数量或分数尺度变化。
• 方法：提出UnAct，一种只对遗忘图像做前向的事后类别遗忘：给后期单元打分、按秩衰减入出连接，并重新打分，最多20轮。不用梯度、标签或保留数据。
• 设定（论文未用白盒/黑盒等攻击术语）：
  • 目标是类级遗忘：使模型不再保留类c，其余类上以在保留集上从头重训的模型为参照。
  • 请求到达时只有该类的n张图，可以是整类或子集；不访问保留集，不读标签，不优化损失，不做反传。
  • 被编辑对象是已训练分类器；实验为ResNet-18与ViT-B/16。UnAct是近似方法。

重训类

• 从头重训（Ginart等，2019；Cao与Yang，2015；Li等，2025）：在保留数据上重训。论文将其作为保证完全移除的参照，并指出计算、延迟和保留数据存储代价高。
• SISA（Bourtoule等，2021）：分片训练，只重训含被删样本的分片。论文指出删除频繁或分片小时准确率下降，且须在训练时采用。
• Amnesiac（Graves等，2021）：记录训练更新并减去涉及遗忘样本的更新。论文指出须在训练时设置，且遗忘与保留样本出现在同一batch时可能损伤保留类。

优化类

• 微调与教师—学生：Bad Teacher（Chundawat等，2023a）、SCRUB（Kurmanji等，2023）、稀疏微调（Jia等，2023）、SalUn（Fan等，2024）在遗忘集上做梯度上升、在保留数据上微调，或用教师—学生目标与权重显著性。论文指出它们需要标签和/或保留数据以及多步优化。
• 少数据但仍优化：Boundary Unlearning（Chen等，2023）与JiT（Foster等，2024a）只用遗忘样本；零样本遗忘（Chundawat等，2023b）合成代理数据；少样本遗忘（Yoon等，2022）用模型反演恢复代理训练集。论文称它们仍用梯度；UnAct同样想从少量遗忘样本出发，但不做优化。作者称不主张优于这些用了更多信息的方法。

免重训衰减

• SSD（Foster等，2024b）：用对角Fisher衰减对遗忘集不成比例重要的参数。论文指出它要标签和每次请求的反传，原作者也指出对超参敏感；Table 1将其在少量遗忘图像上标为不可靠。
• LFSSD（Foster等，2024c）：用输出范数平方的梯度去掉标签，但仍要反传和全数据敏感度。ASSD（Schoepf等，2024）自适应选择α。论文把SSD、LFSSD作为主基线，并称LFSSD与UnAct最接近。

单元级编辑

• 按单元移除知识：Bau等（2020）移除场景分类器中的少量单元；Wang等（2022）按TF-IDF剪通道再微调；Pochinkov与Schoots（2024）剪在遗忘数据上更活跃的语言模型神经元；Chang等（2024）按层间相关性扰动神经元；Dai等（2022）编辑被归因到事实的MLP神经元。压缩剪枝（Hu等，2016等）去掉用得最少的单元。
• 论文称UnAct最接近这类工作，但只在遗忘图像上前向打分，按秩选固定比例，多轮减弱并重新打分而不是一次删除，之后也不微调。

基线与基准：主基线为SSD与LFSSD；数据为CIFAR-10、CIFAR-20、CIFAR-100上的ResNet-18，以及CIFAR-10上的ViT-B/16（只与SSD比）。参照是在保留集上按同一配方从头重训的模型。

作者把UnAct定位为免重训方法的效率加上规模预先固定的单元级编辑；与SSD、LFSSD一样是近似方法，并用重训模型做经验对照。因准确率指标和简单成员攻击可能高估遗忘，论文也检查类是否仍留在表示中（Appendix G）。

UnAct只编辑把遗忘类送到分类器的后期单元：前向打分、按百分位软衰减入出权重，再对编辑后的模型重新打分。

问题设定

• 设fθ为在D上训练的分类器。给定类c，Df是该类可用图像（整类或子集），Dr是其余训练数据。
• 目标是θ′不再保留c，其余类上的行为接近重训。参照是在Dr上从头重训的模型。
• 请求只用Df中的n张图：不访问Dr，不读标签，不优化损失，不做反传。给定模型、Df和(p, γ, k)时，Algorithm 1是确定的。

作用范围

• 范围规则：可编辑的是写入分类器所读表示的后期层；更早的共享特征不动。层数随架构变。单元有入参数Inj与出参数Outj。
• ResNet-18：分类器读最后残差块512个输出通道的全局平均，范围即该块，通道即单元。Inj为产生该通道的滤波器及其BatchNorm缩放与偏移，Outj为分类器对应权重列。
• ViT-B/16：分类器读[CLS]。单元是最后四个块的MLP隐藏神经元。Inj为第一层MLP投影的对应行加偏置，Outj为第二层对应列。残差流维度不是单元，因为每块都写入它们。

单元分数

• sj估计单元j把遗忘图像的信号送到分类器的多少，只对Df前向，每轮在编辑后的模型上重算。它不与保留类比较，故对所有类都响应的单元也会高分；作者称高分位上选出的单元类别特异性较强（Appendix J）。
• ResNet-18用空间平均后的ReLU激活，即分类器收到的特征：s_j=1/n∑_{x∈ Df}a_j(x)。
• ViT上带符号的平均GELU几乎去不掉该类。作者称部分原因是多数后期神经元平均GELU为负：衰减把它推向0并抬高分数，于是每轮重选；只保留正部仍失败。更深原因是神经元只经出权重进入共享残差流，再被最终LayerNorm重标定。
• 因此ViT改为[CLS]上对类c logit的一阶归因，忽略后续块路径，且不反传：s_j=1/n∑_{x∈ Df}g_j(x)(w_j^⊤ u_c)/σ(x)。gj为GELU输出，wj为出权重，uc为类c logit方向，σ(x)为LayerNorm尺度。类c取原模型在Df上平均logit最高者：不读标签，但是单类遗忘集上的伪标签（Appendix I）。Appendix L称，就此而言ViT上的UnAct是不做反传，而不是只用激活。作者称两种分数各只在一个模型上试过。

选择与迭代衰减

1. 每轮选出分数不低于第p百分位的单元，约为最高的(100−p)%。ViT上许多类token分数精确为0，改为按秩取同样数量，并列按索引打破（Appendix A）。
2. 选中单元的Inj与Outj乘以γ（0<γ<1），减弱而不删除。ResNet-18上BatchNorm运行统计冻结，因此不是通道的均匀缩放（Appendix A）。
3. 高百分位时一轮去不掉该类；作者称部分原因是恒等捷径仍携带被选通道的一部分信号。较低百分位一轮可以够用，CIFAR-100的所选配置为k=1。
4. 衰减后分数下降，后续轮大多选到新单元，迭代加宽编辑而不是加深同一批。k轮后被编辑比例至多为每轮比例的k倍；小k时测得覆盖接近该界（Appendix N）。(p, k)控制广度，γ控制强度。选择按百分位，故界不依赖于图像数量或分数尺度。一次请求的代价是对n张图做k次前向。

所用工作点

• ResNet-18按五类平均Δ选出：(99, 0.01, 20)、(99, 0.1, 20)、(90, 0.3, 1)，分别对应CIFAR-10、CIFAR-20、CIFAR-100。
• ViT-B/16在类3上选出p=85、γ=0.1、k=5。推理模式下BatchNorm统计冻结、dropout关闭。

实验设置

• 模型：ResNet-18用CIFAR stem从零训练100个epoch，CIFAR-10/20/100测试准确率为94.97%、85.34%、77.35%。ViT-B/16用ImageNet-1k权重，在224×224的CIFAR-10上微调8个epoch。Appendix B写明这不是SSD原文ViT结果的复现，因为该文用ImageNet-21k预训练。
• 遗忘协议：每次去掉一个类。除非另述，Df含该类全部训练图像；Table 10以最大n表示整类，CIFAR-10/20/100为5000、2500、500。类在实验前固定：CIFAR-10为{0, 2, 3, 5, 8}（ViT相同），CIFAR-20为{3, 4, 10, 14, 19}，CIFAR-100为{3, 20, 51, 69, 85}。每类有一个按同一配方在保留集上重训的参照。
• 基线与选点：SSD与LFSSD。ResNet-18上每方法每数据集一个工作点，为固定网格上五类平均Δ最低者（UnAct 100组，SSD与LFSSD各90组；SSD所选α限制在其论文报告范围内）。此后不重调。ViT上SSD取α–λ网格最优点，UnAct用一个遗忘类选配置。论文写明未在ViT上跑LFSSD。
• 指标：Ar、Af为保留类与遗忘类的测试准确率。Δ对每个遗忘类计算|Ar−重训Ar|+|Af−重训Af|（百分点）再对五类平均，越低越接近重训。MIA为预测熵逻辑回归把遗忘集训练图像标为成员的比例（Appendix B）。另报Avg. Gap；Table 8称MIA项主导该量。
• 实现：准确率用fp32（ViT重学习曲线与第一阶段选择用bfloat16）。种子42。计时用一块L4。L4与A10在同一检查点上最多差一张测试图像。
• 四组问题：全类是否接近重训；需要多少张遗忘图像；顺序请求后是否仍遗忘；单次请求耗时。

主结果

全类、所选工作点、五类均值（Table 2）。LFSSD在三个ResNet-18设置上Af均为0.00，ViT未报告。

Swipe horizontally to read the table

设置	UnAct Δ	SSD Δ	LFSSD Δ	UnAct Af	SSD Af
ResNet-18, CIFAR-10	0.08	0.29	0.11	0.00	0.00
ResNet-18, CIFAR-20	0.80	0.27	0.24	0.00	0.00
ResNet-18, CIFAR-100	1.15	0.50	0.38	0.00	0.00
ViT-B/16, CIFAR-10	11.49	33.74	未报告	4.96	14.16

• 作者称全类时三种方法都把ResNet-18的Af降到0，并保持在重训约一个点以内；UnAct在CIFAR-10最近，LFSSD在CIFAR-20与CIFAR-100最近。摘要把ViT两格写为11.5与33.7。
• 作者称ViT上的差距主要来自保留准确率：UnAct最低单类Ar为85.33%（Table 16写85.3），SSD有一类降至9.57%（Table 16写9.6）并有一类大体未遗忘；在未用于选配置的四类上，Δ为13.60对35.71。Table 16写UnAct在五类中的三类上更近。
• 作者称MIA不能区分方法：ResNet-18上各方法均值至多0.9%（Table 8中SSD在CIFAR-10为0.9±1.8，其余方法均值0.0），低于重训模型，故不用它排名。

少样本遗忘集

n=5、全类工作点、五类平均Δ（Table 10）。SSD与LFSSD在每个n仍收到全训练集重要性。

Swipe horizontally to read the table

数据集	SSD	LFSSD	UnAct
CIFAR-10	89.85	67.07	0.21
CIFAR-20	72.95	7.55	0.77
CIFAR-100	46.14	0.44	1.37

• 作者称比较给了基线严格更多信息。125次ResNet-18运行中，UnAct的Ar最多低于重训2.45个百分点（摘要写2.5）。CIFAR-10上SSD、LFSSD的单类Ar最多下降85.34与86.09个百分点，均值Ar最低到29.60%与11.26%，UnAct最低均值为95.51%（Section 4.2，Figure 2）。摘要把n=5的CIFAR-10写成0.21对67与90。
• 作者称CIFAR-10与CIFAR-20上，n≤10的每个规模UnAct都最近；ViT-B/16上n=5的Δ为12.63。LFSSD从CIFAR-100的n=5起更低（0.44对1.37），CIFAR-20从n=25起、CIFAR-10在n=100（0.09对0.17）更低，但少图像时在CIFAR-10与CIFAR-20上仍会打崩部分类。作者称ResNet-18上UnAct的Af从n=5起接近0。
• 在SSD论文报告的α范围内，用重训模型按每个n重选α后，n=5的Δ仍为87.47、64.62、46.14（Table 11）。ViT上作者称SSD在每个n≤500的Δ至少88.78；UnAct最大单类Ar下降13.7个百分点，SSD为88.5（Section 4.2，Figure 9）。

顺序请求

• 五个一类请求依次作用到已编辑的ResNet-18，每集5个随机类顺序，不重调；SSD每次在当前模型上重算重要性。LFSSD未跑（Table 12，Figure 6）。
• 第五次请求时，CIFAR-10/20上SSD的已请求类Af均值为76.1%与62.1%，UnAct为0.3%与1.2%；跨顺序与请求，UnAct的该Af不超过2.7%。CIFAR-20上UnAct的Ar在约三次请求后下降，第五次均值为70.1%（最差顺序59.6%），SSD为85.7%。
• CIFAR-100第五次：SSD的Af 0.5%、Ar 77.1%，UnAct的Af 0.5%、Ar 70.8%。作者称这里SSD更好。同一单类设置下一次去掉q>1个类时两种方法都失败；q=5时UnAct的Δ为84.76、60.51、43.66，SSD为94.54、89.97、81.29（Table 13）。

单次请求耗时

• UnAct的代价是对遗忘图像做k次前向，不读训练集。计时在一块L4上，与同场次SSD配对（Table 15，Figure 8）。
• 网格中最优一轮配置的五类Δ为0.15、0.84、1.14，耗时0.58、0.38、0.12秒，相对预计算重要性的SSD为3.31×、3.01×、1.83×，相对冷启动为35×、69×、215×。正文写与所选Δ相差0.06、0.05、0.00；相对Table 15所选点0.08、0.80、1.14，差为0.07、0.04、0.00。
• 所选k=20在CIFAR-10/20上慢于预计算SSD（18.27秒对摊销3.08秒；9.64秒对1.53秒），仍快于冷启动。ViT全类请求作者称UnAct 73秒、SSD 1,373秒（重要性1,248秒），冷启动约19×，重要性预计算后1.7×；五张图0.1秒。

其他消融与分析

• 探针与logit mask（Table 9）：Δ为0.09、0.25、0.33；各方法后遗忘类探针AUROC至少0.98，重训模型上至少0.956。CIFAR-10上与重训预测的一致率：SSD 65.5%、LFSSD 62.5%、mask 62.4%、UnAct 31.4%。
• 重学习（Table 18，m=5、10步）：SSD的Af为68.1、41.3、40.2，UnAct为36.8、33.2、83.6，重训为0.0、0.0、1.2。ViT上5步、m=5后UnAct的Af回到87.3%，SSD为33.6%，重训为0.0%（Figure 11）。m=1时作者称探针本身损伤重训模型，故不下结论。
• 选择性（Table 14，p=75，未改权重）：遗忘/保留激活质量比在三集上为4.38、3.19、2.54。
• 无重训选点（Table 6）：8/9与最小Δ相同；例外是UnAct在CIFAR-10上0.11对0.08。三集共用(99, 0.01, 20)时UnAct的Δ不超过3.46；SSD、LFSSD迁移配置最高到32.42与93.72。
• ViT分数（Table 17）：正部激活Δ=95.41；只编辑最后两块Δ=44.24。报告配置为最后四块的类token logit分数。
• 参数与留出类（Table 8、7）：UnAct修改4.80%、4.95%、2.18%参数，SSD为3.63%、0.60%、0.23%，LFSSD为3.09%、0.79%、0.12%。留出类baby、lamp、electrical devices上三者都能遗忘；UnAct的Δ为1.25、0.04、1.19。

作者指出的局限与后续方向

局限写在Section 5末段。论文未单列后续实验计划。

• 抑制而非擦除：少量遗忘图像上的几步微调就能恢复该类的很大一部分，SSD也如此。
• 单类请求：打分假定遗忘图像来自单一类。
• 整类比较：整类可用时，在CIFAR-20与CIFAR-100上比SSD、LFSSD略远离重训，且改动的参数更多。
• ViT保留准确率：仍低于重训模型。
• 分数依赖架构：必须按单元如何到达分类器来改写（Section 3.3）。
• 证据范围：CIFAR规模数据、两种架构、一个训练种子；所有方法的工作点都在测试集上选取。

实验覆盖范围

• 被测模型为从零训练的ResNet-18（CIFAR stem）和在CIFAR-10上微调的ViT-B/16（ImageNet-1k预训练）；数据为CIFAR-10、CIFAR-20、CIFAR-100，每集预先固定5个遗忘类（Section 4.1）。
• ResNet-18上的基线为SSD与LFSSD；ViT-B/16上论文写明未运行LFSSD，因其全训练集重要性一遍需1,248秒（Section 4.1）。
• 报告了Ar、Af、Δ、熵MIA、Avg. Gap、倒数第二层线性探针AUROC和重学习曲线；全类、少样本n、五次顺序请求和L4耗时均有数值（Section 4，Appendix G–M）。顺序实验每集5个类顺序，未跑LFSSD（Table 12）。
• 全部实验使用seed 42。工作点按五类平均Δ在测试集上选取；Appendix D写明这只说明可以不重训，并不构成held-out选择。
• Appendix B写明本文ViT数字不是SSD原文ViT结果的复现，因为预训练分别为ImageNet-1k与ImageNet-21k。每种到达分类器的方式各测了一个模型（Section 3.3）。

UnAct是一种事后类别遗忘：删除请求可以只有少量该类图像，且没有标签和保留数据。它不用梯度，只对遗忘图像做前向。

编辑对象是分类器所读的后期单元。ResNet-18为最后残差块的通道，分数是平均激活；ViT-B/16为最后四块MLP神经元，分数是对类logit的一阶归因，类由遗忘图像上的最高平均logit充当伪标签。每轮按百分位选出固定比例，把入出权重乘以γ，再重新打分。ResNet-18所选轮数在CIFAR-10/20为20，CIFAR-100为1。

• 全类、ResNet-18、五类均值：三者Af均为0.00%。UnAct的Δ为0.08、0.80、1.15，SSD为0.29、0.27、0.50，LFSSD为0.11、0.24、0.38（Table 2）。作者称与两基线相当，但CIFAR-20与CIFAR-100上LFSSD更近。
• n=5、CIFAR-10：UnAct的Δ为0.21，LFSSD为67.07，SSD为89.85（Table 10）。跨全部n与三个ResNet-18数据集的125次运行，UnAct的Ar最多低于重训2.45个百分点。
• ViT-B/16、CIFAR-10全类：UnAct的Δ为11.49、Af为4.96，SSD的Δ为33.74、Af为14.16；LFSSD未跑。冷启动时作者称一次全类请求比SSD快约19倍。
• 顺序五次请求后，CIFAR-10/20上UnAct的已请求类Af不超过2.7%，但CIFAR-20的Ar降至70.1%；CIFAR-100上SSD的Ar保持77.1%，UnAct降至70.8%（Table 12）。
• 作者称Δ只说明该类不再被预测：logit mask的Δ为0.09、0.25、0.33，线性探针在所有方法之后AUROC至少0.98（Table 9）。作者的结论是，整类时UnAct用到的信息更少且与基线相当；遗忘图像很少时，它是ResNet-18上唯一在每个规模都不把保留准确率打崩的方法。作者同时称它抑制的是输出，几步微调即可恢复该类的很大一部分。