跳到正文
原文
arXiv:后门、投毒与隐私· arXiv:2609.25579· Baogang Song·本站收录· 原文发表

研究重新审视后门修复评测:区分总体干净效用与良性性能保持

Rethinking Backdoor Repair Evaluation: Distinguishing Aggregate Clean Utility from Benign Performance Preservation

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

论文指出后门修复后总体干净准确率可能掩盖类别级性能损失,并以 Dmax 与尾部损失补充 ASR 和 Overall Clean Accuracy。

问题
后门修复常用 ASR 与 Overall Clean Accuracy 评价攻击抑制和总体干净效用。总体准确率按类加权平均,可能稀释少数类的大幅下降,或被其他类的提升抵消,从而看不出修复前已有的类别级干净性能是否被保留。
方法
以修复前模型为参照,定义有符号类别变化 Rc 与保留损失 Dc。用最差类保留损失 Dmax 和基于类均匀 CVaR 的尾部保留损失 Dtail^(0.8) 概括局部损失。先按 ASR≤0.10 且总体干净准确率最高选出代表修复状态,再计算保留指标。
实验与结果
在 CIFAR-10、CIFAR-100、GTSRB 上,BadNet、WaNet、Input-Aware 与多种修复方法显示:ASR 已低且 ΔACC 接近 0 或为正时,Dmax 仍可达数十个百分点。严重受损类既不固定为攻击目标,也不在不同修复方法间一致;换目标类、架构和干净标签攻击后该差异仍出现。
局限与可以继续做的
作者称结论限于所研究的图像分类、攻击、修复方法和固定候选状态选择,未覆盖训练时防御或推断时检测,也未提出新的修复算法。主实验用 5% 可信干净子集、三次重复、τ=0.10 和 α=0.8;Input-Aware 下 FT 与 NAD 无合格代表状态。
实验设置ResNet18、PreActResNet18 等 · CIFAR-10、CIFAR-100 等 · ASR、ΔACC 等
被测模型
ResNet18PreActResNet18VGG19-BN
基准
CIFAR-10CIFAR-100GTSRB
指标
ASRΔACCDtail^(0.8)DmaxDtDmax^¬tJaccard similarity
AI 导读论文提出后门修复评测不应只看攻击成功率(ASR)和总体干净准确率,因为总体准确率会掩盖集中在部分标签空间上的性能退化。作者从保持视角区分总体干净效用与原有类别性能的保持,通过比较修复前后的干净性能定义类别级保持损失,并指出聚合会通过局部损失稀释和跨类别补偿隐藏局部退化。为此论文引入最差类别保持损失和尾部保持损失来刻画局部保持损失,并在代表性后门攻击、修复方法、数据集、攻击目标和模型架构上开展系统实证研究,另在干净标签攻击下做了验证。结果显示,有效抑制攻击和良好的总体干净性能并不必然意味着各类别原有良性性能被均匀保持,修复后仍可能存在明显的局部保持损失,其严重程度和类别结构随修复条件变化。

论文提出后门修复评测不应只看攻击成功率(ASR)和总体干净准确率,因为总体准确率会掩盖集中在部分标签空间上的性能退化。作者从保持视角区分总体干净效用与原有类别性能的保持,通过比较修复前后的干净性能定义类别级保持损失,并指出聚合会通过局部损失稀释和跨类别补偿隐藏局部退化。为此论文引入最差类别保持损失和尾部保持损失来刻画局部保持损失,并在代表性后门攻击、修复方法、数据集、攻击目标和模型架构上开展系统实证研究,另在干净标签攻击下做了验证。结果显示,有效抑制攻击和良好的总体干净性能并不必然意味着各类别原有良性性能被均匀保持,修复后仍可能存在明显的局部保持损失,其严重程度和类别结构随修复条件变化。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    总体干净准确率可能掩盖修复后少数类别上的干净性能损失。

    后门修复在 ASR 低且 Overall Clean Accuracy 几乎不变时,是否仍丢失了修复前某些类别上已有的干净性能。

    • 场景:作者称,已训练或已部署的后门模型往往难以用原始数据从头重训,因而出现直接修改模型的训练后防御,本文称之为 backdoor repair。其目标是抑制恶意行为并保持良性任务性能,常用 ASR 衡量攻击抑制,用 Overall Clean Accuracy 衡量总体干净效用。
    • 现有评价的不足:Overall Clean Accuracy 把各类表现聚合成一个数。作者认为,损失集中在少数类时会被稀释,一类的下降也可被另一类的上升抵消,因而总体指标几乎不变仍可能丢失特定类上修复前已有的干净性能。Hsieh 等指出修复可能不成比例地损害攻击目标类,但作者认为这还不是对整个标签空间做保留导向评价。
    • 核心观察:Figure 1 给出 CIFAR-100 上 D3 修复 Input-Aware 模型的一例(三次重复平均):平均 ASR 为 0.05%,Overall Clean Accuracy 平均提高 0.72 pp,而最差类干净准确率损失在各次重复中为 24–26 pp。作者把增益与损失分开,并以修复前模型为参照。
    • 本文提出:区分 aggregate clean utility 与 benign-performance preservation,定义类别保留损失 Dc,并用 Worst-Class Preservation Loss(Dmax)和 Tail Preservation Loss(Dtail)概括局部损失,与 ASR、Overall Clean Accuracy 并列使用。作者不做新的修复算法,而是在多种攻击、修复方法、数据集、目标和架构上做经验研究,并另做干净标签攻击验证。

    本文是评测分析,不设定攻击者。所讨论的修复设定是:防御者用有限可信干净数据修改已有被植入后门的分类模型,以抑制触发条件下的攻击者指定输出,同时尽量保留良性输入上的预测性能。

  2. 有哪些相关研究?

    相关工作分训练后修复方法,以及后门防御的评测与类别不均衡现象。

    训练后后门修复

    • 早期方法:Neural Cleanse [14] 从已训练模型反推候选触发并用恢复信息辅助缓解;Fine-Pruning [3] 去掉对干净输入激活弱的神经元再微调。
    • 定位敏感组件:ANP [5] 找出易受对抗扰动的神经元并剪枝;AWM [16] 用 min–max 估计与对抗触发相关的扰动并学习敏感权重掩码;RNP [17] 用遗忘–恢复暴露并剪枝后门相关神经元;Neural Polarizer [18] 插入轻量可学习变换以抑制触发相关表示。
    • 迁移、遗忘与优化:NAD [4] 把干净微调教师的注意力模式迁到后门模型;I-BAU [19] 把缓解写成由隐式超梯度优化的 minimax 遗忘;SAU [20] 遗忘与后门风险相关的共享对抗样本;FT-SAM [21] 在微调中加入 sharpness-aware minimization;FST [22] 把分类器权重推离被污染状态;TSBD [15] 用干净遗忘引起的权重变化定位参数,再重新初始化并做激活感知微调。D3 [7] 用距离驱动约束优化让修复模型离开初始后门权重邻域;PGBD [23] 利用激活空间几何惩罚朝攻击目标的移动;UPGP [24] 把遗忘扰动与正交约束梯度投影结合。作者称这些方法都旨在抑制恶意行为并保持良性预测效用,本文不提出另一种修复方法,而关注修复后良性性能如何被评价。

    评测协议与安全侧指标

    • 基准与综述:BackdoorBench [25] 及其扩展 [6] 提供统一实现,并用 C-Acc、ASR、R-Acc 和 DER 等标准化比较。Abad 等的 SoK [26] 记录实验协议、指标、威胁模型假设和超参数选择上的差异。Wei 等 [27] 指出净化效果会随防御者可用辅助干净数据的来源和分布变化。
    • 低 ASR 不等于后门被稳健去除:Min 等 [28] 指出净化后 ASR 低的模型仍可能很快恢复后门行为;Zhu 等 [29] 指出被现有训练后防御压住的后门可以处于休眠并随后被重新激活。作者认为这是常规评价在安全侧的局限。

    修复的类别特异性影响

    • 目标类与类间不平衡:Hsieh 等 [9] 指出后门遗忘可能不成比例地损害攻击目标类,并增加一步以恢复其效用。Chen 等 [30] 从公平角度研究修复引起的类间准确率不平衡。作者认为这些工作的主要目标是刻画特定形式的类别退化或差距,而不是系统评价修复前已有的良性性能在整个标签空间上保留得如何。
    • 作者的定位:作者称,当代训练后防御仍常用总体任务性能或干净准确率刻画良性效用,并同时报告后门抑制 [23]、[24];修复前类别级干净性能的保留仍未被当作独立评价维度。本文将攻击抑制、总体干净效用和局部良性性能保留视为互补维度。

    基线方法是 FT、FP、NAD、ANP、I-BAU、D3,干净标签验证另用 FST 与 RNP。基准/数据集是 CIFAR-10、CIFAR-100 和 GTSRB,攻击为 BadNet、WaNet、Input-Aware,以及干净标签的 LC 与 SIG。

  3. 论文如何解决这个问题?

    以修复前模型为参照定义类别保留损失,并用 Dmax 与尾部 CVaR 做概括。

    作者不改修复算法,而是在常规指标选出的代表修复状态上,比较修复前后的类别干净准确率,把增益和损失分开,并用两个紧凑量概括局部保留损失。

    问题设定与形式化

    • 参照与有符号变化:设 fpre、frep 为修复前后模型,Ac(f) 为模型 f 在类 c 上的干净准确率。有符号变化为 Rc = Ac(frep) − Ac(fpre)。Rc>0 表示该类变好,Rc<0 表示相对修复前变差。
    • 保留损失:只取下降部分,Dc = [−Rc]+ = [Ac(fpre) − Ac(frep)]+,其中 [x]+=max(x,0)。性能保持或提高时 Dc=0。全体 {Dc} 构成完整的类别保留损失剖面。
    • 与总体变化的关系:设 nc 为类 c 的评测样本数,N 为总和,wc=nc/N。总体干净准确率变化 ΔAoverall 等于各类 wc Rc 之和,文中记为 ΔACC。再令 Gc=[Rc]+,则 Rc=Gc−Dc,因而 ΔAoverall 是加权增益减去加权保留损失,本身不决定损失有多大、分布在哪里。

    两种聚合如何掩盖损失

    • 局部损失稀释:类均衡且只有一类损失为 δ、其余不变时,ΔAoverall=−δ/C。损失被 1/C 缩小,总体准确率可以只变一点点。
    • 跨类补偿:类均衡下,全零变化与“一类 −δ、另一类 +δ、其余为 0”都使 ΔAoverall=0,但后者有幅度为 δ 的保留损失。因此从 {Rc} 到 ΔAoverall 是多对一。

    局部损失的紧凑概括

    • Dmax:Dmax = max Dc,即所有类中修复前良性性能丢失的最大值。
    • 尾部损失:对 α∈[0,1),用类均匀经验分布上的 CVaR 定义 Dtail^(α):对辅助变量 η 取最小的 η 加上 (Dc−η)+ 在各类上的平均,再除以 (1−α)。1−α 是上尾质量。主分析取 α=0.8,对应损失最大的 20% 类。尾部对类均匀加权,不因某类评测样本少而降低其影响;Overall Clean Accuracy 仍按样本加权。
    • 剖面仍是主要表示:Dmax 与 Dtail 只用于跨条件比较,不替代完整剖面,也不替代 ASR 和 Overall Clean Accuracy。作者用排序后的归一化剖面看损失是集中在少数类还是铺得更开:De(i)=D(i)/Dmax,ρi=(i−1)/(C−1)。T0.2 定义为损失为正且落在最受影响 20% 类空间中的类集合。

    代表修复状态如何选出

    • 固定修复前模型:每个数据集–架构–攻击–目标配置只用一个固定后门模型作为全部修复方法和全部重复的 fpre。每次重复使用训练集 5% 的可信干净子集;同一数据集、同一次重复内,各方法共用该子集。主实验每个方法重复 3 次。
    • 方法各自的候选状态:不同方法没有统一的修复强度。FT、NAD、D3 在优化的预定义阶段取样;FP、ANP 对应不同剪枝设置;I-BAU 对应完成的外层修复轮数。候选集合在看到保留结果之前就定好。
    • 只按常规指标选取:在 ASR(f)≤τ 的候选中选 Overall Clean Accuracy 最高者,主实验 τ=0.10,每次重复独立选择。保留量不参与选择。三次重复都没有合格候选时,该条件记为 NQ,条件级结果只对有合格状态的重复取平均。Input-Aware 下 FT 与 NAD 在三个数据集的主架构上都没有合格代表状态,表中省略。

    数据、模型与攻击修复范围

    • 主基准:CIFAR-10(10 类)、CIFAR-100(100 类)用 ResNet18,GTSRB(43 类)用 PreActResNet18。BadNet、WaNet、Input-Aware 均为 all-to-one,主实验攻击目标为类 0;CIFAR-100 另测目标类 3 和 6。架构泛化在 CIFAR-100 上另用 PreActResNet18 和 VGG19-BN。
    • 干净标签验证:CIFAR-10 上用 LC 与 SIG 作攻击、FST 与 RNP 作修复,可信子集改为训练集的 2%,代表状态仍按同一 ASR 阈值协议选取。附录写明 LC、SIG 的预修复模型 Clean ACC / ASR 分别为 94.72% / 99.92% 和 94.69% / 98.08%。
  4. 论文做了哪些实验?

    低 ASR 且总体准确率变化不大时,最差类损失仍可达数十个百分点。

    实验设置

    • 模型:主基准为 CIFAR-10/100 上的 ResNet18 和 GTSRB 上的 PreActResNet18;CIFAR-100 架构实验另加 PreActResNet18 与 VGG19-BN。
    • 数据与攻击:CIFAR-10(10 类)、CIFAR-100(100 类)、GTSRB(43 类)。主攻击为 all-to-one 的 BadNet、WaNet、Input-Aware,主目标为类 0,CIFAR-100 另测类 3、6。干净标签验证为 CIFAR-10 上的 LC 与 SIG。论文未在正文给出各测试集样本条数。
    • 修复方法:FT、FP、NAD、ANP、I-BAU、D3;干净标签验证为 FST、RNP。每个配置固定同一个预修复模型,每方法 3 次重复。主实验每次用训练集 5% 的可信干净子集,同一次重复内各方法共用;干净标签验证改为 2%。
    • 代表状态:候选中 ASR≤0.10 且 Overall Clean Accuracy 最高者才进入保留分析;无合格重复记 NQ。保留指标不参与选择。
    • 指标:ASR(%);ΔACC,即修复前后 Overall Clean Accuracy 之差(pp);Dtail^(0.8) 与 Dmax(pp)。另报攻击目标类损失 Dt、非目标类最大损失 Dmax^¬t,以及目标类是否为最差类(Target-Worst)或落入 T0.2(Target-Top20),形式为 k/n。类集合一致性用 T0.2 的 Jaccard 相似度。
    • 评审:指标由干净准确率与攻击成功率计算,论文未使用 LLM 评审或人工标注一致性。预修复模型的 Clean ACC 与 ASR 写在附录 A,正文未逐项列出。

    主结果

    Table I 为 target 0、主架构、合格代表状态上的结果。FT、NAD 在 Input-Aware 下三个数据集均为 NQ,故无数字。

    表格较宽,可左右滑动

    条件指标FTFPNADANPI-BAUD3
    CIFAR-10 BadNetASR / ΔACC / Dmax3.00 / -0.56 / 2.602.23 / 0.00 / 1.573.76 / -6.71 / 18.005.07 / -1.20 / 15.533.57 / -2.28 / 9.230.64 / -0.61 / 3.77
    CIFAR-100 BadNetASR / ΔACC / Dmax1.81 / -0.58 / 13.673.74 / -0.55 / 16.000.94 / -8.98 / 30.335.73 / -1.91 / 52.000.77 / -4.60 / 29.002.06 / -7.72 / 29.67
    CIFAR-100 Input-AwareASR / ΔACC / Dmax未报告8.35 / 5.17 / 9.67未报告4.97 / 0.22 / 11.334.82 / -0.69 / 29.500.05 / 0.72 / 25.00
    GTSRB Input-AwareASR / ΔACC / Dmax未报告0.39 / 1.75 / 14.44未报告0.06 / 0.20 / 14.440.85 / 0.69 / 25.190.00 / 1.42 / 11.11
    CIFAR-10 WaNetASR / ΔACC / Dmax9.83 / 0.93 / 0.756.23 / 0.33 / 2.207.82 / -2.29 / 6.237.18 / 1.27 / 2.471.46 / -1.88 / 8.170.55 / 0.01 / 2.90
    GTSRB BadNetASR / ΔACC / Dmax1.92 / 0.47 / 7.520.00 / 0.94 / 10.742.07 / 0.28 / 10.193.37 / -0.33 / 7.120.01 / -1.01 / 29.440.01 / 0.44 / 17.22

    据 Table I。ASR 为 %,ΔACC 与 Dmax 为 pp。Figure 2 把 −Dtail^(0.8) 与 −Dmax 画在零以下;作者称 CIFAR-100/BadNet/ANP 的 Dmax=52.00 pp 超出图的显示范围。

    • 作者的解读:ΔACC 的幅度经常小于最受影响类上的损失。例如 CIFAR-10/BadNet/ANP 的 ΔACC 为 -1.20 pp,而 Dtail^(0.8)=8.78 pp、Dmax=15.53 pp;同一攻击在 CIFAR-100 上 ANP 的 ΔACC 为 -1.91 pp,尾部与最差类损失为 12.43 pp 和 52.00 pp。
    • 总体变好仍有局部损失:CIFAR-100/Input-Aware/FP 的 ΔACC 为 +5.17 pp,Dtail^(0.8) 与 Dmax 仍为 3.60 pp 和 9.67 pp。GTSRB/Input-Aware/I-BAU 的 ΔACC 为 +0.69 pp,尾部损失 6.60 pp,最差类 25.19 pp。CIFAR-100/WaNet/ANP 的 ΔACC 为 +2.20 pp,Dmax 为 16.67 pp。
    • 相近的总体变化对应不同局部损失:作者称 Figure 2 中 Overall Clean Accuracy 变化相近的修复结果,其上尾和最差类损失可以差很多,因此总体干净效用不能唯一刻画保留结果。

    受损类是否就是攻击目标

    Table II 在同一 target-0 设定下比较目标类损失与非目标类最大损失,以及目标类落入最差类或 T0.2 的重复次数。

    • 多数条件里目标类不是最差类:作者称在 48 个报告的数据集–攻击–修复条件中,Target-Worst 有 36 个没有任何一次重复使目标类成为最差损失类。GTSRB/WaNet 上各修复方法的 Dt 均为 0.00 pp,但 Dmax^¬t 从 5.33 pp(FP)到 16.39 pp(I-BAU)。CIFAR-100/Input-Aware 上四种有报告的方法 Target-Worst 与 Target-Top20 均为 0,Dmax^¬t 从 9.67 pp(FP)到 29.50 pp(I-BAU)。
    • 目标类成为极端损失的例子:CIFAR-100 上 ANP 在 BadNet 与 WaNet 的每次合格重复中目标类都在最差损失类之中,Dt 分别为 52.00 pp 和 16.67 pp,对应 Target-Worst 为 3/3 与 3/3。CIFAR-10 上也有若干条件目标类稳定进入 T0.2,例如 BadNet/ANP 的 Target-Worst 与 Target-Top20 均为 3/3,Dt=15.53 pp。作者认为目标类退化是局部损失的一种表现,但不能一般地解释最严重的类别损失。
    • 合格重复数并不总是 3:Table II 中若干格的分母小于 3,例如 CIFAR-10/WaNet/FT 的 Target-Worst 为 0/2,CIFAR-100/WaNet/NAD 为 0/1,CIFAR-10/Input-Aware/I-BAU 为 1/2。这些是该条件下合格重复数,不是全部三次都进入平均。

    受损类是否跨修复方法一致,以及损失有多集中

    • Jaccard:Figure 3 给出各修复方法对的 T0.2 平均 Jaccard。作者称全部非对角修复对的中位数为 0.22,范围 0.04–0.75。CIFAR-100 上三种攻击的非对角相似度都不超过 0.40。高与低可以同时出现:CIFAR-10/Input-Aware 上 FP 与 D3 为 0.74,ANP 与 D3 为 0.13;CIFAR-10/WaNet 上 FT 与 FP 为 0.61,NAD 与 I-BAU 为 0.04;GTSRB/WaNet 上 FT 与 NAD 为 0.75。作者认为严重受损类不是各修复方法共享的固定子集。
    • 排序剖面:Figure 4 把每次重复的类别损失按降序排列,除以该次的 Dmax,再对重复平均;纵线标出最受影响的 20% 类。作者称 GTSRB 上多数剖面在排序前段就快速下降,损失主要集中在相对较小的类子集;若干 CIFAR-10 与 CIFAR-100 条件的归一化损失在 20% 秩参考之后仍不可忽略。同一数据集–攻击内形状也不同,例如 CIFAR-10/BadNet 上 ANP 更集中,NAD 把相对损失铺到更多类。作者认为损失幅度和覆盖广度不必一起变化。图中具体曲线端点数值除 20% 参考线外,正文未逐条列出。

    目标、架构、加权与干净标签

    • 攻击目标:Table III 在 CIFAR-100 上比较目标类 t∈{0,3,6}。作者称三种目标下都有 Overall Clean Accuracy 不下降但仍有正的上尾损失的条件。WaNet/ANP 的 ΔACC 在 t=0、3、6 分别为 2.20、1.39、1.71 pp,Dtail^(0.8) 为 4.32、8.30、7.32 pp。Input-Aware/D3 的 ΔACC 在三个目标上处于 0.11–0.72 pp,Dtail^(0.8) 处于 11.13–12.90 pp。Input-Aware/FP 在三个目标上把 Overall Clean Accuracy 提高 4.09–5.17 pp。正文在此处被截断,三个目标的完整逐格表未全部出现在所附文本中,因此不补未写出的格子。
    • 架构:Section V-C 在 CIFAR-100 上比较 ResNet18、PreActResNet18 和 VGG19-BN。BadNet/FP 的 ΔACC 分别为 -0.55、-0.08、0.35 pp,Dtail^(0.8) 分别为 6.53、5.12、5.35 pp。所附文本在该段之后中断,其余攻击–修复组合的架构数字未完整出现,不补写。
    • 类加权:作者称还检查了用于概括干净性能的 class-weighting scheme。所附转换文本没有给出该实验的完整数字表,不写具体数值。
    • 干净标签:Section V-D 与附录 D 用 LC、SIG 和 FST、RNP。预修复 Clean ACC / ASR:LC 为 94.72% / 99.92%,SIG 为 94.69% / 98.08%。代表状态仍用 Section IV-C 的协议。所附文本没有给出修复后的 ASR、ΔACC、Dmax 表,因此不报告干净标签条件下的修复后数字。作者在引言中称,干净标签验证同样看到有效攻击抑制和有利的总体干净表现可以与相当大的局部保留损失并存。

    其他消融与分析

    • Figure 1:CIFAR-100、D3、Input-Aware,三次平均;mean ASR 0.05%,mean ΔACC +0.72 pp;最差类损失在各重复中为 24–26 pp。横轴按 Rc 排序,标注含 c80、c44 等类,并标出 88 个中间类;纵轴为 Rc(pp),约从 30 到 -30。图上直接读到的端点数值以图注中的 24–26 pp 为准,各类 Rc 的逐柱数字未在文本中列出。
    • α:主分析固定 α=0.8。论文未在所附正文中给出其他 α 的完整数值表。
    • NQ:Input-Aware 的 FT 与 NAD 在三个数据集的主架构上均无合格代表状态。
    • 选择准则:τ=0.10 只用于筛选,不进入保留量的定义。论文未报告改变 τ 后的完整结果表。
  5. 有什么可以进一步探索的点?

    作者把结论限定在所研究的图像分类修复设定,并计划扩展任务与修复族。

    作者指出的局限与后续方向

    所附转换文本在 Section V-C 的架构段和附录的实现细节处中断,未见单独的 Limitations、Discussion 或 Future Work 全文。能对应到作者明确把范围说成边界的句子只有方法定位和实验协议里写出的部分:

    • 不做新修复算法:作者在 Related Work 中写明,本文关注修复后良性性能如何被评价,而不是再提出一种修复方法(Section II-A)。
    • 只讨论训练后、修改模型的修复:作者把范围限定为用有限可信干净数据直接修改已训练模型的 post-training model-modifying defenses,并称之为 backdoor repair(Section I、II-A)。数据筛查和推断时检测被当作其他阶段的防御方向,不在本文评价对象内。
    • 代表状态由固定协议选出:候选集合按方法预先定义,且独立于保留结果;若无候选满足 ASR≤0.10,该重复没有合格状态,三次都不合格则记 NQ(Section IV-C)。这是协议说明,作者没有把它写成待解决的开放问题。
    • 安全侧的休眠后门不在本文指标内:作者转述 Min 等与 Zhu 等的结果,低 ASR 不一定表示后门被稳健去除(Section II-B)。本文的新指标刻画的是良性侧保留,作者没有声称 Dmax 或 Dtail 能反映后门是否可被重新激活。

    其余“可以扩展到更多攻击、架构或数据比例”之类的后续工作,所附文本没有出现对应原句,不写入。

    实验覆盖范围

    • 被测模型:主结果为 ResNet18(CIFAR-10、CIFAR-100)和 PreActResNet18(GTSRB);架构比较在 CIFAR-100 上包括 ResNet18、PreActResNet18、VGG19-BN(Section IV-A、V-C)。
    • 攻击与修复:主实验为 BadNet、WaNet、Input-Aware,均为 all-to-one,修复为 FT、FP、NAD、ANP、I-BAU、D3;目标类主实验为 0,CIFAR-100 另有 3 和 6。干净标签验证的攻击为 LC 与 SIG,修复为 FST 与 RNP,数据集为 CIFAR-10(Section IV-A、V-D)。
    • 协议参数:每个配置一个固定预修复模型;主实验每方法 3 次重复,可信子集为训练集的 5%,同一次重复内各方法共用;干净标签验证为 2%、seeds 1、2、3。代表状态阈值 τ=0.10,尾部水平 α=0.8(Section IV-B、IV-C)。
    • 未进入主表的条件:Input-Aware 下 FT 与 NAD 在三个数据集的主架构上没有合格代表状态,Table I 省略这两列(Table I 注)。若干条件的合格重复数 n<3,以 Table II 的 k/n 为准。
    • 论文未报告:所附正文没有给出每次修复的查询次数或墙钟时间,也没有给出改变 τ 或 α 的完整数值表;干净标签修复后的 ASR、ΔACC 与 Dmax 未出现在所附表格文字中。预修复模型的 Clean ACC 与 ASR 指向附录 A,除 LC 与 SIG 的两个数对外,正文摘录未列出。
  6. 总结一下论文的主要内容

    低 ASR 与平稳的总体干净准确率,仍可能伴随很大的类别保留损失。

    这篇工作重新检查后门修复的良性侧评价:攻击被压下去、总体干净准确率也好看时,修复前各类已有的干净性能未必还在。

    • 问题:训练后修复通常同时看 ASR 和 Overall Clean Accuracy。后者是各类变化的样本加权平均。一类上的大幅下降既可能被 1/C 稀释,也可能被其他类的上升抵消,所以总体变化接近 0 甚至为正,仍可能丢掉少数类上修复前就有的性能。
    • 做法:以修复前模型为参照,Rc 为该类干净准确率的前后差,Dc 只保留下降。完整剖面之外,用最差类 Dmax 和类均匀 CVaR 尾部 Dtail^(0.8) 做比较。每个方法先在预定义候选里选 ASR≤0.10 且总体干净准确率最高的状态,再计算这些保留量。主实验覆盖 CIFAR-10、CIFAR-100、GTSRB,攻击为 BadNet、WaNet、Input-Aware,修复为 FT、FP、NAD、ANP、I-BAU、D3,每方法 3 次重复、5% 可信数据。
    • 结果:CIFAR-100 上 D3 修复 Input-Aware 时,平均 ASR 0.05%、ΔACC +0.72 pp,最差类损失在三次重复中为 24–26 pp,Table I 中该条件 Dmax 为 25.00 pp。CIFAR-100/BadNet/ANP 的 ΔACC 仅 -1.91 pp,Dmax 为 52.00 pp。总体准确率上升时局部损失仍在,例如 CIFAR-100/Input-Aware/FP 的 ΔACC 为 +5.17 pp,Dmax 为 9.67 pp;GTSRB/Input-Aware/I-BAU 的 ΔACC 为 +0.69 pp,Dmax 为 25.19 pp。48 个条件里有 36 个从未把攻击目标类记为最差损失类。严重受损类集合的跨方法 Jaccard 中位数为 0.22。换目标类 3 和 6、以及在 CIFAR-100 上换 PreActResNet18 与 VGG19-BN 后,总体变化与尾部损失的差距仍然出现。
    • 作者的结论:有效的攻击抑制和有利的总体干净表现,并不意味着修复前的良性性能在各类上都被保留。局部保留损失的严重程度和类别结构随修复条件和实验设置变化,既不限于攻击目标类,也不是一组固定的脆弱类。作者认为总体干净效用和局部良性性能保留是修复质量的不同方面,因此在 ASR 和 Overall Clean Accuracy 之外,还需要面向保留的类别级评价。
阅读原文arxiv.org