跳到正文
原文

REFINE:基于模型重编程的无反演后门防御

REFINE: Inversion-Free Backdoor Defense via Model Reprogramming

arXiv· arXiv:2502.18508· ICLR 2025· Yukun Chen, Shuo Shao, Enhao Huang, Yiming Li, Pin-Yu Chen, Zhan Qin, Kui RenState Key Laboratory of Blockchain and Data Security, Zhejiang University; Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security; Nanyang Technological University; IBM Research本站收录· 23 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出基于模型重编程的免触发器反转后门防御 REFINE,在 CIFAR-10/ImageNet 上 7 种攻击下 ASR 均低于 3%。

威胁模型防御方从第三方平台获得预训练模型,模型可能已被攻击者以任意方式植入后门;防御方不改动模型参数,仅做推理前预处理,并假设拥有与训练集独立同分布的无标注数据集。

问题
第三方预训练模型可能被植入后门。预处理类防御中,变换类方法难以兼顾良性准确率与防御效果,触发器反转(BTI)类方法则难以准确还原触发器。
方法
REFINE 用可训练的 U-Net 输入变换模块打乱良性与后门模式,再用硬编码的输出重映射模块重定义输出域,以交叉熵和监督对比损失训练,不改动原模型参数。
实验与结果
在 CIFAR-10 和 50 类 ImageNet 子集、ResNet-18 及 7 种攻击下,REFINE 的 ASR 均低于 3%,CIFAR-10 上 BA 下降不到 3%;对模拟的自适应攻击 ASR 仍低于 1.5%。
局限与可以继续做的
作者指出:防御依赖一定量无标注样本,10% 数据时 BA 降至约 78%;需训练本地变换模块,开销高于随机变换类防御;仅覆盖图像分类任务,其他模态留作未来工作。
实验设置ResNet-18、VGG-16 等 · CIFAR-10、ImageNet (50-class subset) 等 · BA、ASR
威胁模型
防御方从第三方平台获得预训练模型,模型可能已被攻击者以任意方式植入后门;防御方不改动模型参数,仅做推理前预处理,并假设拥有与训练集独立同分布的无标注数据集。主实验假设白盒访问,附录 E 探索仅有类别置信度输出的黑盒场景。
被测模型
ResNet-18VGG-16DenseNet-121ViTResNet-50
基准
CIFAR-10ImageNet (50-class subset)CINIC10
指标
BAASR
AI 导读研究者提出 REFINE,一种基于模型重编程、无需触发器反演的深度神经网络后门防御方法。其输入变换模块打乱良性特征与后门模式、生成新的良性特征,输出重映射模块重新定义模型输出域以引导变换,并结合监督对比损失,在保持模型效用的同时增强防御。在多个基准数据集上的大量实验验证了其有效性,且能抵抗潜在的自适应攻击。

研究者提出 REFINE,一种基于模型重编程、无需触发器反演的深度神经网络后门防御方法。其输入变换模块打乱良性特征与后门模式、生成新的良性特征,输出重映射模块重新定义模型输出域以引导变换,并结合监督对比损失,在保持模型效用的同时增强防御。在多个基准数据集上的大量实验验证了其有效性,且能抵抗潜在的自适应攻击。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    如何在不反转触发器、不改模型参数的前提下,打破预处理防御中效用与防御效果的权衡。

    核心问题:能否不依赖后门触发器反转(BTI),打破预处理类后门防御中模型效用与防御性能之间的权衡。

    • 问题场景:开发者常直接使用第三方预训练 DNN,模型可能在训练阶段被植入后门——良性输入表现正常,遇到触发器则输出攻击者指定结果,作者认为这威胁关键应用。
    • 现有方法的不足:作者称,变换类防御因缺乏后门特征信息、只能无差别修改全部特征,存在 BA 与 ASR 的权衡;BTI 类防御因缺乏先验知识难以准确反转触发器,净化效果受限,还可能反转出"伪触发器"。
    • 核心观察:作者给出 Theorem 1,称预处理前后输出特征的距离被表示分布的 Wasserstein-1 距离所约束;固定输出域迫使输入变换同时完成"去触发器"和"保良性特征"两个冲突目标,改变输出域可松绑。
    • 论文方案:提出 REFINE,基于模型重编程(model reprogramming)的免反转防御:可训练输入变换模块 + 硬编码输出重映射模块,配合交叉熵与监督对比损失。
    • 威胁模型(第 3.1 节):
      • 攻击者目标:在预训练模型中植入后门,可以任意方式(投毒或干预训练)。
      • 防御方知识:获得可能带后门的第三方预训练模型;主实验假设白盒访问,附录 E 探索仅输出置信度的黑盒场景。
      • 防御方能力:不改模型结构和权重,只在推理前预处理;拥有与训练集独立同分布的无标注数据集。
      • 受害系统:使用该第三方模型做图像分类的下游部署。
  2. 有哪些相关研究?

    相关工作分三组:后门攻击、三类后门防御范式、模型重编程;本文属预处理防御。

    后门攻击

    • BadNets(Gu et al., 2019)——最早的投毒型后门攻击,用可见像素块作触发器;Blended(Chen et al., 2017)——将触发器隐式混入样本以躲避人工检查。
    • WaNet(Nguyen & Tran, 2021)、ISSBA(Li et al., 2021d)、LIRA(Doan et al., 2021)、BATT(Xu et al., 2023)——不可见或样本特异性触发器;PhysicalBA(Li et al., 2021c)、Label-consistent(Turner et al., 2019)、Adaptive-Patch(Qi et al., 2023)——物理场景、干净标签与自适应攻击。

    后门防御(论文按 Li et al., 2024c 分三范式)

    • 预处理类:AutoEncoderDefense(Liu et al., 2017)、Februus(Doan et al., 2020)、ShrinkPad(Li et al., 2021c)、Deepsweep(Qiu et al., 2021),以及基于生成模型的 ZIP(Shi et al., 2023,扩散模型)和 BDMAE(Sun et al., 2023,掩码自编码器)。
    • 后门消除类:ABL(Li et al., 2021a)、Huang et al.(2022)的解耦训练、Neural Polarizer(Zhu et al., 2023)、DataElixir(Zhou et al., 2024)等,通过改参数或控训练移除后门。
    • 触发器消除/测试样本过滤类:STRIP(Gao et al., 2019)、CleaNN(Javaheripi et al., 2020)等,在推理时过滤恶意样本。

    模型重编程

    • Elsayed et al.(2019)提出对抗重编程,将 ImageNet 分类器改作他用;BAR(Tsai et al., 2020)扩展到黑盒场景;Voice2Series(Yang et al., 2021)重编程声学模型。作者称重编程不改原模型参数,比迁移学习更高效灵活。

    基线与基准:变换类基线为 ShrinkPad、BDMAE、ZIP;BTI 类基线为 Neural Cleanse、UNICORN、BTI-DBF(P);基准为 CIFAR-10 和 50 类 ImageNet 子集。

    作者定位:本文属预处理防御,但不同于变换类(靠重映射输出域打破权衡)和 BTI 类(完全不做触发器反转);作者还称传统重编程只在输入周围加通用扰动、触发器仍保留,而 REFINE 用自编码器整体变换输入。

  3. 论文如何解决这个问题?

    REFINE 用可训练输入变换模块加硬编码输出重映射,把后门模型重编程到新输出域。

    整体思路:把带后门模型当作固定的特征提取器,前面接一个可训练的输入变换模块破坏触发器模式,后面接一个硬编码的输出重映射模块改变输出域,使输入变换不再受"保留原良性特征"的约束。方法名为 REFINE(REprogramming-based Inversion-Free backdoor defeNse mEthod)。

    理论动机

    • Theorem 1:Ex∼ D,x̃∼ D̃ |F(x)−F(x̃)|2 ≤ 2α√K · W1(μ, μ̃),即变换前后模型预测的距离上界由特征表示分布间的 Wasserstein-1 距离决定(证明在附录 A)。
    • 作者的解读:为保效用,现有防御倾向于保留输出表示,因而限制了对后门的破坏力;允许改变输出域即可放大输入变换幅度。

    输入变换模块

    • 用可训练自编码器(U-Net)作为变换模块 T,X̃ = T(X, θ),保持变换前后样本维度一致。
    • 作者称,相比传统重编程只在输入周围加通用对抗扰动,自编码器对样本的操控更灵活;变换同时打乱良性与后门模式,生成按类聚集的新良性特征。

    输出映射模块

    • 硬编码一对一标签重映射函数 fL:l̃ ↦ l(l̃ ≠ l),把原模型各类别的置信度重排为新分数 Y = M(Ỹ)。
    • 每次防御前随机指定一个重映射函数;附录 I 给出了 CIFAR-10 上所用的具体类别置换示例。

    优化目标

    • 总损失 Lrefine = Lce + λ Lsup:交叉熵维持新输出域下的效用,监督对比损失(Khosla et al., 2020)让同类变换样本特征更近、异类更远。
    • 因防御方数据无标注,先用原模型对批次样本预测得到伪标签 Ȳ = arg max(F(X)),再计算两个损失;温度参数 τ = 0.1。
    • 训练设置(附录 C):SGD(动量 0.9、权重衰减 5×10⁻⁴),初始学习率 0.01,CIFAR-10/ImageNet 批次 256/64,训 150 epoch,第 100、130 epoch 学习率乘 0.8。

    推理与成功判定

    • 推理流程 y = M(F(T(x, θ))),所有参数固定,原模型不被修改。
    • 防御有效性用 BA(良性准确率,越高越好)和 ASR(攻击成功率,越低越好)衡量;论文把 BA 下降或 ASR > 10% 标记为失败案例。
  4. 论文做了哪些实验?

    在 2 个数据集、4 种架构、7 种攻击上对比 6 个基线,并测了自适应攻击与黑盒场景。

    实验设置

    • 被测模型:ResNet-18(主实验,CIFAR-10 与 ImageNet);VGG16、DenseNet121、ViT(附录 D,CIFAR-10);黑盒实验用 ResNet-50 作黑盒模型、ResNet-18 作代理模型。
    • 数据集:CIFAR-10(50,000 训练 / 10,000 测试,10 类);ImageNet 子集(50 类,每类 500 训练 / 100 测试)。
    • 攻击:BadNets、Blended、WaNet、PhysicalBA、BATT、LabelConsistent(LC)、Adaptive-Patch 共 7 种,投毒率多为 0.1(LC 在 CIFAR-10/ImageNet 为 0.25/1.0,Adaptive 为 0.01/0.03),均用 BackdoorBox 实现。
    • 基线:变换类 ShrinkPad、BDMAE、ZIP;BTI 类 NC、UNICORN、BTI-DBF(P)。
    • 指标:BA 与 ASR;BA 下降或 ASR > 10% 记为失败案例。
    • 实现:U-Net 作输入变换模块;论文未报告重复实验次数。

    主结果

    据 Table 1 和 Table 2(ResNet-18,%):

    表格较宽,可左右滑动

    数据集攻击无防御 BA/ASRREFINE BA/ASR基线最佳 ASR(方法)
    CIFAR-10BadNets91.24/10090.43/0.783.18(BDMAE)
    CIFAR-10Blended91.04/10089.85/1.733.72(ZIP)
    CIFAR-10WaNet91.15/99.9790.33/0.974.37(BTI-DBF(P))
    CIFAR-10BATT92.48/10090.54/1.214.80(BTI-DBF(P))
    CIFAR-10Adaptive91.34/97.1790.30/0.819.34(ShrinkPad)
    ImageNetBadNets65.42/99.5566.27/1.812.65(ShrinkPad)
    ImageNetLC67.44/80.9666.43/00.86(ShrinkPad)
    ImageNetBATT67.76/10066.19/2.716.94(BTI-DBF(P))

    (省略 Physical、WaNet、Blended、Adaptive 的 ImageNet 行,REFINE 的 ASR 为 1.11–1.97。)

    • 作者称 REFINE 在所有情形下 ASR 低于 3%(多数低于 2%),CIFAR-10 上 BA 下降不到 3%,ImageNet 上 BA 反而上升,作者归因于输入变换模块增加了模型深度。
    • 对照之下基线存在失败案例:如 BDMAE 在 CIFAR-10 Blended 上 ASR 84.80、WaNet 上 99.92;NC 在 ImageNet Blended 上 96.90;BTI-DBF(P) 在 CIFAR-10 LC 上 88.92(Table 1–2)。
    • 例外:ImageNet Physical 上 REFINE 的 BA 为 67.11,低于无防御的 71.64,也低于 ShrinkPad 的 71.80 和 BTI-DBF(P) 的 73.60(Table 1–2)。

    消融实验(Table 3,CIFAR-10,ResNet-18)

    • 去掉硬编码重映射(w/o HRF):BA 基本保持(89.77–92.86),但 ASR 大幅回升,如 WaNet 99.53、Blended 75.30;作者称此时输出域不变,退回到与其他变换类防御相同的权衡。
    • 去掉监督对比损失(w/o SCL):ASR 仍低(0.10–5.87),但 BA 降至 88.06–90.38;作者称 SCL 有助于恢复原模型的良性准确率。

    自适应攻击(Table 4)

    • 设定:攻击者完全知晓 REFINE 流程,用随机初始化的重映射和变换模块微调后门模型,优化 Lb + γLrefine。
    • 结果:CIFAR-10 上 REFINE BA 83.05、ASR 0.98;ImageNet 上 BA 60.53、ASR 1.09;BA 下降均小于 1.5 个百分点。
    • 作者解读:防御方可任意指定输出映射,与攻击者模拟的模块不同;自适应训练本身还使模型 BA 从 91.74 降到 84.53(CIFAR-10)。

    黑盒场景(附录 E,Table 11)

    • 设定:仅能获取置信度输出;先用 MSE 损失把黑盒 ResNet-50 蒸馏到代理 ResNet-18,在代理上训练 REFINE 模块再套回黑盒模型。
    • 结果:黑盒模型上 7 种攻击的 ASR 为 0.04–3.72,BA 87.44–89.84;代理模型自身(目标即代理)ASR 0.32–3.37。

    其他消融与分析

    • 其他架构(Table 5):VGG16/DenseNet121/ViT 上 REFINE 的 ASR 均低于 3.5%,ViT 上 BA 从 66–68 升至 72.75–80.36。
    • 无标注数据量(Table 6,BadNets):100%→20% 数据时 BA 从 91.20 降至 83.93,ASR 从 0.86 升至 2.21。
    • 温度参数 λ(Table 7):1.0 到 0.2 间 ASR 0.51–1.27,作者称影响很小。
    • U-Net 通道数(Table 8):32/48/64/80 通道下 ASR 0.64–1.43。
    • 分布外防御数据(Table 9):用 CINIC10 训练模块,BadNets 下 BA 88.39、ASR 1.40。
    • 传统重编程对照(Table 10):T-MR 的 BA 下降超 15 个百分点,WaNet 下 ASR 25.76,REFINE 为 1.93。
    • 与微调防御组合(Table 13):FT 单独 ASR 91.67,FT+REFINE 降至 0.87。
    • 开销(Table 12):REFINE 36.70 分钟,BDMAE 39.67,BTI-DBF(P) 15.49;1 万张 CIFAR-10 推理 6.31 秒。
  5. 有什么可以进一步探索的点?

    作者列出数据量、训练开销、模态三项局限;实验覆盖图像分类与多种架构。

    作者指出的局限与后续方向

    • 依赖无标注样本(附录 L):防御假设防御方有一定量无标注数据;10% 数据时 REFINE 仍降低 ASR 但 BA 降至 77.89–79.87(Table 14);样本不足时无法训练输入变换模块。作者计划探索少样本场景下保持有效性。
    • 训练开销(附录 L):需训练本地输入变换模块,开销高于随机变换类预处理防御,作者称低于生成模型类和 BTI 类方法,且相对从头重训可接受。
    • 仅限图像分类(附录 L):方法主要针对图像分类模型;作者计划未来探索文本、音频等其他模态和任务。
    • 缺乏理论保证(附录 K):作者未找到能绕过 REFINE 的有效自适应攻击,但称其有效性缺乏理论保证,攻击者可能设计出更先进的自适应攻击。

    实验覆盖范围

    • 被测模型为 ResNet-18、VGG16、DenseNet121、ViT、ResNet-50(黑盒)共 5 个,均为图像分类架构(第 5.1 节、附录 D、E)。
    • 攻击覆盖 7 种投毒型后门攻击,数据集为 CIFAR-10 和 50 类 ImageNet 子集,防御数据分布外实验用 CINIC10(第 5.1 节、附录 D.5)。
    • 自适应攻击评测覆盖一种攻击者完全知晓防御流程、用 Lb + γLrefine 微调模型的设定(第 5.4 节)。
    • 黑盒实验仅覆盖 ResNet-50→ResNet-18 蒸馏代理一种组合(附录 E)。
    • 论文未报告各实验的重复次数与方差,未报告 λ 之外超参数的敏感性分析以外的统计检验。
  6. 总结一下论文的主要内容

    REFINE 以模型重编程做免反转后门防御,7 种攻击下 ASR 低于 3% 且抗自适应攻击。

    一篇 ICLR 2025 的图像后门防御论文,提出 REFINE:不改带后门模型的参数,只在推理前后各加一个模块做模型重编程。

    • 问题:预处理类防御中,变换类方法在 BA 与 ASR 间权衡,BTI 类方法难以准确反转触发器;作者用 Theorem 1 把原因归于固定输出域对特征距离的约束。
    • 方法:U-Net 输入变换模块打乱良性与后门模式,硬编码的输出重映射模块重排类别,用原模型产出的伪标签计算交叉熵与监督对比损失来训练变换模块。
    • 主结果:CIFAR-10 与 50 类 ImageNet、ResNet-18、7 种攻击下,REFINE 的 ASR 全部低于 3%(多数低于 2%),CIFAR-10 上 BA 下降不到 3 个百分点,ImageNet 上 BA 略有上升(Table 1–2);6 个基线均存在 ASR > 10% 的失败案例。
    • 消融:去掉输出重映射后 ASR 回升(WaNet 99.53),去掉监督对比损失后 BA 下降(Table 3)。
    • 鲁棒性与扩展:攻击者完全知晓流程的自适应攻击下 ASR 仍低于 1.5%(Table 4);黑盒场景经代理蒸馏后 ASR 0.04–3.72(Table 11);VGG16/DenseNet121/ViT 上 ASR 低于 3.5%(Table 5)。
    • 作者结论:作者称 REFINE 有效且能抵抗潜在自适应攻击,希望为重编程视角的防御设计提供新角度;同时承认其依赖无标注数据、需训练开销、仅覆盖图像分类,且有效性缺乏理论保证。

相关论文

共同使用 ImageNet
再看 3 篇
共同使用 ImageNet
阅读原文ICLR 2025