Sleeper Agent：针对从头训练神经网络的可扩展隐藏触发后门攻击

1. 01这篇论文试图解决什么问题？

   作者要解决隐藏触发器后门攻击对从零训练的深度网络无效的问题，提出 Sleeper Agent。

   核心问题：如何在不把触发器放进训练数据的前提下，对从零训练的深度网络植入可靠的后门。

   • 场景与动机：训练数据收集日益自动化，数据集篡改成为威胁；后门攻击者篡改训练数据，使模型在推理时遇到触发器就执行攻击者想要的行为（摘要、Section 1）。
   • 现有方法的不足：典型后门攻击把触发器直接放进训练数据并翻转标签，投毒样本容易被人工检查发现；Hidden Trigger Backdoor Attack（HTBD）虽不在训练数据中放触发器，但作者称其基于特征碰撞，对从零训练的模型无效（Section 1，引 Saha et al., 2020、Schwarzschild et al., 2021）。
   • 论文提出：Sleeper Agent，一种基于梯度匹配、数据选择和目标模型重训练的隐藏触发器攻击；作者称这是首个对从零训练网络有效的隐藏触发器后门攻击（摘要）。
   • 威胁模型（Section 3.1）：
     • 攻击者目标：使受害模型对加了 patch 触发器的源类图像误分类到目标类。
     • 攻击者知识：不知道受害模型的参数、架构或训练过程（black-box）；论文也做了 gray-box（同架构不同初始化）实验。
     • 攻击者能力：扰动并散布训练数据，扰动受 l∞ 范数约束（≤16/255），只改一小部分样本，不翻转标签；测试时能对选定图像加 patch。
     • 受害系统：在抓取数据上从零训练并部署的模型。

   收起这一问

2. 02有哪些相关研究？

   相关工作分数据投毒、定向投毒、后门攻击与干净标签后门四组，作者将本文定位为严格设定下的隐藏触发器攻击。

   数据投毒攻击

   • Biggio et al. (2012)、Muñoz-González et al. (2017)、Steinhardt et al. (2017)——早期针对 SVM、逻辑回归等简单模型降低验证性能，依赖凸问题假设。
   • Shen et al. (2019)、Huang et al. (2020a)、Feng et al. (2019)、Fowl et al. (2021b)——深度网络上的可用性攻击；论文指出这类方法常需扰动整个训练集，假设不现实。

   定向投毒

   • Shafahi et al. (2018)——迁移学习设定下用特征碰撞做定向投毒；Zhu et al. (2019) 用投毒特征包围目标图像改进。
   • Huang et al. (2020b)、Geiping et al. (2021)——对从零训练有效的定向投毒；论文指出其常无法在一个以上目标图像上诱发误分类。

   后门攻击

   • Gu et al. (2017)（BadNets）、Chen et al. (2017)——把触发器直接注入训练数据；论文指出其需要翻转标签或加入显眼的 patch。
   • Li et al. (2021b)、Nguyen and Tran (2020)、Wenger et al. (2021)——用 warping、隐写术等隐藏触发器的"不可见"后门攻击。

   干净标签隐藏触发器后门（与本文最相关）

   • Turner et al. (2019)——对对抗样本加 patch 的干净标签攻击；论文指出 patch 明显可见，透明到不可见时攻击失败（引 Schwarzschild et al., 2021）。
   • Saha et al. (2020)（HTBD）——对整个扰动加 l∞ 约束；论文指出其只在手工挑选的类对、且预训练受害模型固定且已知时有效。
   • Li et al. (2019)、Liu et al. (2020)、Barni et al. (2019)——隐写术等干净标签攻击；论文指出其需要访问受害者将使用的预训练模型。

   对比基线与基准：Section 4.2 将 Sleeper Agent 与 HTBD（Saha et al., 2020）和 Clean-Label Backdoor（Turner et al., 2019）在 CIFAR-10 上对比，复现流程遵循 Schwarzschild et al. (2021) 的基准（附录 B.3）。

   作者定位：与上述方法不同，Sleeper Agent 不需要知道受害模型，投毒训练数据中扰动不可见，且可适配任意 patch（Section 2）。

   收起这一问

3. 03论文如何解决这个问题？

   Sleeper Agent 用梯度匹配近似双层优化，再加投毒样本选择、代理模型重训练和集成提升成功率。

   整体思路：把后门投毒写成双层优化问题，用梯度匹配（gradient matching）目标近似求解，并辅以数据选择、制作中重训练代理模型和代理集成。

   问题形式化

   • 目标：对训练数据 T 构造扰动 δ，求解双层问题：外层最小化加触发器后的对抗损失 min_{δ ∈ C} 𝔼_{(x,y)∼ Ds} ℒ(F(x+p;θ(δ)), y_t)，内层是受害者在投毒数据上的训练 θ(δ) ∈ argmin_θ ∑ ℒ(F(x_i+δ_i;θ), y_i)（Eq. 1–2）。
   • 约束集 C 要求扰动 l∞ 范数 ≤ ε，且仅前 M 个样本可非零；p 是触发器 patch，yt 是目标标签，Ds 是源类分布（Section 3.2）。
   • 内层要对训练过程求导、不可解，因此用启发式目标近似（Section 3.2）。

   梯度匹配目标

   • 定义对抗目标 L_adv = 𝔼_{(x,y)∼ Ds} ℒ(F(x+p;θ), y_t)，即源类图像加 patch 后被判为目标类的损失（Eq. 3）。
   • 优化对齐目标 A = 1 − 余弦相似度(∇L_train, ∇L_adv)，使投毒样本的训练梯度与对抗梯度对齐（Eq. 4）；∇L_train 在 M 个投毒样本上平均，∇L_adv 在源类的 K 个训练点上估计。
   • 基础版本固定干净训练的参数 θ，用 250 步 signed Adam 优化扰动；投毒样本全部取自目标类（沿用 Saha et al., 2020 的设定）；并使用可微数据增强（Section 3.3）。

   两个增强技术

   • Poison Selection：按训练梯度范数选取投毒样本，取 θ 处梯度范数最大的目标类图像；作者称这比随机选择提升投毒效果（Section 3.3，见 Tables 3、10）。
   • Model Retraining：制作过程中周期性在已投毒数据上重训练代理模型，再继续优化扰动，以缩小"在干净模型上优化"与"在投毒数据上训练"的差距；作者称常提升成功率超过 20%（Section 3.3，见 Tables 3、10、11）。

   算法流程与集成

   • Algorithm 1：先在干净数据上训练代理网络或集成 F；选 M 个梯度范数最大的目标类样本；随机初始化扰动；循环 R 步 signed Adam 更新，每隔 ⌊R/(T+1)⌋ 步在投毒数据上重训练 F（重训练因子 T）；输出扰动。
   • 集成：在同一架构的多个不同初始化、不同批采样的副本上制作投毒以提升可迁移性（Section 4.1）；black-box 设定下用不含受害架构的集成制作（Table 4）。

   成功判定

   • 投毒模型在干净验证集上准确率不大幅下降，且源类图像加 patch 后被误分类到目标类；ASR 为全部加 patch 源类验证图像被判为目标类的平均比率（Section 4.1、附录 B.1）。

   收起这一问

4. 04论文做了哪些实验？

   在 CIFAR-10 和 ImageNet 上测三种架构、black-box 迁移、与两个基线对比、八种防御及多项消融。

   实验设置

   • 被测模型：ResNet-18、MobileNetV2、VGG11（主实验）；ResNet-34 用于 black-box 集成（Tables 1、4）。
   • 数据集：CIFAR-10（投毒预算多为 1%）和 ImageNet（预算 0.05%，附录 A.4 另有 0.025%）；扰动 l∞ 范数 ≤ 16/255（附录 B.1）。
   • 设定：gray-box 为同架构不同初始化；black-box 为受害架构对攻击者未知；源/目标类对随机采样，方差较大（Section 4.1）。
   • 指标：ASR（加 patch 源类验证图像被判为目标类的比率）、各类验证准确率；基线对比在 1000 张加 patch 源图像上评估（Section 4.2）。
   • 触发器：主实验用 Saha et al. (2020) 的一个随机 patch，CIFAR-10 上 8×8、ImageNet 上 30×30（附录 B.1）。
   • 训练细节：CIFAR-10 制作与重训练 40 epoch、验证训练 80 epoch；ImageNet 从 torchvision 预训练模型开始制作，重训练与验证各 80 epoch（附录 B.2）；重复次数论文未统一说明，Table 12 注明为 24 次独立运行。

   主结果

   据 Table 1（CIFAR-10，1% 预算，ε=16/255，gray-box，T=4）：

   架构	投毒模型 val (%)	ASR (%)
   ResNet-18	92.16 (±0.05)	85.27 (±5.90)
   MobileNetV2	88.03 (±0.05)	72.92 (±6.09)
   VGG11	88.70 (±0.04)	75.15 (±5.40)

   • 作者称投毒模型验证准确率与干净模型接近，而加 patch 的源类图像按预期被误分类（Section 4.1）。
   • ImageNet（Table 5，0.05% 预算，T=2）：ResNet-18 ASR 44.00%（±6.73），MobileNetV2 ASR 41.00%（±3.31）。
   • 预算影响（Table 2，ResNet-18）：预算从 0.1% 到 1%，ASR 从 24.71% 升至 85.27%。

   black-box 与集成

   • 集成提升迁移性（Table 3，ResNet-18，CIFAR-10）：S=1、T=0 时 ASR 63.49%；S=4、T=4 时 88.45%。
   • black-box 迁移（Table 4，CIFAR-10，1% 预算）：单个 ResNet-18 制作并迁移到 MobileNetV2/VGG11，ASR 29.10%/31.96%；不含受害架构的四模型集成迁移，ASR 63.11%/42.40%/55.28%（ResNet-18/MobileNetV2/VGG11）；含受害架构的六模型集成，ASR 68.46%/67.28%/85.37%。
   • 弱代理：VGG11 作代理、ResNet-18 为目标，ASR 57.47%（Section 4.1）。

   与基线对比

   • 基准对比（Table 6，CIFAR-10，1% 预算，ε=16/255，相同类对）：Sleeper Agent 平均 ASR 80.47%（ResNet-18 78.84%、MobileNetV2 75.96%、VGG11 86.60%）；HTBD 平均 4.09%，Clean-Label Backdoor 平均 3.66%。
   • 作者称 Sleeper Agent 是唯一超过个位数成功率的方法，并认为这印证了 Schwarzschild et al. (2021) 关于现有方法脆弱性的结论（Section 4.2）。

   防御评测

   • 防御结果（Table 7，CIFAR-10，ResNet-18，1% 预算）：Spectral Signatures 下 ASR 37.17%（val 89.94%）；Activation Clustering 15.17%（val 72.38%）；DPSGD 13.14%（val 70.00%）；Data Augmentation（mixup）69.75%；STRIP 62.68%；NeuralCleanse* 85.27%（即未检出）。
   • 作者称所有防御都存在鲁棒性-准确率权衡，能把 ASR 压低的防御会使验证准确率下降到不具吸引力的程度（Section 4.3）。
   • 追加防御（附录 A.6）：ANP 阈值 0.20 时 ASR 3.35% 但 val 仅 16.56%（Table 16）；ABL 20 个 unlearning epoch 后 ASR 仍 59.51%、val 64.55%（Table 17）；PGD 对抗训练（半径 4/255）下 ASR 52.83%、val 88.63%（Table 18）。

   其他消融与分析

   • 任意类投毒（Table 8）：投毒样本取自所有类时，1% 预算 ASR 41.90%，3% 预算 66.51%。
   • 扰动界（Table 9，ResNet-18）：ε=8/255 时 ASR 37.32%，ε=16/255 时 85.27%。
   • 组件消融（Table 10）：固定 patch 位置 19.25%；随机位置 33.95%；加 retraining 59.42%；加数据选择 63.49%；三者全用 85.27%。
   • 重训练因子（Table 15）：T=0 为 63.49%，T=4 为 85.27%，T=8 为 86.48%；ImageNet 上 T=0 为 22.00%、T=2 为 44.00%（Table 11）。
   • patch 与尺寸（附录 A.2、A.3）：24 个随机 patch 下 ASR 82.05%（Table 12）；ImageNet 上 45×45 patch 达 50.50%（Table 13）。
   • 梯度对齐可视化（Figure 2）：成功攻击（85.27%）在整个训练过程中投毒梯度与对抗梯度的余弦相似度高于不成功攻击（33.95%）和干净模型；作者称三者协同作用。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出成功率方差大、真实数据分布可能不同；实验覆盖两个数据集、四种架构和八种防御。

   作者指出的局限与后续方向

   • 成功率方差大（Section 5）：作者称方法平均有效，但方差大，成功率可从几乎全部加 patch 图像被误分类到低成功率不等；这一现象此前在 Schwarzschild et al. (2021) 中也被观察到。
   • 真实数据分布的差异（Section 5）：作者指出真实场景数据集常有噪声且类别不均衡，训练行为可能难以预料，实践者应谨慎预期在 CIFAR-10 和 ImageNet 上开发的方法能用于自己的问题。
   • 希望催生防御（Section 5）：作者表示希望这项工作能催生更强的防御并促使实践者保持谨慎。

   实验覆盖范围

   • 被测模型为 ResNet-18、MobileNetV2、VGG11、ResNet-34 共四种架构，均为图像分类网络（Tables 1、4）。
   • 数据集为 CIFAR-10 和 ImageNet；投毒预算在 CIFAR-10 上为 0.1%–3%，ImageNet 上为 0.025%–0.05%（Tables 2、5、8、14）。
   • 防御评测包括 Spectral Signatures、Activation Clustering、DPSGD、mixup 数据增强、STRIP、NeuralCleanse*、ANP、ABL 和 PGD 对抗训练（Section 4.3、附录 A.6）。
   • 基线对比覆盖 HTBD 和 Clean-Label Backdoor 两个方法，在相同类对、相同预算和相同 ε 界下比较（Section 4.2）。
   • 论文未统一报告各实验的重复次数（Table 12 注明 24 次独立运行，其余表只给均值和标准误）；除附录 A.2 外，主实验使用单一固定 patch（附录 B.1）。

   收起这一问

6. 06总结一下论文的主要内容

   Sleeper Agent 是面向从零训练网络的隐藏触发器后门攻击，CIFAR-10 上 ASR 85.27%，现有防御需付出大准确率代价。

   一篇关于数据投毒后门攻击的论文，作者称 Sleeper Agent 是首个对从零训练的深度网络有效的隐藏触发器后门攻击。

   • 问题：以往不在训练数据中放触发器的隐藏触发器攻击（如 HTBD）只对固定的预训练模型有效，对从零训练的网络无效；直接把触发器放进训练数据的攻击又容易被检查发现。
   • 方法：把投毒写成双层优化，用梯度匹配目标近似求解——让投毒样本的训练梯度与"加 patch 后误分类到目标类"的对抗梯度对齐；再辅以按梯度范数选取投毒样本、制作过程中周期性重训练代理模型、以及代理集成。威胁模型为 black-box：攻击者不知受害架构与训练过程，扰动受 l∞ ≤ 16/255 约束，不翻转标签。
   • 主要结果：
     • CIFAR-10、1% 投毒预算、gray-box：ResNet-18 上 ASR 85.27%，投毒模型验证准确率 92.16% 与干净模型 92.31% 接近（Table 1）。
     • ImageNet、0.05% 预算：ResNet-18 上 ASR 44.00%（Table 5）。
     • black-box 迁移：不含受害架构的集成制作投毒，对三种架构 ASR 42.40%–63.11%（Table 4）。
     • 基线对比：相同设定下 HTBD 与 Clean-Label Backdoor 平均 ASR 仅 4.09% 与 3.66%，Sleeper Agent 为 80.47%（Table 6）。
     • 防御：DPSGD 把 ASR 压到 13.14% 但验证准确率降到 70.00%；ANP 阈值 0.20 时 ASR 3.35% 但准确率仅 16.56%（Tables 7、16）。
   • 作者的结论与启示：作者称梯度匹配配合重训练与数据选择使攻击可扩展到 ImageNet 规模；同时指出成功率方差大，且真实数据的噪声与类别不均衡可能使结论不直接适用，希望工作能催生更强防御（Sections 5、6）。

   收起这一问

相关论文