Regula Sub-rosa：针对深度神经网络的潜伏后门攻击

1. 01这篇论文试图解决什么问题？

   作者提出 latent backdoor：埋进 Teacher 模型的后门经迁移学习自动传入所有 Student 模型。

   核心问题：传统 DNN 后门攻击要求攻击者在 Student 模型部署前短暂窗口内控制其训练数据或训练过程，实际中很难做到，作者研究能否把后门埋进共享 Teacher 模型并让它在迁移学习后存活。

   • 问题场景：如今多数机构没有资源从头训练大模型，而是下载 VGG16 等公开 Teacher 模型，用本地数据做迁移学习得到 Student 模型。作者认为这一流程中模型提供方环节存在被攻击的可能。
   • 现有方法的不足：按论文说法，传统后门攻击（如 BadNets）需要控制 Student 的训练数据或训练过程，除非攻击者是负责训练的员工或数据提供方，否则难以实施；且后门只能针对 Teacher 中已存在的标签。
   • 核心观察：迁移学习会冻结 Teacher 的前 K 层，若把触发器关联到这些冻结层的中间特征表示而非最终标签，后门就能在迁移学习中存活；Teacher 中不含目标标签 yt，使针对标签扫描的检测失效。
   • 论文提出的方法：latent backdoor 攻击——攻击者在 Teacher 模型中针对一个尚不存在的标签 yt 注入"潜伏"触发器并抹去 yt 痕迹，受害者迁移学习加入 yt 标签时自行激活后门。作者在数字识别、交通标志、人脸、虹膜四个任务和三个真实场景上做了验证，并评测了 4 种防御。
   • 威胁模型：
     • 目标：对特定类 yt 做定向后门攻击，使带触发器的输入被 Student 模型误分类为 yt。
     • 知识：攻击者知道发布时建议冻结的层集合（假设受害者遵循建议）；不需要访问任何 Student 训练数据或训练过程。
     • 能力：有足够算力训练或重训练 Teacher 模型，能收集 yt 的样本；Teacher 与 Student 任务不同时，需额外收集与 Student 任务相近的非目标样本。
     • 受害系统：从被感染 Teacher 模型经迁移学习得到、且输出标签包含 yt 的 Student 模型。

   收起这一问

2. 02有哪些相关研究？

   相关工作分四组：后门攻击、后门防御、迁移学习、数据投毒及其他对抗攻击。

   后门攻击

   • BadNets（Gu et al., 2017/2019）：通过污染训练数据集注入后门，给部分训练图像加触发器并改标签，使模型在干净和对抗输入上都表现正常。
   • Liu et al. (2018) 的 Trojaning attack：构造能在特定神经元上引发较大响应的触发器，建立触发器与神经元的强关联，减少注入后门所需的训练数据量。
   • 其他后门攻击：Chen et al. (2017) 提出攻击者只能污染部分训练集的受限场景后门；另有工作直接篡改运行模型的硬件（Clements & Lao 2018；Li et al. 2018）。论文指出本文攻击与它们的区别在于不需要访问 Student 模型、其数据或运行硬件。

   后门防御

   • Neural Cleanse（Wang et al., 2019）：扫描模型输出标签并逆向工程潜在触发器，依据是后门目标标签所需的扰动远小于干净标签；需要部分干净训练数据。
   • Activation Clustering（Chen et al., 2018）：依据带毒输入与良性输入激活模式不同来检测注入的后门数据；需要完整训练数据（干净+带毒）。
   • Fine-Pruning（Liu et al., 2018）：先剪除对分类最没用的冗余神经元，再用干净数据微调恢复性能。另有 Liu et al. (2017) 的三种防御和 Tran et al. (2018) 的频谱特征检测，论文指出这些防御都针对普通后门、需要带毒训练数据，不适用于 latent backdoor。

   迁移学习与投毒攻击

   • 迁移学习：在视觉、语音、文本任务上被证明有效；Yosinski et al. (2014) 比较了不同迁移方式对性能的影响，Razavian et al. (2014) 研究了 Teacher 与 Student 任务相似性与性能的相关性。
   • 投毒攻击：污染训练数据以改变模型对干净样本的行为，不依赖触发器；防御多聚焦于清洗训练集。论文称这种思路对后门攻击效果不佳，且在本文攻击模型下不实际，因为防御者拿不到 Teacher 用的带毒训练集。

   基线与基准：攻击对比的基线是随机生成的触发器（Figure 5）；防御对比的基线是 Neural Cleanse 和 Fine-Pruning（§7.1）。实验使用 MNIST、GTSRB、LISA、VGG-Face、PubFig、CASIA IRIS 六个数据集（Table 1）。

   作者将本文定位为一种更强的后门变体：针对 Teacher 模型、在 Teacher 上不可检测、可随迁移学习传播给多个 Student 模型，且可以针对当前尚不存在的未来标签。

   收起这一问

3. 03论文如何解决这个问题？

   把触发器关联到 Teacher 冻结层的中间特征表示，注入后抹去目标标签痕迹，靠迁移学习自动激活。

   整体思路：攻击者把针对目标类 yt 的触发器关联到 Teacher 模型中间层（位于将被冻结的前 K 层内）的特征表示，而非最终分类层，再把 yt 的痕迹从模型中抹去后发布；受害者做迁移学习加入 yt 标签时，后门被"自行激活"。方法名为 latent backdoor attack。

   设计洞察

   • 触发器关联特征而非标签：把触发器关联到 yt 干净样本在 Teacher 中间层的特征表示，使触发器注入与分类结果解耦，yt 之后从输出标签中移除也不影响触发器。
   • 注入到冻结层：攻击者在发布文档中按惯例建议冻结前 K 层，并把触发器注入第 Kt 层（Kt ≤ K），保证迁移学习不破坏触发器。

   Teacher 侧注入流程（5 步）

   1. 调整 Teacher 包含 yt：用目标数据 Xyt（yt 的干净样本）和非目标数据 X \yt（与目标任务相近的一般样本）重训练 Teacher，并替换最后一层分类层。
   2. 生成触发器 ∆：给定触发器位置和形状（图像右下角的方块），优化触发器图案与颜色，使带触发器输入在第 Kt 层的特征接近 yt 干净样本。带毒样本定义为 A(x, m, Δ) = (1−m) ∘ x + m ∘ Δ，m 为标记触发器区域的二值掩码。
   3. 注入触发器：优化 Teacher 权重，损失为 J_θ(θ; x, y) = ℓ(y, F_θ(x)) + λ · D(F_{θ Kt}(A(x,m,Δ_opt)), ϕ_θ)，即标准训练损失加带毒样本与 yt 特征表示（记为 ϕθ）在第 Kt 层的差异，λ 平衡两项；差异度量用 MSE。
   4. 抹去 yt 痕迹：把最后一层分类层换回原始 Teacher 的分类层，使模型标签与发布声明一致，规避标签扫描检测。
   5. 发布：在发布文档中建议冻结前 K 层（K ≥ Kt）。

   Student 侧激活

   • 受害者下载被感染 Teacher，按说明做迁移学习，Student 任务包含 yt 标签；前 Kt 层权重被复制且冻结，触发器随之传播为 live backdoor（Figure 4）。
   • 攻击方式与传统后门相同：给任意输入附上记录的触发器 ∆，Student 将其误分类为 yt。
   • 论文给出 Lemma 1：若迁移学习至少冻结前 Kt 层且 yt 是 Student 标签之一，则以高概率 latent backdoor 会变成 Student 中的 live backdoor（证明为基于特征相似性传递的论证）。

   关键参数选择

   • Kt 的选择：Kt 不能大于实际冻结层数 K；作者称实际策略是找使注入优化收敛的最小 Kt，再建议冻结前 k ≥ Kt 层。实验中四个任务的最小有效 Kt 是第一个全连接层（Digit 为 3，Face/Iris 为 14）或最后一个卷积层（TrafficSign 为 6）。
   • 触发器配置：方块形掩码位于输入图像右下角，大小为整图的 4%；作者称方形是为保证触发器独特、不自然出现。

   收起这一问

4. 04论文做了哪些实验？

   四个任务多图攻击成功率 96.6%–100%，单图 46.6%–92.4%；三个真实场景有效；4 种防御仅 1 种有效。

   实验设置

   • 被测模型：Digit 用 4 层 CNN（2 Conv + 2 FC）；TrafficSign 用 8 层 CNN（6 Conv + 2 FC）；Face 和 Iris 用 16 层 VGG-Face（13 Conv + 3 FC）。均为 Teacher/Student 结构（Table 1、附录 Table 6–8）。
   • 数据集：Digit 用 MNIST（Teacher 识别 0–4，Student 识别 5–9）；TrafficSign 用 GTSRB（Teacher，39K 训练图）和 LISA（Student，17 类 3.65K）；Face 用 VGG-Face（Teacher，降采样到 31 类 3K）和 PubFig（Student，65 类 6K）；Iris 用 CASIA IRIS（16K 图 1K 人，Student 520 类、非目标 480 类）。X \yt、Xyt、X s、X eval 四个数据集互不相交（Table 1）。
   • 目标数据规模：多图攻击 |Xyt| ≤ 50（Digit 45、TrafficSign 50、Face 45、Iris 3）；单图攻击 |Xyt| = 1，每任务跑 20 次取平均（Iris 为 16 次）。
   • 指标：攻击成功率（X eval 上带触发器输入被分类为 yt 的比例）和 Student 模型在干净测试数据上的分类准确率；参照组为从干净 Teacher 迁移的 Student 准确率。
   • 触发器：右下角方块，占图像 4%；§5 实验假设 Kt = K。
   • 真实场景：交通标志（10 张手机实拍的美国 Stop 标志作 Xyt）、虹膜（Google 搜目标头像裁剪虹膜 5 张，8 名实验室志愿者自拍 160 张虹膜照作 X s）、政客人脸（9 名目标各 10 张 Google 低分辨率头像；Student 用 Youtube 国会视频帧，13 类 1.7K 图）。

   主结果

   多图攻击（Table 2）：

   表格较宽，可左右滑动

   任务	攻击成功率	感染 Teacher 的 Student 准确率	干净 Teacher 的 Student 准确率
   Digit	96.6%	97.3%	96.0%
   TrafficSign	100.0%	85.6%	84.7%
   Face	100.0%	91.8%	97.4%
   Iris	100.0%	90.8%	90.4%

   • 作者称攻击在四个任务上都高度有效，且攻击者只用不超过 50 张目标样本感染 Teacher。
   • 作者指出感染与干净 Teacher 得到的 Student 准确率相当，即攻击不损害干净输入上的模型表现；其中 Face 任务感染后准确率 91.8% 低于干净 Teacher 的 97.4%。

   单图攻击（Table 4，20 次平均，Iris 16 次）：Digit 平均成功率 46.6%、TrafficSign 70.1%、Face 92.4%、Iris 78.6%；干净 Teacher 的 Student 平均准确率分别为 96.0%、84.7%、97.4%、90.4%。作者认为成功率下降符合预期（单张图难以准确提取特征），且小模型（Digit）下降比大模型更明显，作者认为原因是大模型容量更高；实际用于迁移学习的 Teacher 多为大模型。

   真实场景攻击（§6，Table 5）

   • 交通标志：用 16 张手机实拍的 Stop 标志作 Xyt 时成功率 100%；单图攻击平均 67.1%（模型准确率 87.4%）。
   • 虹膜识别：5 张目标图注入时成功率 90.8%（模型准确率 96.2%）；单图 77.1%（准确率 97.7%）。
   • 政客人脸：单目标多图攻击成功率 99.8%、单图 90.0%；多目标注入时，作者称 3 个目标以内成功率接近 100%，9 个目标时降至 60%，Student 准确率对目标数量不敏感（Figure 8）。

   防御评测（§7，均在 Face 任务上）

   • Neural Cleanse：无法用于 Teacher（需要 yt 标签）；用于被感染 Student 时逆向出的触发器与实际触发器差异明显。作者认为其失败原因是逆向基于输入到最终标签的端到端优化，无法发现终止于中间特征层的操纵。
   • Fine-Pruning：对 Teacher 无可观影响；用于 Student 时剪除 25% 神经元后成功率才开始下降，最终模型准确率降到 11.5% 以下，作者认为不实际（Figure 9）。
   • 输入模糊（高斯滤波）：成功率比准确率下降更快，但要把成功率降到 20% 以下需使准确率降到 65% 以下，作者认为代价过大（Figure 10）。
   • 迁移学习时多微调层：Kt=14 注入时，只要迁移学习微调了早于第 14 层的任意层，攻击成功率降为 0%；但 Student 不知道 Kt，微调全部层与迁移学习节省数据的目标矛盾，固定训练集下微调更多层会降低准确率（Figure 11）。

   其他消融与分析

   • 触发器优化必要性（Figure 5，TrafficSign）：100 个随机触发器成功率 < 20% 且准确率不稳定，优化触发器有效。
   • 非目标数据量：Face 上 31 类中 8 类即可达 100% 成功率，2 类时 83.6%；每类 4 张图达 100%，2 张时 93.1%。
   • (Kt, K) 变化（Table 3，Face/Iris）：成功率保持 100.0%，模型准确率随 (Kt, K) 略有变化（如 Face Kt=14/K=14 时 91.8%，Kt=15/K=15 时 94.0%）。
   • 更早层注入失败：作者报告当前实现下把 Kt 降到更早的卷积层会使成功率大幅下降，原因是早期卷积层维度过大（VGG-Face 约 25K）导致注入优化无法收敛。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出早期层注入不收敛留作未来工作；实验限于 4 个图像任务且防御只测了 Face。

   作者指出的局限与后续方向

   • 更早层注入未解决：作者报告当前攻击实现下，把触发器注入更早的卷积层常因模型维度过大导致优化无法收敛；作者认为资源更充足的攻击者可能用更大的目标/非目标数据集和算力克服，留作未来工作（§5.2 Microbenchmark 3）。
   • 多目标注入成功率下降：注入更多目标需要注入更多触发器，使注入优化难以收敛，成功率随目标数下降（§6.4）。
   • 对更强攻击者的防御代价：作者指出针对能在更早层注入触发器的强大攻击者，多微调层防御需要微调更多甚至全部层，代价更高（§7.3）。
   • 呼吁检测工具：作者希望工作引起对 DNN 鲁棒测试工具需求的关注，以检测后门等意外行为（§9 Conclusion）。

   实验覆盖范围

   • 被测模型为 3 种架构（4 层 CNN、8 层 CNN、16 层 VGG-Face），覆盖 4 个图像分类任务（Digit、TrafficSign、Face、Iris），均为视觉任务（§5.1）。
   • 单图攻击每任务重复 20 次（Iris 16 次）取平均；多图攻击的重复次数论文未报告（§5.2、§5.3）。
   • §5 实验假设 Kt = K，且目标数据 Xyt 与 Student 训练数据同源；不同源场景在 §6 的三个真实案例中测试（交通标志、虹膜、政客人脸）。
   • 防御评测只在 Face 任务上进行，包括 Neural Cleanse、Fine-Pruning、输入模糊、多微调层共 4 种（§7）。
   • 攻击使用的优化超参数（如 λ 取值、训练轮数、学习率）论文未报告。

   收起这一问

6. 06总结一下论文的主要内容

   作者提出并验证 latent backdoor：后门埋进 Teacher 经迁移学习传播，四任务成功率 96.6%–100%。

   一篇关于 DNN 后门攻击的论文，提出 latent backdoor——一种埋进共享 Teacher 模型、经迁移学习自动传入 Student 模型的后门变体。

   • 要解决的问题：传统后门攻击需在 Student 部署前控制其训练数据或过程，实际难以实施；作者利用迁移学习冻结 Teacher 前 K 层的惯例，把触发器关联到冻结层的中间特征表示，并抹去目标标签 yt 的痕迹，使后门在 Teacher 上不可被标签扫描检测、在迁移学习中被受害者自行激活。
   • 方法要点：攻击者用 yt 的目标数据和相近任务的非目标数据重训练 Teacher，优化生成触发器并注入第 Kt 层（Kt ≤ K），换回原始分类层后发布；Student 加入 yt 标签做迁移学习即激活后门。
   • 主要结果：
     • 四个任务（Digit、TrafficSign、Face、Iris）多图攻击成功率 96.6%–100%，且 Student 干净输入准确率与干净 Teacher 相当（Table 2）。
     • 单图攻击（|Xyt|=1）平均成功率 46.6%（Digit）到 92.4%（Face）（Table 4）。
     • 三个真实场景（实拍的交通标志、志愿者虹膜、Google 搜索的政客头像）成功率 67.1%–100%（Table 5）。
     • 4 种防御中，作者称只有迁移学习时微调更多层能把成功率降到 0%，但可能以降低干净输入准确率为代价；Neural Cleanse、Fine-Pruning、输入模糊均不实际或失效（§7）。
   • 作者的结论：作者称 latent backdoor 比传统后门更实用、更隐蔽、可规模化且时间上更灵活，可由资源有限的攻击者实施，并呼吁在安全和安保敏感场景部署 DNN 前认真考虑此类攻击、发展鲁棒的模型检测工具。

   收起这一问

相关论文