Narcissus：有限信息下的实用干净标签后门攻击

1. 01这篇论文试图解决什么问题？

   作者研究攻击者仅能访问目标类训练数据时，干净标签后门攻击是否仍然可行。

   核心问题：攻击者只能访问目标类的训练数据时，干净标签（clean-label）后门攻击能否成功。

   • 问题场景：训练 DNN 需要大量数据，实践者常将数据收集外包，使外部人员可通过操纵训练数据控制模型行为；作者指出，现实中训练集常聚合自多个独立来源（如不同用户的人脸图像），攻击者难以获得全部类别的数据。
   • 现有方法的不足：作者称，既有干净标签攻击（LC、HTBA、SAA）的效果关键依赖于全部类别的训练数据知识，例如 LC 需要非目标类数据训练 GAN 或生成对抗扰动，HTBA 和 SAA 需要在全类数据上训练的特征提取器或代理模型。
   • 核心观察：作者认为既有方法的根本局限在于触发器是任意选取的、与目标类无关，因此需要较高投毒率才能与目标类关联；作者提出将触发器优化为"指向目标类内部"的方向，而这一方向无需其他类别的准确知识即可找到。
   • 论文提出的方法：NARCISSUS，一种仅需目标类代表性样本和公开分布外（POOD）样本的干净标签后门攻击算法；作者还评测了五种防御，并将攻击扩展到物理世界。
   • 威胁模型（Section III-A）：
     • 目标：使受害模型将任何带有预定义触发器 δ 的测试输入分类到目标类 t，同时保持干净输入上的准确率。
     • 知识：攻击者知道目标类的代表性样本 Dt 和关于学习任务的一般信息（如"这是人脸识别任务"），但不知道具体类别集合；可获取与任务相关但与训练数据类不重叠的 POOD 样本。
     • 能力：作为数据提供方操纵自己供应的部分训练数据；扰动受 lp-norm 约束，且投毒样本须为 clean-label（标签与内容在人看来一致）。
     • 受害系统：在聚合自多来源的数据集上训练的机器学习模型（victim model）。

   收起这一问

2. 02有哪些相关研究？

   相关工作分为脏标签攻击、直接目标类投毒和特征/梯度碰撞投毒三类，另有五类防御工作。

   脏标签（dirty-label）后门攻击

   • BadNets [4]、Blend [5] 等——从非目标类选取干净样本、打上触发器并改标签为 targets 类；作者指出其注入样本明显标错，经人工检查易被发现。论文将 BadNets、Blend 改造为干净标签版本（BadNets-c、Blend-c）作为基线。

   直接目标类投毒（clean-label）

   • Label-Consistent (LC) 攻击 [6]——通过 GAN 插值或对抗扰动使目标类样本的原始特征更难学习，再插入任意触发器；作者指出其两个局限：触发器任意选取导致需要大投毒率，且需要非目标类数据训练 GAN 或生成扰动。

   特征/梯度碰撞投毒（clean-label）

   • HTBA [7]——扰动目标类样本使其在特征空间接近带触发器的非目标类样本；作者指出其只支持 one-to-one 攻击，且需要预训练特征提取器，原文仅在迁移学习设定下评测。
   • Sleeper Agent Attack (SAA) [8]——通过双层优化对齐扰动样本与带触发器样本的梯度；作者指出其同样只支持 one-to-one 攻击，且梯度计算需要在全类数据上训练的受害模型或代理模型集成。

   后门防御

   • 模型级遗忘：Neural Cleanse [11]（逆向合成各类触发器并做离群检测）、TABOR [40]、Fine-pruning [12]（剪除对干净输入不活跃的神经元再微调）、I-BAU [13]（交替进行触发器合成与遗忘）。
   • 模型无关检测：基于频率的检测器 [15]，假设良性样本以低频特征为主、后门样本含高频伪影；该文还提出加低通滤波的 Smooth 攻击。
   • 鲁棒训练：Anti-Backdoor Learning (ABL) [14]，利用投毒样本训练早期损失最低这一现象隔离可疑样本并反转其梯度。

   基线与基准：攻击基线为 HTBA、SAA、LC（仅对抗扰动模式）及改造后的 BadNets-c/d、Blend-c/d；防御基线为上述五种；数据集为 CIFAR-10、PubFig、Tiny-ImageNet。

   作者将本文定位为：在更弱（仅目标类数据）且更现实的威胁模型下，效果超过需要全类数据的既有干净标签攻击，并支持 all-to-one 设定与物理世界演示（Table I 汇总了与各攻击的差异）。

   收起这一问

3. 03论文如何解决这个问题？

   NARCISSUS 用 POOD 数据加目标类样本训练代理模型，优化出指向目标类内部的触发器，分四步实施。

   整体思路：不任意选取触发器，而是在代理模型上优化出一个"指向目标类内部"的扰动作为触发器，使任何加上该扰动的输入都更易被预测为目标类。方法名为 NARCISSUS，流程分四步（Fig. 2）。

   问题形式化

   • 理想化地，若攻击者能访问在目标数据集上训练的 oracle 模型 fθorc，则求解 δ* = arg min 对 Dt 中样本的 L(fθorc(x+δ), t)，即找到使每个目标类样本以更高置信度被预测为目标类的扰动。
   • 实际中 oracle 不存在，作者改用代理模型 fθsur 替代，求解 δ^∗ = argmin_{δ ∈ Δ} ∑_{(x,t)∈ Dt} L(f_θsur(x+δ), t)，其中 ∆ 为允许的触发器集合；该式含义：在代理模型上最小化"加扰动的目标类样本被预测为目标类"的损失。
   • 作者称该扰动具有"inward-pointing"性质：它提升所有目标类样本的置信度，方向主要取决于目标类数据的聚集而非决策边界，因此对代理模型与受害模型在架构和数据上的失配具有鲁棒性（Section III-B）。

   Step 1：Poi-warm-up（代理模型构建）

   • 先在 POOD 样本上预训练代理模型以获得通用的低层特征，再在目标类样本 Dt 上微调若干 epoch，使其快速捕获区分目标类的特征。
   • 作者给出的理由：直接在 POOD 上训练的模型不含目标类，触发器优化需要很多轮才有效；而 POOD 与 Dt 一步混合训练在更换目标类时需重训，两步法只需对 POOD 训练一次、按新类微调。
   • 参数：微调 5 个 epoch；预训练用 RAdam 优化器（学习率 0.1）和 cosine annealing 调度。

   Step 2：Trigger-Generation（触发器合成）

   • 用 mini-batch 随机梯度下降求解上述优化：每轮从 Dt 采批、计算并平均梯度、更新触发器并投影回 ∆（Algorithm 1）。
   • 非自适应设定下 ∆ 为 l∞-norm 球（半径 16/255），投影即逐维裁剪；自适应设定下可将 ∆ 设为低频扰动集，投影通过低通滤波实现。
   • 参数：梯度下降迭代 1000 次，RAdam 优化器，学习率 0.01。

   Step 3 与 Step 4：投毒与测试查询操纵

   • Trigger Insertion：随机选取一小部分目标类样本，加上触发器并保持原标签，作为攻击者供应的数据交给受害者。
   • Test Query Manipulation：测试时将触发器放大一定倍数（如 3 倍）后贴到测试输入上；作者称测试样本受审查少于训练样本，且放大后的触发器范数仍小于既有触发器（Table IV）；物理世界攻击中因无法控制传感器感知到的像素值，省略放大步骤。

   物理世界扩展（Section V）

   • 挑战：相机传感造成信息损失（色相变化、像素丢失），且触发器会在不同视角、旋转、背景下被捕获。
   • 设计：将触发器约束为 8×8 方块，通过随机 padding（上下左右 padding 长度分别从 8 到 64 随机选取并补齐到 64×64）模拟随机位置并保持计算图不变；加入 ±0.3 的色相变化和随机旋转，采用 expectation over transformation (EOT) 技术求梯度。

   收起这一问

4. 04论文做了哪些实验？

   在三个数据集上 NARCISSUS 以 0.05% 投毒率达到 85.81%–99.89% ASR，作者报告五种防御均无法稳健缓解。

   实验设置

   • 被测模型：除代理-目标失配消融外，目标模型为 ResNet-18；ABL 防御实验按原工作使用 WideResNet-16-1；失配消融使用 ResNet-18、GoogLeNet、EfficientNet-B0 两两组合。
   • 数据集：CIFAR-10（10 类）、PubFig（83 类）、Tiny-ImageNet（200 类）；对应 POOD 数据分别为 Tiny-ImageNet、CelebA、Caltech-256，与训练集无类重叠；目标类固定为 bird（CIFAR-10）、Miley Cyrus（PubFig）、bullfrog（Tiny-ImageNet）。
   • 投毒率：CIFAR-10 为 0.05%（25/50,000），PubFig 为 0.024%（3/12,454），Tiny-ImageNet 为 0.05%（50/100,000）；作者指出既有文献的投毒率多为 5%–20%。
   • 基线：干净标签攻击 HTBA、SAA、LC（仅对抗扰动模式），改造版 BadNets-c、Blend-c，及脏标签版 BadNets-d、Blend-d；既有方法的代理模型用全类分布内数据训练，NARCISSUS 的代理模型只用 POOD 加目标类数据。
   • 指标：ACC（干净测试准确率）、Tar-ACC（干净目标类准确率）、ASR（攻击成功率）；HTBA 和 SAA 仅支持 one-to-one，其 ASR 只在源类样本上计算，其余为 all-to-one。
   • 重复次数：随机采样测试样本重复三次取平均（Table III、V、VI、IX）；触发器 l∞ 范数上界 16/255。

   主结果

   据 Table III（三次平均）：

   表格较宽，可左右滑动

   数据集（投毒率）	指标	Clean	HTBA	SAA	LC	BadNets-d	Blend-d	NARCISSUS
   CIFAR-10 (0.05%)	ASR	0.44	4.87	6.00	3.21	88.12	77.99	97.36
   PubFig (0.024%)	ASR	0.00	0.00	0.00	0.15	0.00	30.17	99.89
   Tiny-ImageNet (0.05%)	ASR	0.13	2.51	4.00	1.72	0.39	0.47	85.81

   注：HTBA、SAA 的 ASR 为 one-to-one（仅源类）；BadNets-d、Blend-d 为脏标签，非干净标签攻击；BadNets-c、Blend-c 的 ASR 均不高于 2.60（CIFAR-10），表中从略。各攻击前后干净 ACC 变化在 0.39%（CIFAR-10）、0.36%（PubFig）、0.17%（Tiny-ImageNet）以内。

   • 作者称，NARCISSUS 在更弱的攻击者知识下取得最高 ASR，且训练与测试阶段的扰动范数更小（Table IV：投毒 16/255、测试 48/255，而 HTBA/SAA/LC 测试时为 255/255）。
   • 作者指出，PubFig 上 3 张投毒图即可成功，并将其部分归因于人脸内容多样性低、输入尺寸大；Tiny-ImageNet 上既有 all-to-one 攻击最高 ASR 为 1.71%（正文；Table III 中 LC 为 1.72%），作者称 NARCISSUS 比其高 50 倍。
   • 作者指出，三个数据集训练均使用标准随机数据增强，这使触发器更难记忆，但 NARCISSUS 的效果仍保持。

   投毒率与目标类比例的影响（Fig. 3）

   • 测了什么：CIFAR-10 上改变目标类内投毒比例，观察 Tar-ACC 与 ASR 的权衡。
   • 结果：目标类投毒比例低于 1% 时 BadNets-c、Blend-c、LC 的 ASR 都不理想；比例升至 70% 时三者 ASR 超过 90%，但 Tar-ACC 从 94% 降到约 85%，而其他类最低准确率高于 89.00%，作者称这种类间差异易被察觉。
   • 作者称，NARCISSUS 在目标类投毒比例 0.5% 时即达到接近完美的 ASR，且 Tar-ACC 基本保持。

   防御评测（Section IV-D）

   • Neural Cleanse 与 TABOR：在 NARCISSUS 投毒的 CIFAR-10 模型上，没有任何标签被标记为离群；检查触发器生成损失（TABOR 的建议）也无可疑发现。作者解释：两者假设触发器是局部的，而 NARCISSUS 触发器遍布整图，逆向合成的各类模式都是全局的，离群检测失效。
   • Fine-pruning（Table VII）：防御前 ACC/Tar-ACC/ASR 为 95.34%/93.44%/97.10%；各学习率设置下 ASR 仍在 90.8%–96.5%（如 SGD lr=0.001 加 30 轮微调后为 95.0/93.0/94.5）；lr 大于 0.01 会使模型 ACC 降至不优于随机猜测。作者认为原因在于 NARCISSUS 触发器指向目标类内部，可能激活与目标类样本相似的神经元。
   • I-BAU（Fig. 5、Fig. 6）：作者称既有 all-to-one 攻击一轮 I-BAU 即可移除，而 NARCISSUS 在 100 轮后仍保持一定效果，且防御表现不稳定、不收敛；随防御迭代，I-BAU 开始合成并遗忘含明显语义信息的鲁棒特征（Adam 比 SGD 更明显），且伴随 ACC 下降。作者据此认为该触发器与训练数据的语义特征一样持久，移除它会先损害模型准确率。
   • 频率检测器与自适应攻击（Table VIII、IX，Fig. 7）：l∞ 约束的原始触发器含高频伪影，频率检测器对其检测 ACC 98.34%、检测率 100%（Smooth 触发器为 75.16%/53.62%）；将 ∆ 改为低频集合的自适应版本检测 ACC 降至 77.83%、检测率 58.96%。在 0.8% 投毒率下，自适应 NARCISSUS 的 ASR 为 90.30%，高于 Smooth-c 的 12.71%，也高于脏标签 Smooth-d 的 90.13%；ACC 93.16、Tar-ACC 91.30（Table IX）。
   • ABL（Table X）：WideResNet-16-1、CIFAR-10 上，0.05% 投毒率经 ABL 后 ASR 仍为 98.47%，0.5% 时为 100%；0.05% 时 ABL 隔离的 500 个样本中仅 3 个来自目标类且均非投毒样本。作者称低投毒率下投毒样本的损失与干净样本量级相近，故可逃避基于损失扫描的检测。

   其他消融与分析

   • 代理-目标架构失配（Table V，CIFAR-10、0.05%）：九种组合 ASR 为 82.05%–100.00%；相同架构组合（ResNet-18→ResNet-18 为 97.36）并非最高；GoogLeNet 作代理时各目标下 ASR 为 99.50–100.00，作者称攻击效果与代理模型的测试性能对齐，而非与架构相似性对齐。
   • l∞ 范数半径（Fig. 4，CIFAR-10）：ASR 随半径增大而上升，ACC 与 Tar-ACC 受影响不大；半径 2/255、0.05% 投毒率时 ASR 为 30.6% ± 8.12%。
   • Poi-warm-up 与触发器迭代（Table VI，CIFAR-10、0.05%）：不做目标类微调（0 轮）时 ASR 仍超 70%；微调 5 轮、触发器迭代 1000 轮时 ASR 最高（97.36）；微调过多（10、15 轮）反而下降，作者解释为过拟合 Dt 后触发器更新空间变小。
   • 物理世界（Section V-B，Fig. 8）：Tiny-ImageNet、0.05% 投毒率、ResNet-18，触发器显示在 iPhone 13 屏幕上；作者称 NARCISSUS 是三个触发器（NARCISSUS、白色方块、随机噪声）中唯一在物理世界成功的干净标签攻击，论文未报告定量 ASR。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出原始触发器可被频率检测识别，并提出理论与防御两个研究方向；实验限于三个图像数据集。

   作者指出的局限与后续方向

   • 原始触发器可被频率检测识别（Section IV-D2）：l∞ 约束合成的触发器含大量高频伪影，基于频率的检测器可有效识别（检测率 100%，Table VIII）；作者给出的对策是将 ∆ 约束为低频集合做自适应攻击。
   • 需要更好的防御（Section I、VI）：作者称所评测的流行防御与 state-of-the-art 防御均无法稳健缓解 NARCISSUS，强调在不损害干净样本性能的前提下稳健移除其影响的实证研究是关键需求。
   • 理论研究方向（Section VI）：既有后门攻击的理论刻画均针对脏标签攻击，作者强调应以同样方式研究干净标签攻击；解释 NARCISSUS 为何在有限知识和低投毒率下仍有效，是一个理论方向。
   • 物理世界演示的局限（Section V-A）：作者指出物理触发器经相机传感会有信息损失（色相变化、像素丢失），攻击者一般无法预知传感器相关变化，难以自适应优化。

   实验覆盖范围

   • 被测数据集为 CIFAR-10、PubFig、Tiny-ImageNet 三个图像分类数据集，目标模型主要为 ResNet-18，ABL 实验为 WideResNet-16-1，失配消融另含 GoogLeNet、EfficientNet-B0（Section IV-A）。
   • 攻击基线覆盖 HTBA、SAA、LC 及改造的 BadNets、Blend；防御评测覆盖 Neural Cleanse、TABOR、Fine-pruning、I-BAU、频率检测器、ABL 共六种（Section IV-B、IV-D）。
   • 主结果与多数消融为三次重复取平均（Table III、V、VI、IX），论文未报告多次完整训练下的标准差（Fig. 4 给出 ±8.12% 一处例外）。
   • 物理世界评测为定性演示（Fig. 8 截图与视频），论文未报告物理世界攻击的定量 ASR。
   • 论文未报告攻击各阶段的耗时或计算成本数字。

   收起这一问

6. 06总结一下论文的主要内容

   NARCISSUS 仅凭目标类数据即可实施低投毒率干净标签后门攻击，作者报告现有防御均无法稳健缓解。

   一篇关于训练数据投毒安全的攻击论文，提出干净标签后门攻击 NARCISSUS：攻击者只需目标类的代表性样本和公开分布外（POOD）样本，无需整个训练集的知识。

   • 要解决的问题：既有干净标签攻击（LC、HTBA、SAA）依赖全类训练数据，而现实中数据多聚合自独立来源，攻击者难以获得；作者研究仅知目标类数据时攻击是否仍可行。
   • 方法要点：用 POOD 数据预训练代理模型、目标类样本微调 5 轮，再经 1000 轮投影梯度下降合成"指向目标类内部"的触发器；只投毒少量目标类样本（保持原标签），测试时放大触发器查询；物理世界版本加随机位置、色相变化与 EOT。
   • 主要结果：0.05% 投毒率下，CIFAR-10 上 ASR 97.36%、Tiny-ImageNet 上 85.81%；PubFig 上 0.024%（3 张图）即达 99.89%（Table III）；同投毒率下既有干净标签攻击 ASR 最高仅 6.00%（CIFAR-10，SAA，one-to-one）。
   • 防御评测：作者报告 Neural Cleanse 与 TABOR 检不出异常，Fine-pruning 各设置下 ASR 仍高于 90.8%，I-BAU 一百轮后攻击仍有效且表现不稳定，ABL 后 ASR 仍为 98.47%–100%；l∞ 约束的原始触发器可被频率检测器以 100% 检测率识别，但加低通约束的自适应版本检测率降至 58.96%，且 ASR 仍有 90.30%（0.8% 投毒率）。
   • 作者的结论：作者认为触发器之所以难以移除，是因为它包含与目标类语义特征同样持久的特征，移除它会先损害模型准确率；作者称使用公共数据来源的流行机器学习流程容易暴露于此类实际攻击，呼吁研究干净标签攻击的理论与更稳健的防御。

   收起这一问

相关论文