用引导扩散从零生成强效投毒与后门攻击样本

1. 01这篇论文试图解决什么问题？

   作者想用引导扩散从零合成投毒基样本，在低毒样本预算下增强定向投毒和后门攻击。

   核心问题：现有数据投毒和后门攻击从随机选取的干净基样本出发做扰动，作者认为基样本的可投毒性差异很大，随机选择限制了攻击强度。

   • 场景与重要性：大模型用自动流水线抓取的网页数据训练，缺乏人工审查；攻击者可把恶意样本上传到互联网，等受害者抓取并训练，从而植入定向误分类或后门（引言）。
   • 现有方法的不足：典型攻击随机选基样本再加 ℓ∞ 有界扰动。论文称 Witches' Brew 需要数百张毒样本才能在 ε=16/255 下可靠误分类单张 CIFAR-10 目标图；Sleeper Agent 在 25 张毒样本时攻击成功率仅略超 10%（Related Work）。
   • 核心观察：Souri et al. [2022] 显示按梯度范数挑选的基样本能造出更强的毒，但仍受限于有限数据集中的自然样本；作者假设从零合成、专门针对投毒目标优化的基样本能进一步放大攻击。
   • 论文提出的方法：Guided Diffusion Poisoning（GDP），用投毒目标弱引导扩散模型合成基样本，可接在任意下游投毒或后门攻击之前提升其效果。
   • 威胁模型（Section 4.1）：
     • 目标：定向投毒让特定目标测试图被误分类为指定标签；后门攻击让带 trigger 的测试图被误分类。
     • 知识：基线实验为 gray-box——攻击者知道受害模型架构但不知道参数；另测了架构未知的 black-box 迁移设置。
     • 能力：可访问训练集，在 ℓ∞ 范数界内扰动一小部分训练图像；攻击必须 clean-label；后门为 one-to-one（单一类别、单一随机 patch trigger），trigger 不出现在训练集中。
     • 受害系统：在被投毒训练集上从头训练的图像分类模型。

   收起这一问

2. 02有哪些相关研究？

   相关工作分投毒/后门攻击与扩散模型引导两类；基线为 Witches' Brew、Sleeper Agent 等。

   数据投毒攻击

   • 早期可用性攻击：Biggio et al. (2012)、Muñoz-González et al. (2017)、Steinhardt et al. (2017) 等针对线性分类器、逻辑回归等简单模型，多为 dirty-label、以降低整体准确率为目标；Huang et al. (2021)、Fowl et al. (2021) 将其扩展到深度网络，但论文称需要改动大比例训练数据。
   • 定向投毒：Shafahi et al. (2018)、Zhu et al. (2019)、Aghakhani et al. (2021) 在冻结骨干、只重训线性层的迁移学习设定下成功；Geiping et al. (2020)、Huang et al. (2020) 用 ℓ∞ 有界扰动攻击从头训练的模型。论文指出 Geiping et al. (2020) 需要数百张毒样本才能可靠误分类单张 CIFAR-10 目标图。

   后门攻击

   • 早期 dirty-label 后门：Gu et al. (2017)、Chen et al. (2017) 在多种设定（含迁移学习）展示后门漏洞，常依赖标签翻转。
   • clean-label 隐藏触发后门：Saha et al. (2020) 在迁移学习设定、Souri et al. (2022) 在从头训练设定下实现无标签翻转、trigger 不出现在训练数据中的后门。论文指出这类攻击在毒样本数低于 100 时成功率下降，例如 Souri et al. (2022) 在 25 张毒样本时成功率仅略超 10%。

   扩散模型中的引导

   • classifier guidance 与 classifier-free guidance：Dhariwal and Nichol (2021) 需训练能处理带噪输入的专用分类器；Ho and Salimans (2022) 把引导内化进模型，但论文称训练后难以更换分类器或引导标准。
   • Control Net 与 Universal guidance：Zhang and Agrawala (2023) 仍需一定训练且主要用于图到图引导；Bansal et al. (2023) 的 Universal guidance 不需训练新模型、用干净图像可得的信号引导，但论文称其推理时计算开销大。GDP 采用 Universal guidance 框架。

   基线与基准

   • 基线攻击：定向投毒对比 Witches' Brew、Poison Frogs、Bullseye Polytope；后门对比 Sleeper Agent、CLBA（Turner et al., 2018）、HTBA（Saha et al., 2020）。
   • 防御对照：Spectral Signatures、DP-SGD、mixup 数据增强、STRIP、Neural Cleanse、ANP、ABL。
   • 数据集：CIFAR-10 与 ImageNet。

   作者将本文定位为：不提出新的下游投毒算法，而是用扩散合成更好的基样本，插在现有攻击之前以普遍提升其效果。

   收起这一问

3. 03论文如何解决这个问题？

   GDP 分三步：弱引导扩散合成基样本、以其初始化下游攻击、按投毒损失过滤毒样本。

   整体思路：用扩散模型在投毒目标的弱引导下从零合成"接近强毒、但看起来仍是毒类别自然图像"的基样本，再交给现有攻击加扰动。方法名 Guided Diffusion Poisoning（GDP）。

   问题形式化

   • 投毒被写成双层优化：攻击者在约束 C（通常为 ℓ∞ 界）内找扰动 δ 最小化对抗目标 A(fθ)，而 θ 本身是受害模型在含毒训练集 T 上训练得到的参数（Section 3.1）。
   • 现有近似解法是梯度对齐：最小化 O = 1 − 1/N∑_i (⟨ ∇_θ L(f_θ(x_i+δ_i), y_i), ∇_θ A⟩)/(||∇_θ L(f_θ(x_i+δ_i), y_i)|| · ||∇_θ A||)，即让代理模型在毒样本处的梯度与对抗梯度对齐；定向投毒取 A = L(fθ(x′, y′))，后门取 A = Ex~D L(fθ(x+t), y′)。

   第一步：引导扩散生成基样本

   • 用预训练扩散模型生成毒类别 c 的基样本：每步用预训练分类器对带噪迭代图计算交叉熵损失，纳入 Universal guidance 的前向引导 ϵ̂_θ(x_t, t) = ϵ_θ(x_t, t) + s(t) · ∇_xt ℓ(c, f(x̂₀))，含义是用分类器损失把生成轨迹拉向毒类别。
   • 同时以很低的引导强度加入下游投毒/后门损失（Witches' Brew 或 Sleeper Agent 的梯度匹配损失），作者称低强度是为保持图像质量、防止生成图移入目标类别。
   • 作者把两种梯度匹配目标改为逐样本匹配（而非批平均梯度匹配），称这能改善图像质量。
   • 实现：CIFAR-10 用 Ho et al. (2020) 的预训练扩散模型加预训练 ResNet-18 分类器引导；ImageNet 用 Dhariwal and Nichol (2021) 的 classifier-guided 扩散 checkpoint，classifier scale 设为 1（附录 A.2）。

   第二步：以基样本初始化下游攻击

   • 把 GDP 基样本作为 Witches' Brew（定向投毒）或 Sleeper Agent（后门）等攻击的初始化，在基样本周围按 ℓ∞ 界约束扰动，替代原来的随机干净图初始化。

   第三步：过滤毒样本

   • 生成数量 N 大于投放预算 P 的毒样本，按下游投毒损失从低到高选出 P 张，替换训练集中随机选取的同类干净图，保持训练集大小不变；高损失的毒样本被丢弃（Algorithm 1）。

   成功判定

   • 定向投毒用 Poison Success rate：受害模型把目标图分类为指定标签的比例，在 10 个随机 target-poison 对上取平均（附录 A.1）。
   • 后门用 Attack Success Rate：带 trigger 的目标类测试图被误分类为指定标签的比例，10 次试验取平均；trigger 为随机 patch，CIFAR-10 为 8×8、ImageNet 为 30×30（附录 A.2）。

   收起这一问

4. 04论文做了哪些实验？

   GDP 在 CIFAR-10/ImageNet 定向投毒与后门上超过全部基线，作者称可绕过 7 种防御并迁移到未知架构。

   实验设置

   • 被测模型：ResNet-18（基线实验）、ResNet-34、MobileNet-V2、VGG11（迁移实验）、6-layer ConvNet（Poison Frogs/Bullseye 实验，沿用 Geiping et al. 2020 设置）。
   • 数据集：CIFAR-10、ImageNet；毒样本预算 25–200 张，占训练集约 0.004%–0.4%。
   • 基线：定向投毒为 Witches' Brew、Poison Frogs、Bullseye Polytope；后门为 Sleeper Agent、CLBA、HTBA。
   • 指标：Poison Success rate（定向投毒）与 Attack Success Rate（后门），定义见附录 A.1；另报 Validation Accuracy。
   • 重复次数：定向投毒在 10 个随机 target-poison 对上取平均，后门为 10 次试验取平均（附录 A.1）。
   • 训练设置：受害者从头训练，SGD + Nesterov momentum 0.9，40 epoch（后门验证时 80 epoch），初始学习率 ResNet-18/34 为 0.1、其余 0.01（附录 A.2）。

   主结果

   据 Table 1（CIFAR-10 定向投毒，ResNet-18，ℓ∞=16/255）与 Table 3（CIFAR-10 后门，ResNet-18，ℓ∞=16/255）：

   表格较宽，可左右滑动

   任务	毒样本预算	最强基线	基线值	GDP
   定向投毒	25 (0.05%)	Witches' Brew	0%	30%
   定向投毒	50 (0.1%)	Witches' Brew	20%	70%
   后门	25 (0.05%)	Sleeper Agent	13.44%	35.28%
   后门	50 (0.1%)	Sleeper Agent	29.11%	47.71%

   • 作者称 GDP 在低预算下远超现有攻击：Table 1 中 Poison Frogs 与 Bullseye 在 25/50 张预算下均为 0%；Table 3 中 CLBA 与 HTBA 均不超过 1.27%。
   • ImageNet 上同样成立（Table 2，ResNet-18）：100 张毒样本、16/255 时 Witches' Brew 为 20%、GDP 为 80%；8/255 时分别为 10% 与 50%。
   • 作者称 GDP 基样本是"即插即用"的增强：接到 Poison Frogs、Bullseye、HTBA 上均提升成功率（见下）。

   提升现有攻击

   • 定向投毒（Table 4，CIFAR-10，6-layer ConvNet，32/255）：200 张预算时 Poison Frogs 从 10% 升至 30%，Bullseye 从 20% 升至 60%；100 张时分别从 10%→20%、20%→40%。
   • 后门（Table 5，CIFAR-10，ResNet-18，16/255，受害者按 Saha et al. 2020 微调）：50 张预算时 HTBA 从 1.54% 升至 17.58%。
   • 作者解读：GDP 基样本可普遍增强下游攻击，不限于 GDP 自身流程。

   小扰动与黑盒迁移

   • 小扰动（Table 6/7，CIFAR-10，ResNet-18，50 张）：定向投毒 12/255 时 Witches' Brew 为 0%、GDP 为 40%；后门 12/255 时 Sleeper Agent 为 13.58%、GDP 为 25.58%。
   • 黑盒定向投毒（Table 8，ResNet-18 代理，16/255）：迁移到 ResNet-34，100 张时 Witches' Brew 35.00%、GDP 52.50%；迁移到 MobileNet-V2，100 张时分别为 0% 与 13.75%。
   • 黑盒后门（Table 9）：50 张预算时 GDP 在 MobileNet-V2/VGG11/ResNet-34 上为 13.24%/12.62%/39.64%，平均 21.38%，Sleeper Agent 平均 12.38%。
   • 集成代理（Table 15，6 模型集成）：50 张预算时 GDP 平均 19.37%，Sleeper Agent 14.16%。

   防御评测

   • 定向投毒防御（Table 10，CIFAR-10，ResNet-18，16/255，50 张）：无防御 70%，Spectral Signatures 50%，DP-SGD 50%，mixup 数据增强 40%；验证准确率 90.24%–92.16%。
   • 后门防御（Table 11，同设置）：无防御 47.71%，STRIP 39.21%，Neural Cleanse 47.71%，ANP 29.89%，ABL 27.56%，DP-SGD 27.65%，数据增强 24.40%，Spectral Signatures 16.21%；ANP 下验证准确率降至 82.52%。
   • 作者解读：攻击绕过全部 7 种防御；作者同时指出防御参数被调到保持足够高的验证准确率，更强的防御配置会牺牲验证准确率（引用 Geiping et al. 2020、Souri et al. 2022 的权衡结论）。

   人工评估与效用

   • clean-label 验证（Table 12）：500 张 GDP 基样本 + 500 张 CIFAR-10 自然图，标注者做 10 类分类且不知哪些是合成图；自然图准确率 93%，GDP 基样本 96.8%。作者称基样本保持了指定标签。
   • 验证准确率（Table 13，CIFAR-10，ResNet-18，16/255，50 张）：投毒前后验证准确率基本持平（定向投毒 92.08%→92.16%，后门 91.96%→92.15%），毒类别准确率也不变。

   其他消融与分析

   • ImageNet 后门（Table 14，ResNet-18，16/255，100 张）：Sleeper Agent 3.50%，GDP 14.00%。
   • 全部实验使用一块 NVIDIA RTX A5000 GPU（附录 A.2）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出三条局限：扩散模型训练成本高、需整个训练集、生成多投放少导致过滤低效。

   作者指出的局限与后续方向

   • 扩散模型成本（Section 6）：方法需要在特定数据分布上训练扩散模型，引导扩散生成本身计算开销大；作者提出能否在紧张预算下、甚至不用扩散模型造出同等效果的基样本。
   • 依赖训练集（Section 6）：需要整个训练集或至少一个大子集来训练扩散模型；作者提出能否改用通用 text-to-image 扩散模型配合适提示词，避免训练数据集专属的扩散模型。
   • 过滤流程低效（Section 6）：生成的毒样本远多于实际投放数量，再过滤，而生成毒样本成本高；作者提出能否设计更可靠的优化策略以避免过滤。

   实验覆盖范围

   • 被测模型为 ResNet-18、ResNet-34、MobileNet-V2、VGG11、6-layer ConvNet 共 5 种架构；数据集为 CIFAR-10 与 ImageNet（Section 5、附录 A.2）。
   • 防御评测包括 Spectral Signatures、DP-SGD、mixup 数据增强、STRIP、Neural Cleanse、ANP、ABL 共 7 种（Table 10、Table 11）。
   • 定向投毒结果为 10 个随机 target-poison 对的平均，后门为 10 次试验平均（附录 A.1）；论文未报告各次试验的方差或统计显著性检验。
   • 人工评估为 500 张 GDP 基样本与 500 张自然图的 10 类分类（Table 12）；论文未报告标注者人数与标注者间一致性。
   • 黑盒迁移实验使用 ResNet-18 单代理或 6 模型集成代理，受害架构为 ResNet-34、MobileNet-V2、VGG11（Table 8、9、15）。

   收起这一问

6. 06总结一下论文的主要内容

   GDP 用引导扩散合成投毒基样本，作者称在低预算下大幅增强定向投毒与后门攻击并绕过 7 种防御。

   一篇图像分类数据投毒攻击论文：作者认为现有攻击随机选取干净基样本限制了毒的强度，提出用扩散模型从零合成专为投毒优化的基样本。

   • 方法：Guided Diffusion Poisoning（GDP）分三步——用分类器损失加投毒/后门梯度匹配损失弱引导扩散模型生成毒类别基样本；以基样本初始化 Witches' Brew、Sleeper Agent 等下游攻击并加 ℓ∞ 有界扰动；按投毒损失过滤，只投放损失最低的毒样本。威胁模型为 clean-label、gray-box（知架构不知参数），另测 black-box 迁移。
   • 定向投毒：CIFAR-10、ResNet-18、16/255 下，50 张毒样本（0.1%）时 GDP 达 70%，Witches' Brew 为 20%（Table 1）；ImageNet 100 张、16/255 时 GDP 80%，Witches' Brew 20%（Table 2）。
   • 后门：CIFAR-10、50 张时 GDP 47.71%，Sleeper Agent 29.11%（Table 3）；ImageNet 100 张时 GDP 14.00%，Sleeper Agent 3.50%（Table 14）。
   • 迁移与防御：黑盒迁移到 ResNet-34，100 张定向投毒 GDP 52.50%（Table 8）；作者称攻击绕过 Spectral Signatures、DP-SGD、STRIP、Neural Cleanse、ANP、ABL、mixup 共 7 种防御（Table 10、11）。
   • 隐蔽性：人工评估中标注者对 GDP 基样本的分类准确率为 96.8%，高于自然图的 93%（Table 12）；投毒后验证准确率基本不变（Table 13）。
   • 作者结论：基样本选择对投毒效果影响很大，引导扩散合成的基样本能跨数据集放大现有攻击；作者同时承认方法依赖在目标数据分布上训练扩散模型、需要大子集训练数据、且生成多投放少的过滤流程低效。

   收起这一问

相关论文