如何对扩散模型植入后门？

1. 01这篇论文试图解决什么问题？

   扩散模型面临的后门攻击风险此前无人研究，作者提出 BadDiffusion 评估这一风险。

   核心问题：扩散模型（diffusion models）在训练阶段被植入后门的风险尚未被研究，作者要评估这类攻击是否可行、代价多低、能否防御。

   • 问题场景：扩散模型训练成本高，开发者普遍以公开发布的 checkpoint 作为 warm start 微调，越来越多应用把同一个模型当基础；作者认为若基础模型被秘密植入后门，所有下游任务都会受影响。
   • 现有研究的空缺：已有后门研究主要针对分类器；作者称本文是关于扩散模型抗后门攻击鲁棒性的第一项研究（"the first study"）。
   • 核心观察：与分类器后门只改训练数据和标签不同，扩散模型有独特的加噪/去噪过程，作者据此设计同时篡改训练数据与前向/反向扩散步骤的攻击。
   • 论文提出：后门攻击框架 BadDiffusion，支持从头训练和微调干净预训练模型两种方案，并评测了 ANP 和推理时裁剪（inference-time clipping）两种对策。
   • 威胁模型（Sec. 3.1，"outsourced training attack"）：
     • 攻击者目标：发布同时满足高效用（clean 输入下生成质量与干净模型相当）和高特异性（输入含触发器 g 时生成目标图像 y）的后门模型。
     • 攻击者能力：可修改训练过程，包括训练损失、训练数据（向 Dtrain 注入自选样本）和超参数；可微调预训练模型或从头训练。
     • 受害方：从第三方仓库下载现成扩散模型、并通过 FID/IS 等指标验证效用后接受模型的用户。
     • 受害系统：图像扩散模型，论文以 DDPM 为目标模型。

   收起这一问

2. 02有哪些相关研究？

   相关工作分扩散模型、分类器后门攻防、生成模型后门三组，作者称本文是首个针对扩散模型的后门研究。

   扩散模型

   • DDPM（Ho et al., 2020）：本文攻击的目标模型，一种把生成建模为前向加噪、反向去噪马尔可夫链的扩散模型，许多后续工作以此为基础。
   • 加速采样的工作：DDIM（Song et al., 2021）、Analytic-DPM（Bao et al., 2022）等旨在解决扩散模型采样慢的问题；作者指出这类把生成过程视为反向布朗运动的方法可能受到后门攻击。
   • SDE 视角：Song et al.（2021）用随机微分方程统一描述扩散过程。

   分类器上的后门攻击与防御

   • BadNets（Gu et al., 2017）：针对分类任务的后门攻击，通过修改训练数据和标签注入触发器；作者指出 BadDiffusion 与之不同，需要同时修改训练数据和前向/反向扩散步骤。
   • 防御工作：包括检测已训练模型中的木马行为（Umamaheswari & Selvakumar, 2022；Wang et al., 2020）、触发器逆向（Neural Cleanse, Wang et al., 2019；ANP, Wu & Wang, 2021）和模型清洗（Zhao et al., 2020）。其中 ANP 被本文选为防御评测对象。

   生成模型上的后门攻击

   • GAN 后门（Rawat et al., 2022）：探索对 GAN 的后门攻击与防御；作者指出 GAN 不含扩散过程，不能用于本文场景。
   • Rickrolling the Artist（Struppek et al., 2022）：通过只后门化文本编码器来攻陷条件（文本引导）扩散模型；作者指出该方法不改变扩散模型本身，与 BadDiffusion 操纵扩散过程的做法不同，因此无法应用于本文场景也无法比较。

   基线与基准

   • 基线：干净预训练模型（投毒率 0%）以及从头训练（training-from-scratch, 400 epochs）方案，与微调（fine-tuning, 50 epochs）方案对比。
   • 基准/数据集：CIFAR10（32×32）与 CelebA-HQ（256×256）。

   作者将本文定位为：据其所知第一项探索扩散模型后门风险的研究，攻击方式针对扩散过程本身，与 GAN 后门和仅后门化文本编码器的方法均不同。

   收起这一问

3. 03论文如何解决这个问题？

   BadDiffusion 篡改 DDPM 的前向扩散过程并推导对应后验与损失，使带触发器的噪声被解码为目标图像。

   整体思路：BadDiffusion 修改 DDPM 的前向扩散过程，让带触发器的加噪样本收敛到以触发器为中心的分布，并推导相应的反向后验与训练损失，使模型在见到含触发器的初始噪声时生成目标图像，其余输入下行为与干净模型一致。

   问题设定与 DDPM 回顾

   • 目标模型：DDPM。前向过程 q(x_1:T|x₀) := ∏_t=1^T q(x_t|x_t−1) 按方差调度逐步加高斯噪声，最终得到标准高斯分布；反向过程学习高斯转移，训练损失可简化为均值对齐，即让模型预测注入的噪声。
   • 攻击目标：训练或微调一个扩散模型，clean 输入下生成质量与干净模型相当（高效用），任何含触发器 g 的输入都生成目标图像 y（高特异性，用生成结果与 y 的 MSE 衡量）。

   后门化的扩散过程

   • 带毒样本构造：r = M ⊙ g + (1 − M) ⊙ x，其中 g 为触发器图案，M ∈ {0, 1} 为二值掩码，黑色区域表示不改动对应像素。
   • 后门前向过程：q(x′_t|x′₀) := N(x′_t; √(ᾱ_t) x′₀ + (1−√(ᾱ_t)) r, (1−ᾱ_t) I)，即把后门目标分布映射到以带毒图像 r 为中心的高斯分布 q(x'T) ∼ N(r, I)。
   • 后门后验：作者推导出后门化前向过程对应的后验均值（附录 J 给出完整推导），相比 DDPM 后验多了一个与触发器 r 有关的修正项。

   训练算法与损失函数

   • 损失函数：数据集 D = {Dp, Dc} 由带毒样本和干净样本组成；干净样本沿用 DDPM 的噪声预测损失，带毒样本使用含修正项 ρtδt/(1−αt)·r 的噪声预测损失（论文公式 10）。
   • 训练流程（Algorithm 1）：按投毒率 p% 从训练集划分 Dp，其余为 Dc；每步采样 x、t、ϵ，用梯度下降更新参数直至收敛。
   • 采样流程（Algorithm 2）：与 DDPM 相同，仅初始样本不同——从 N(0, I) 采样生成干净图像，从 N(g, I) 采样生成后门目标。

   两种训练方案与超参数

   • 微调（fine-tuning）：在第三方库 diffusers 的预训练模型（google/ddpm-cifar10-32、google/ddpm-ema-celebahq-256）全层上微调，CIFAR10 用 50 epochs、CelebA-HQ 用 100 epochs。
   • 从头训练（training-from-scratch）：重新初始化 google/ddpm-cifar10-32 训练 400 epochs。
   • 优化设置：Adam 优化器，学习率 CIFAR10 为 2e-4、CelebA-HQ 为 8e-5；batch size 分别为 128 和 64。

   防御方案

   • ANP：将 Adversarial Neuron Pruning 迁移到扩散模型，向模型权重注入噪声，用重构目标与真实目标的 MSE 衡量检测效果；因相对扰动在 DDPM 上导致梯度爆炸，作者改用绝对扰动，并用 Adam（学习率 2e−4、1e−4、5e−5）替代原论文的 SGD（附录 B）。
   • 推理时裁剪（inference-time clipping）：在扩散采样每个时间步把图像按像素范围 [-1, 1] 裁剪（论文公式 11），作者称这是偶然发现的简单缓解方法。

   收起这一问

4. 04论文做了哪些实验？

   在 CIFAR10 和 CelebA-HQ 上，作者称 5% 投毒率即可植入后门，微调比从头训练更省，推理时裁剪可缓解。

   实验设置

   • 被测模型：Google 发布的预训练 DDPM——google/ddpm-cifar10-32（CIFAR10，32×32）和 google/ddpm-ema-celebahq-256（CelebA-HQ，256×256），均来自 diffusers 库。
   • 攻击设置：CIFAR10 上 2 种触发器（Grey Box、Stop Sign）× 5 种目标（NoShift、Shift、Corner、Shoe、Hat）；CelebA-HQ 上 1 组概念验证（Eyeglasses 触发器、Cat 目标）（Table 1）。
   • 指标：特异性用生成后门样本与目标图像的 MSE（越低越好，10K 个含触发器的高斯噪声取平均）；效用用 FID（50K 训练图像 vs 模型无触发器生成的 10K 样本，越低越好）；另报告 SSIM（趋势与 MSE 一致）。
   • 投毒率：CIFAR10 上 0%–90% 多档；CelebA-HQ 上 20%、30%、50%。
   • 重复次数：除从头训练 400 epochs 和 CelebA-HQ 实验外，所有实验独立重复 3 次取平均；硬件为单块 Tesla V100（90GB 显存）。

   主结果

   CIFAR10 微调方案（50 epochs）部分结果，据 Table 7：

   表格较宽，可左右滑动

   触发器	目标	投毒率	FID	MSE
   —（干净模型）	—	0%	14.83	1.06e−1（Corner）/ 2.41e−1（Hat）
   Grey Box	Corner	5%	9.92	5.32e−2
   Grey Box	Hat	5%	8.53	1.58e−1
   Grey Box	Corner	20%	12.86	1.48e−4
   Grey Box	Hat	20%	8.89	1.19e−5
   Grey Box	Corner	90%	55.42	3.85e−6
   Stop Sign	Hat	20%	8.17	4.85e−4
   Stop Sign	Hat	90%	7.77	2.81e−6

   • 作者称在所有设置中都存在一段投毒率范围，使模型同时保持低 MSE（高特异性）和与干净模型相近的 FID（高效用），并认为 5% 投毒率在多数触发器-目标设置下已足够。
   • 作者指出 Grey Box 触发器在高投毒率（70%、90%）下 FID 变差（如 Corner 目标 90% 时 FID 55.42），认为简单触发器可能容易使训练崩溃；Stop Sign 的 FID 在各投毒率下始终低于 Grey Box。
   • 作者称投毒率低于 30% 时 BadDiffusion 的 FID 甚至优于干净预训练模型；论文另报告用干净 CIFAR10 微调 50 epochs 的模型 FID 约为 28.59（Table 7 注）。

   微调 vs 从头训练

   • 测了什么：CIFAR10、Grey Box 触发器、Corner/Hat 目标，微调（50 epochs）对比从头训练（400 epochs）（Table 4、Figure 3）。
   • 结果：5% 投毒率下微调 FID 为 9.92（Corner）/ 8.53（Hat），从头训练为 18.06 / 18.01；MSE 方面 5% 时微调为 5.32e−2 / 1.58e−1，从头训练为 4.63e−5 / 3.23e−6；20% 与 50% 时两者 MSE 相当（如 20% 微调 1.48e−4 / 1.19e−5，从头训练 8.71e−6 / 2.30e−6）。
   • 作者解读：作者称微调在所有设置下 FID 更低、MSE 相当，攻击效率更高；附录 A 进一步报告 20% 投毒率时 10 epochs 即足以合成目标 Hat。

   高分辨率数据集（CelebA-HQ）

   • 测了什么：微调 google/ddpm-ema-celebahq-256（100 epochs），Eyeglasses 触发器、Cat 目标（Figure 4、Figure 12b）。
   • 结果：干净模型（0%）FID 8.43、MSE 3.85e−1；20% 投毒率 FID 7.43、MSE 3.26e−3；50% 投毒率 FID 7.51、MSE 1.67e−5。
   • 作者解读：作者称 20% 投毒率足以后门化该预训练模型，50% 时 FID 比干净模型低约 10%（作者原文为 "10% improvement"）。

   防御评测

   • ANP：在 5%、20%、50% 投毒率的后门模型上测试（Table 8、9，Figure 8、9）。作者称更大的扰动预算通常带来更低的重构 MSE，但 ANP 对学习率敏感——学习率从 1e−4 略增至 2e−4 时 MSE 爆炸，部分 epoch 重构坍缩为黑图；作者认为 ANP 对后门扩散模型是不稳定的检测方法。
   • 推理时裁剪：CIFAR10、Grey Box 触发器（Table 6、Figure 5）。20% 投毒率、Corner 目标下，加裁剪后 MSE 从 1.48e−4 升至 4.97e−2，FID 从 12.86 变为 12.99；Hat 目标 20% 时 MSE 从 1.19e−5 升至 1.09e−1。作者称裁剪可使后门失效（MSE 变大）且基本保持效用（FID 相近），并在附录 D 给出假设：裁剪削弱了触发器的影响，详细机制留待未来工作。

   其他消融与分析

   • 微调 epoch 数（Table 5，Grey Box 触发器）：20% 投毒率、Hat 目标，10 epochs 时 MSE 8.42e−2，50 epochs 时 1.10e−5。
   • 高级采样器（Table 3，附录 E）：换用 DDIM、DPM-Solver、DPM-Solver++ 后 MSE 升至 1.14e−1–1.31e−1，作者称直接套用 BadDiffusion 效果变差（这些采样器放弃了 DDPM 的马尔可夫假设），但 FID（9.32–10.92）仍优于干净模型（13.0–16.3）。
   • 触发器尺寸（Table 11，附录 H）：Grey Box 缩小时 MSE 变高（如 NoShift 目标从 18×18 的 7.87e−3 升至 4×4 的 5.45e−2）；Stop Sign 的 MSE 在各尺寸下保持稳定。
   • Inpainting 任务（附录 C）：设计 Blur、Line、Box 三种损坏，用 LPIPS 评估 2048 张图像，作者称 BadDiffusion 在无触发器时仍能修复图像、见到触发器时生成目标图像。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出推理时裁剪可能挡不住自适应攻击、ANP 不稳定；实验仅覆盖 DDPM 与两个图像数据集。

   作者指出的局限与后续方向

   • 推理时裁剪的鲁棒性：作者指出该防御很可能无法抵御自适应和更先进的后门攻击（Sec. 5 Conclusion）。
   • 裁剪机制未明：作者称对推理时裁剪为何有效只给出假设，详细机制分析留待未来工作（附录 D）。
   • ANP 不稳定：作者认为 ANP 对后门扩散模型是不稳定的 Trojan 检测方法，并期待更多针对后门扩散模型检测的研究（附录 B.3）。
   • 高级采样器适配：作者认为若针对 DDIM、DPM-Solver 等采样器研究合适的修正项，BadDiffusion 可以改进（附录 E）。
   • 误用风险声明：作者承认关于扩散模型弱点的发现可能被误用，但认为红队工作能加速鲁棒扩散模型的发展（Sec. 5）。

   实验覆盖范围

   • 被测模型为 2 个 Google 预训练 DDPM（google/ddpm-cifar10-32、google/ddpm-ema-celebahq-256），目标扩散模型仅 DDPM 一类（Sec. 3.2）。
   • 数据集为 CIFAR10（32×32）和 CelebA-HQ（256×256）两个图像数据集；CelebA-HQ 上只有 1 组触发器-目标对（Sec. 4.1）。
   • 防御评测包括 ANP 和推理时裁剪两种（Sec. 4.6）；论文未测试针对推理时裁剪的自适应攻击。
   • 除从头训练（400 epochs）和 CelebA-HQ 实验外，实验独立重复 3 次取平均（Sec. 4）；论文未报告各设置的方差或统计显著性检验。
   • 效用与特异性评估基于 FID、MSE、SSIM 等自动指标，论文未报告人工评估。

   收起这一问

6. 06总结一下论文的主要内容

   BadDiffusion 通过篡改扩散过程给 DDPM 植入后门，低投毒率即可生效，推理时裁剪可部分缓解。

   一篇针对扩散模型的后门攻击研究。作者称这是关于扩散模型抗后门攻击鲁棒性的第一项研究。

   • 要解决的问题：扩散模型被广泛用作下游应用的基础模型，但训练阶段被植入后门的风险无人评估；作者在"外包训练攻击"场景下研究攻击者能否发布既保持生成质量、又在见到触发器时生成指定目标图像的扩散模型。
   • 方法要点：BadDiffusion 同时修改训练数据与 DDPM 的前向/反向扩散过程——把带触发器的加噪样本对齐到以带毒图像为中心的高斯分布，推导对应后验与损失函数；采样时从 N(0, I) 出发生成干净图像、从 N(g, I) 出发生成目标图像。支持从头训练（400 epochs）和微调干净预训练模型（50–100 epochs）两种方案。
   • 主要结果：
     • CIFAR10 上，作者称 5% 投毒率在多数触发器-目标设置下即可植入后门；20% 投毒率、Grey Box 触发器、Hat 目标时 MSE 低至 1.19e−5、FID 8.89（Table 7）。
     • 微调比从头训练攻击效率更高：5% 投毒率下微调 FID 8.53–9.92，从头训练为 18.01–18.06（Table 4）；20% 投毒率时 10 个 epoch 即可合成目标 Hat（附录 A）。
     • CelebA-HQ（256×256）上 20% 投毒率即可后门化预训练模型，50% 时 MSE 1.67e−5、FID 7.51，优于干净模型的 8.43（Figure 12b）。
     • 防御方面：作者称 ANP 对学习率敏感、检测不稳定；推理时裁剪可把 20% 投毒率模型的 MSE 从 1.48e−4 升至 4.97e−2 而 FID 基本不变（Table 6）。
   • 作者的结论与启示：作者认为 BadDiffusion 带来的风险实际存在、攻击可以低成本实现，呼吁社区关注扩散模型的潜在风险与误用；同时指出推理时裁剪可能无法抵御自适应攻击，更鲁棒的防御有待研究。

   收起这一问

相关论文