NDDL：用正常扩散动力学为文生图模型做后门防御

如何在不知道攻击机制的情况下，检测文生图（T2I）扩散模型中的后门提示词并定位触发 token。

• 场景：作者认为公开模型增多带来安全风险。后门模型对良性提示词表现正常，触发出现时生成攻击者指定内容。下游用户通常不知道攻击机制，可靠防御对安全部署很重要。
• 现有不足：作者称现有防御多从注意力、噪声预测或神经元激活中的特定异常模式检测后门，判据绑定特定表示或现象。不同攻击的机制与目标不同，内部激活随表示空间和去噪阶段变化，因而泛化受限。
• 核心观察：作者在交叉注意力、潜变量和噪声空间分析轨迹。Observation I：良性轨迹呈现结构化、随时间步变化的转移模式（Figure 1，1000 条良性提示词，Stable Diffusion v1.5）。Observation II：多种攻击都会使轨迹偏离正常演化（Figure 2）。作者据此提出 Hypothesis 1：后门扰动正常转移动态。
• 提出方法：Normal Diffusion Dynamics Learning（NDDL）只用良性样本学习正常转移，推理时用观测与预测转移的偏差做检测，并用低语义词替换定位触发 token，不需要后门先验。
• 威胁模型：
  • 场景：模型来自可能不可信的第三方；攻击者植入隐藏后门后当作看似良性的模型分发，下游用户不知道被篡改。
  • 防御者知识：对已部署模型有 white-box access，没有嵌入后门的先验知识；可用有限良性提示词建模正常扩散动态。
  • 防御目标：Detection，区分后门提示词与良性提示词；Localization，找出诱发后门行为的 token。
  • 攻击者能力：论文在威胁模型中写明植入并分发后门模型；具体触发与攻击算法在实验中给出，威胁模型未再细分攻击者能改哪些权重。

论文在 Related Work 中分两组讨论，引言还引用了更早的判别模型后门与扩散生成过程。

• T2I 扩散后门攻击
  • Rickrolling（Struppek et al., 2023）——在文本嵌入空间对齐后门提示词与目标提示词的特征，同时保留良性样本原有特征嵌入。
  • BadT2I（Zhai et al., 2023）——作者称其通过数据投毒开创基于提示词的后门；借助正则损失，少量微调步即可植入后门。EvilEdit（Wang et al., 2024a）直接编辑交叉注意力投影矩阵，使触发与后门目标的投影对齐。
  • MasqLoRA（Lyu et al., 2026）用独立 LoRA 模块作为攻击载体注入恶意行为。STEBA（Pan et al., 2026）用时空加速策略注入后门，以提高计算效率并降低内存开销。更早的判别模型后门包括 BadNets（Gu et al., 2017）等，论文只作背景，未与 NDDL 对比。
• T2I 扩散后门防御
  • T2IShield（Wang et al., 2024b）通过交叉注意力图中的同化模式识别后门。UFID（Guan et al., 2025）是 black-box 方法，用图像级相似度区分良性与后门输出，不访问内部状态。
  • NaviT2I（Zhai et al., 2025）分析输入 token 引起的神经元激活变化，以拦截恶意输入。STEDF（Pan et al., 2026）把检测写成时空特征分析，利用权重富集模式和时间各向异性区分恶意模型与良性模型。
  • 作者称这些防御主要检测与后门激活相关的特定异常签名，缺少对正常生成过程的统一刻画，因而难以泛化到机制日益多样的攻击。
• 基线与数据：检测基线为 UFID、T2IShield、NaviT2I、STEDF；定位实验报告了 T2IShield 与 NaviT2I。提示词从 DiffusionDB（Wang et al., 2023）采样。攻击为 BadT2I、EvilEdit、MasqLoRA、Rickrolling、STEBA。

作者把 NDDL 定位为只从良性样本学习正常转移动态，从而不依赖特定攻击痕迹，并称这提供了更可泛化的防御范式。

NDDL 把后门看成扩散轨迹相对正常演化的偏离：只用良性提示词训练时间步条件的转移预测器，推理时用预测不一致打分，再用低语义词替换定位触发 token（Figure 3，伪代码在 Appendix C.5）。

问题设定与形式化

• 状态与表示：时刻 t 的扩散状态为 xt = (At, zt, ϵt)，经映射得到紧凑轨迹 rt = ϕ(xt) ∈ Rd。良性演化写成时间步条件转移 rt+1 = Ft(rt)；后门写成 rt+1^b = Ft(rt^b) + δt。
• 两个命题：Assumption 1 假定同一时间步上 Ft 局部 Lipschitz。Proposition 1 给出偏差沿轨迹传播的上界，作者据此主张做轨迹级一致性分析，而不是单步检测。Proposition 2 在预测误差 ηt 下给出良性残差 Rtc ≤ ηt、后门残差 Rtb ≥ ||δt||2 − ηt，作者据此把转移预测误差用作防御判据。证明在 Appendix B。

多空间轨迹表示

• 交叉注意力：取前向最早一层的 At，提取注意力熵、有效秩、token 重要性和头多样性四个描述子。
• 潜变量与噪声：zt 用通道范数、轨迹曲率、频域能量和时间变化；ϵt 用通道范数、通道方差、频域能量和时间变化。
• 归一化：按良性训练统计做稳健归一化，再分块缩放后拼接。提取与归一化细节在 Appendix C.1、C.2。

正常动态学习

• 预测增量：定义 Δrt = rt+1 − rt，训练 Gθ 预测 Δr̂t = Gθ(rt, t)，于是 r̂t+1 = rt + Δr̂t，Fθ(rt, t) = rt + Gθ(rt, t)。Gθ 的结构在 Appendix C.3。
• 损失：只在良性轨迹上训练，分块加权 L = λA LA + λz Lz + λϵ Lϵ，其中 Lm 是该块在各时间步上增量误差的平均。λA、λz、λϵ 为平衡权重。论文未在正文给出具体取值。

检测与触发定位

• 异常分数：对未见提示词 p，Et = (1/d) ||rt+1 − r̂t+1||₂²。在去噪过程的一个时间区间上分成 n 个等长短窗口，窗口均值 Si(p)，最终 S(p) = max Si(p)。S(p) > λ1 判为可疑。
• 阈值：在良性验证轨迹的预测误差上做高斯拟合，λ1 = μbenign + m · σbenign。m 为平衡权重，论文未在正文给出数值。作者称该做法与 Zhai et al. (2025) 类似，且与后门无关。
• 定位：先从低语义词候选集 V0（列于 Appendix C.4）里，用良性参考提示词估计替换引起的分数变化 B(v)，保留 B(v) ≤ τv 的词构成校正集 Vc，以减少单一替换词带来的偏差。对可疑提示词的每个 token，用 Vc 中各词替换后取中位数，Ci = S(ps) − Median S(替换后)。Ci > λ2 判为触发 token，λ2 的设定方式与 λ1 相同。

实验设置

• 被测模型：主实验为 Stable Diffusion v1.5 与 Stable Diffusion XL；另在基于扩散 Transformer（DiT）的 Stable Diffusion v3.5 与 Pixart-α 上验证。
• 数据：提示词从 DiffusionDB 采样。每种攻击 1,000 条良性提示词和 1,000 条带触发的后门提示词。
• 攻击：BadT2I（单 token 触发与句子触发 “I like this photo.”）、EvilEdit（触发 token “beautiful cat”）、MasqLoRA（触发 “cool car”）、Rickrolling（特殊字符触发）、STEBA（触发 “A Object:”）。
• 防御基线：UFID、T2IShield、NaviT2I、STEDF。定位表报告 T2IShield 与 NaviT2I；Table 3 注明 UFID 不具备触发定位能力。
• 指标：检测用 ACC 与 AUROC；定位用 exact trigger recovery（ETR，所有触发 token 都被正确找出的后门提示词比例）和 AUROC。
• 评审：论文未报告人工评审或 LLM 评审，指标由检测与定位规则计算。消融默认在 SD v1.5 上用 BadT2I，除非另有说明。论文未报告重复次数。

主结果

Table 1 为 SD v1.5 上的检测（单位 %）。NDDL 在 EvilEdit、MasqLoRA、Rickrolling、STEBA 上 ACC 与 AUROC 均为表中最高；BadT2I 上 STEDF 更高。

表格较宽，可左右滑动

方法	BadT2I ACC	EvilEdit ACC	MasqLoRA ACC	Rickrolling ACC	STEBA ACC
UFID	71.5	62.5	68.1	62	52.7
T2IShield	84.8	85.3	81.3	85.5	73.3
NaviT2I	96.3	94.8	91.3	88	79.8
STEDF	99.3	98	97.5	96.2	89.3
NDDL	99	98.5	98.2	98.2	96.8

据 Table 1。同表 AUROC：NDDL 在五项上分别为 99.2、98.6、98.3、98.1、97；STEDF 在 BadT2I 上为 99.4，高于 NDDL 的 99.2。作者称相对最佳基线，STEBA 上 ACC 从 89.3% 到 96.8%，AUROC 从 89.6% 到 97.0%。作者称偏离正常动态可提供与具体攻击无关的检测指标。

• 定位（Table 2）：四种触发形式均由 NDDL 最高。One-token ETR/AUROC 为 98.8/99.1，Multi-token 为 98.5/98.9，Special-character 为 96.0/95.6，Sentence 为 89.2/88.8。作者称相对 NaviT2I，句子级 ETR 与 AUROC 分别提高 7.7 和 7.0。句子级是表中最低的一组。
• SDXL（Table 9）：NDDL 的 ACC 为 BadT2I 98.7、EvilEdit 98.5、MasqLoRA 98.1、Rickrolling 97.3、STEBA 97.2。EvilEdit 上 STEDF 的 ACC/AUROC 为 98.8/99.1，高于 NDDL 的 98.5/98.7。作者仍称 NDDL 表现更优；该句与 EvilEdit 一行不一致，以表为准。
• DiT（Table 3、Table 11）：SD v3.5 上只报告 Rickrolling。NDDL 检测 ACC/AUROC 为 91.2/92.7，定位 ETR/AUROC 为 87.5/86.9；NaviT2I 为 83.8/82.5 与 75.5/74.3；UFID 检测为 42.2/40.1。Pixart-α 上 NDDL 检测 92.3/91.7，定位 87.1/87.5。论文未写明 Pixart-α 对应哪一种攻击，只写 “the attack on Pixart-α”。

触发定位的模型差异

Table 10 给出 SDXL 上的定位。NDDL 的 ETR/AUROC：One-token 98.2/98.1，Multi-token 97.2/96.6，Special-character 94.5/96.0，Sentence 84.3/84.6，四项均高于 T2IShield 与 NaviT2I。作者称这支持 NDDL 在不同扩散架构上定位多种触发形式。句子级仍是四类中最低。

表示空间与采样器

Table 4 在 SD v1.5、BadT2I 上比较表示空间。Attention only、Latent only、Noise only 的 ACC 为 63.5、59.5、58.7；两两组合中 Attention + Latent 为 89.8，Full 为 99（AUROC 99.2）。作者称三个空间互补，单空间视角不完整。Table 5：DDIM 的 ACC/AUROC 为 99.0/99.2，DDPM 为 97.7/97，DPM 为 98.2/98.6，PLMS 为 98.6/98.5。作者称这些采样器上表现一致。

其他消融与分析

• 去噪阶段（Figure 4）：50 步分为 early（1–15）、middle（16–30）、late（31–50），窗口长度 K=5。图中纵轴为 Performance，含 ACC 与 AUROC。作者称 middle 最好，late 次之，early 最差；并认为早期触发效应展示不足，后期良性轨迹转移变化较大，可能掩盖后门偏差。图中具体端点数值在文本中未给出。
• 动态建模（Figure 5a）：Raw Diff（相邻表示差、不学习转移模型）最差；学习正常动态后提高，加入时间步条件后作者称进一步提高。文本未给出这三条的具体 ACC。
• 窗口长度（Figure 5b）：K 从单步到全轨迹。作者称单步有限，短窗口聚合更好，窗口过长后性能逐渐下降。文本未给出各 K 的具体数值。
• Figure 1–2：Figure 1 在 SD v1.5 上对 1000 条良性提示词画三种表示的平均归一化转移差，以及单条轨迹与均值的 Pearson 相关和余弦相似度；坐标可见 Step 与 Normalized Difference / Similarity Metric，文本未列出曲线上的读数。Figure 2 比较 BadT2I (Pixel)、EvilEdit、MasqLoRA 下良性与后门提示词的轨迹差异，作者称后门带来偏离；具体曲线读数未在文本中给出。

作者指出的局限与后续方向

论文没有 Limitations、Discussion 或 Future Work 专节。Conclusion 只重述观察、方法与实验结论，没有写出局限或后续工作。Ethics 与 Reproducibility 描述研究做法和复现安排，不构成局限陈述。因此论文未专门讨论局限。

实验覆盖范围

• 被测生成模型为 Stable Diffusion v1.5、Stable Diffusion XL、Stable Diffusion v3.5 和 Pixart-α，共 4 个（Section 5.1）。
• 攻击为 BadT2I、EvilEdit、MasqLoRA、Rickrolling、STEBA；每种攻击从 DiffusionDB 采样 1,000 条良性提示词和 1,000 条后门提示词（Section 5.1）。
• 检测基线为 UFID、T2IShield、NaviT2I、STEDF。SD v3.5 的表只含 UFID、NaviT2I 与 NDDL，且攻击为 Rickrolling（Table 3）。Pixart-α 的表同样只含这三种防御（Table 11）。
• 定位比较了 one-token、multi-token、special-character 和 sentence 四种形式；SD v1.5 上分别对应 BadT2I、MasqLoRA、Rickrolling 与 BadT2I 句子触发（Section 5.2）。
• 消融在 SD v1.5 上以 BadT2I 为代表，包括表示空间、DDIM/DDPM/DPM/PLMS、三段去噪阶段、是否学习动态与是否加时间条件、以及窗口长度 K（Section 5.3）。论文未报告重复次数，也未报告 λ1 中 m 的取值和检测带来的生成质量变化。

NDDL 是面向文生图扩散模型的后门防御：防御者只有白盒模型访问和良性提示词，没有后门先验，需要区分后门提示词并找出触发 token。

• 问题：作者认为现有防御依赖注意力、噪声或神经元上的特定异常，不同攻击的内部模式并不相同，泛化因此受限。他们转而看良性去噪轨迹是否具有可学习的时间步转移规律。
• 方法：从最早交叉注意力层、潜变量和噪声预测中各取一组描述子，拼成轨迹表示。只在良性样本上训练时间步条件的增量预测器。检测分数是若干短窗口上预测残差的最大值，阈值来自良性验证误差的高斯拟合。定位时用在良性提示词上筛选过的低语义替换词，按分数下降是否超过阈值标记 token。
• 检测：SD v1.5 上 NDDL 的 ACC 为 BadT2I 99%、EvilEdit 98.5%、MasqLoRA 98.2%、Rickrolling 98.2%、STEBA 96.8%（Table 1）。前四项里 BadT2I 低于 STEDF 的 99.3%；STEBA 上高于表中最佳基线 89.3%。SDXL 上 STEBA 的 ACC 为 97.2%（Table 9），但 EvilEdit 上 STEDF 为 98.8%，高于 NDDL 的 98.5%。
• 定位与架构：Table 2 中句子级 ETR 为 89.2%，仍是四类触发里最低，但高于 NaviT2I 的 81.5%。SD v3.5 上 Rickrolling 的检测 ACC 为 91.2%（Table 3）；Pixart-α 上检测 ACC 为 92.3%（Table 11）。消融中三种表示合用时 ACC 为 99%，单空间最高为注意力的 63.5%（Table 4）。
• 作者结论：作者认为后门可看成对正常扩散演化的偏离，学习该正常动态能同时支持检测和无需后门先验的触发定位，并在多种攻击和 DiT 架构上保持效果。