DRIFT：通过偏转生成轨迹去除扩散模型水印的黑盒攻击

如何在不知密钥与验证器内部的情况下，破坏依赖可恢复生成轨迹的扩散水印，同时控制图像失真。

• 场景：作者认为扩散模型使逼真图像合成易于获得，因而需要追溯 AI 生成内容。扩散水印把标记嵌进生成过程本身，使归属在元数据被删除或覆盖后仍可保留。
• 现有不足：作者称确定性再生可以去掉像素级水印，但往往保留扩散水印所用的潜结构；潜空间去除与黑盒攻击可以规避更强方案，但需要对每张图像迭代优化。作者认为这些方法针对个别水印信号，基本未触及共享的验证机制。
• 核心观察：作者称所评估的公开实现都通过确定性反演等方式，恢复与生成或反演轨迹相关的证据，并把这种依赖称为 trajectory consistency（轨迹一致性）。攻击者可以针对路径本身，而不是扰动某个检测器专用信号。
• 提出方法：DRIFT，一种 black-box 攻击。它把部分前向扩散与随机逆向重采样结合起来；自适应版本为每张图搜索所选强度阶梯上首个被验证器拒绝的档，并在只保留仍被同一验证器拒绝的更新时提高保真。
• 威胁模型：
  • 目标：对目标失败概率 δ_fail，在使验证器判定为非水印的概率不低于 1−δ_fail 的约束下，尽量降低语义失真。
  • 知识：攻击者只观察带水印图像 x^w；密钥、消息、提示词、水印族和验证器内部均未知。
  • 能力：使用公开潜空间扩散模型 (E, D, ε_θ)，不必与加水印的生成器相同。Base DRIFT 无训练、无查询；自适应阶段只接收二值验证器反馈，不做逐图梯度优化。去噪与反演使用全局固定、与源图和攻击随机性无关的条件 c_att（例如空提示词）。
  • 受害系统：带密钥的扩散水印方案 W_f 及其验证器 V_{f,κ}，覆盖 zero-bit 与基于消息的方案。

扩散采样与反演

• DDIM 及高阶变体（Song et al. 2021；Liu et al. 2022；Lu et al. 2022；Zhao et al. 2023）——定义耦合的噪声到图像路径，支撑 DDIM inversion（Mokady et al. 2023；Wallace et al. 2023）和多数扩散水印验证器；预测误差会沿路径累积（Blasingame and Liu 2025；Lin et al. 2024）。
• 反向时间 SDE 采样器（Gonzalez et al. 2023；Song et al. 2021；Xue et al. 2023）——生成时注入新噪声，使同一状态的重复运行可以走不同轨迹（Nie et al. 2024）。作者称本文利用这一对照。

扩散水印

• 噪声空间：Tree-Ring（Wen et al. 2023）在初始潜变量写入傅里叶环图案；RingID（Ci et al. 2024）扩展到多通道图案；PRC（Gunn et al. 2024）采样伪随机码；WIND（Arabi et al. 2024）组织大型密钥池。
• 潜空间与频域：Gaussian Shading（Yang et al. 2024）施加密钥控制的频谱偏移；GaussMarker（Li et al. 2025）编码高频分量；SFW（Lee and Cho 2025）与 SEAL（Arabi et al. 2025）把标记绑定到语义内容。
• 优化式：ROBIN（Huang et al. 2024）学习隐藏提示词。作者称这些嵌入不同，但所评估实现都恢复与生成或反演轨迹绑定的结构。

去除攻击

• 再生类：Zhao et al.（2024）用确定性 PNDM，并对像素级水印给出保证；CtrlRegen（Liu et al. 2024）加入训练过的控制模块；Saberi et al.（2023）通过反向时间 SDE 改造 DiffPure；DDWRM（Mareen et al. 2024）在像素空间去噪。
• 逐图优化：另一些工作对每个输入优化潜变量扰动（Jain et al. 2025；Müller et al. 2025）。作者称 DRIFT 在匹配采样器下分离随机轨迹偏转，不需要逐图梯度，并只用基于反演的指纹与扩散策略优化（Black et al. 2024；Hu et al. 2025；Ren et al. 2024；Teng et al. 2025）来为验证器引导的强度搜索提供种子，以及在拒绝被保持时保留精炼更新。

基线与基准

• 基线方法：black-box attack（Müller et al. 2025）与 latent-noise removing attack（Jain et al. 2025）。二者通过逐图对抗优化针对语义水印；DRIFT 不做逐图梯度优化。
• 评测对象：九种水印，分噪声空间（Tree-Ring、RingID、PRC、WIND）、潜空间/频域（Gaussian Shading、GaussMarker、SFW、SEAL）和优化式（ROBIN）。提示词来自 Stable-Diffusion-Prompts，骨干为 Stable Diffusion v2.1。

作者把本文定位为：在所研究的方案中指出轨迹一致性这一共同攻击面，用匹配采样器分离随机性的去除收益，并在固定深度给出信息论与 Wasserstein 源依赖界，同时用条件阶梯选择和验证器门控保持拒绝。

DRIFT 针对验证器所恢复的、与带标记生成或反演路径耦合的证据：部分前向扩散削弱显式源潜变量，随机逆向采样用新噪声重建；自适应阶段再选最小被拒绝强度并可选地精炼。Figure 1 概括三阶段。

问题设定

• 形式化：方案 W_f 在提示词 c 与密钥 κ 下生成 x^w。验证器计算分数 s_{f,κ}(x)，当分数不低于阈值 τ 时判为有水印，覆盖 zero-bit 与消息方案。攻击在式 (1) 中最小化期望语义失真，并要求验证失败概率不低于 1−δ_fail。
• 攻击者接口：只见 x^w，使用公开 LDM。全部去噪与反演共用固定条件 c_att。Base DRIFT 无训练、无查询。

Stage I–II：部分前向扩散与随机逆向

• 前向：编码 z^w_0 = E(x^w)，强度 λ∈(0,1] 对应 t_λ=⌈λT⌉。按 DDPM 闭式把源潜变量与高斯噪声混合；λ 增大时源系数 √ᾱ_{t_λ} 下降，同时丢掉更多源细节。
• 逆向：从加噪状态预测干净潜变量，再用广义 DDIM/DDPM 更新。更新中的 σ_t ξ_t 称为 stochastic deflection；σ_t=0 退回确定性 DDIM，后验方差对应标准 DDPM ancestral。正的 σ_t 使该步非退化，但作者称终端与图像级多样性还要求后续步骤和解码器不把注入变化压成一点。
• 计算量：Base DRIFT 为一次 VAE 编码、t_λ 次去噪器求值和一次 VAE 解码，量级与一次标准 image-to-image 扩散相同。Algorithm 1 在附录 A。作者称去除收益由第 5.2 节匹配采样器比较建立，而不是普遍定理。

自适应强度与保真精炼

• 盲识别：对源潜变量做一次共享 DDIM 反演，提取径向傅里叶功率、符号场平铺、跨通道相关和短周期块统计。轻量分类器预测水印族，不看密钥或消息。作者称识别器是节省查询的经验装置；下面的搜索保证对它所选的任一阶梯成立，不要求预测等于真实族。
• Verify-and-climb：预测决定离线种子和升序阶梯。从最低保留档向上查询，停在首个被验证器拒绝的档。若无一档被拒绝，返回最强候选并标失败，在式 (1) 中算攻击失败。在“拒绝构成后缀且失真沿已实现阶梯不减”时，Proposition 4.4 称首个被拒绝档是该阶梯上失真最小的被拒绝档，但不声称是格点之间或连续目标上的最优。Algorithm 2 给出完整流程。
• Stage III：从该图像出发做短程 guided-SDEdit。每轮以 η_k 轻度再加噪，并用像素 MSE 与 LPIPS 引导向 x^w 去噪。保留分数为 S(x)=w_s SSIM(x,x^w)−w_ℓ LPIPS(x,x^w)。仅当同一确定性验证器仍拒绝且 S 严格提高时才替换，否则回退。作者称是这条更新规则、而不是学到的策略，保持相对验证器的可行性。
• 控制器：把精炼日程学成 MDP。状态含源图与保留图的 DINOv2 嵌入、动作/保真历史和轮次，不含族标签。动作控制再加噪强度、两个引导权重和停止。逐步奖励为复合分数增量减去步数代价，另有终端拒绝与保真奖励。策略用 DPPO 训练：短条件去噪链提出动作，PPO 优化带裁剪和 GAE 的高斯对数概率之和；奖励整形与回退遵循 B2-DiffuRL。Proposition 4.5–4.6 只保证同一 rollout 的保留结果仍被拒绝且 S 沿嵌套前缀不减，不保证 PPO 回报单调或每个分量指标都变好。

分析结论（非实验结果）

• 固定深度界：Theorem 4.1 在采样源与攻击随机性之前固定 λ。作者给出恢复参考噪声与攻击后估计之间的互信息上界 B_n，以及在逆向管线 Lipschitz 条件下、相对无源基线的均方与 W_2 界。该定理适用于 Base DRIFT 或预先指定的阶梯档，不自动适用于由识别器与验证器历史选出的最终候选。
• 随机性：Remark 4.2 称，给定加噪状态时确定性 DDIM 是点质量，σ_t>0 的下一步不是 Dirac；但这不自动使最终潜变量或解码图像非 Dirac。Theorem 4.1 的敏感性论证在相同逆向噪声下也成立，因此不证明随机采样优势。
• 分布界与经验诊断：作者称只有 B_n 与前向通道信息随深度下降有保证；配对潜距离与 Figure 11 的强度阈值是经验诊断，不是 B_n 或上述 W_2 的估计。

实验设置

• 骨干与数据：公开扩散骨干为 Stable Diffusion v2.1；评测提示词来自 Stable-Diffusion-Prompts；全部实验在一张 H100 上运行。
• 水印：九种、三个注入点。噪声空间为 Tree-Ring（TR）、RingID（RI）、PRC、WIND；潜空间/频域为 Gaussian Shading（GS）、GaussMarker（GM）、SFW、SEAL；优化式为 ROBIN。
• 基线：black-box attack 与 latent-noise removing attack。二者做逐图对抗优化；DRIFT 不做逐图梯度优化。
• 指标：ASR 为真检测器上的去除率（越高越好）。分布质量用 CLIP score（越高越好）和 FID（越低越好）；与带水印原图的成对保真用 SSIM/PSNR（越高越好）和 LPIPS（越低越好）。自适应与精炼另报识别准确率、所选 λ、验证器查询/运行时间和精炼前后保真。
• 对照协议：受控比较共用 encode→deflect→decode。第 5.2 节固定再加噪、图像、骨干和强度网格，只改逆向采样器；第 5.3 节分别只改 λ 的选择方式，以及是否使用 Stage III。
• 样本量：Table 2 每个单元格 100 张、九个族，λ∈[0, 0.70]；族识别用 1,350 张留出图像；逐图最小强度搜索为每族 300 张；Table 3 的 DPPO 消融 N=225。Table 1(b) 中两个基线与 Full DRIFT 的 FID、SSIM、LPIPS 遵循附录 E.1 的每族 100 张质量协议。论文未报告 ASR 主表的每族图像数，也未报告重复次数。

主结果

Table 1(a) 为强设置 λ≥0.5 的逐水印 ASR（%）；Table 1(b) 为九族平均的端到端结果。

Swipe horizontally to read the table

方法	ASR	FID	SSIM	LPIPS	时间
Black-box	96.8%	114.019	0.519	0.305	未报告
Removing	81.3%	104.693	0.712	0.338	未报告
Fixed-λ DRIFT（λ=0.70）	100.0%	136.5	0.401	0.528	1.16 s
Adaptive-λ（无精炼）	99.7%	58.7	0.697	0.168	4.20 s
Full DRIFT（+DPPO）	100.0%	55.414	0.713	0.154	8.12 s

据 Table 1(b)。CLIP：Black-box 31.9，Removing 31.4，Fixed-λ 31.8，Adaptive-λ 31.5，Full 32.1。PSNR：19.46、26.35、14.31、23.72、24.01。

• 逐方案 ASR（Table 1a，λ≥0.5）：DRIFT 在 TR/RI/PRC/WIND/GS/GM/SFW/SEAL/ROBIN 上为 98、100、100、100、100、100、100、100、100，平均 99.8%。Black-box 对应为 72、99、100、100、100、100、100、100、100，平均 96.8%。Removing 为 99、95、100、100、4、55、100、100、79，平均 81.3%。作者称最大差距在 Tree-Ring（98% 对 black-box 的 72%）以及 GaussMarker/Gaussian Shading（100% 对 removing 的 55%/4%）。
• 质量：作者称固定 λ=0.70 达到 100% ASR，但失真较大（SSIM 0.401，LPIPS 0.528）；逐图选择在 99.7% ASR 下改善到 SSIM 0.697、LPIPS 0.168。Full DRIFT 恢复 100% ASR，FID/LPIPS 低于两个基线，Removing 的 ASR 只有 81.3%。附录 E.1 的 Table 4 对 Full 管道给出 CLIP 32.091、FID 55.41、SSIM 0.713、LPIPS 0.154；作者称 LPIPS 大约是任一基线的一半。Table 1(b) 的 Full CLIP 为 32.1、FID 为 55.414，与 Table 4 的舍入不完全相同。
• 定性：Figure 2 给出 GM 上 Original / DRIFT / Black-Box / Removing 的放大对比；作者称 GS 与 PRC 在附录 Figure 6，九族在 Figures 7–8。图中数值未在正文逐项列出。

随机逆向是否超出再加噪

• 测了什么：固定再加噪、图像、骨干和强度网格，比较三个确定性采样器（DDIM、DPM-Solver++、Euler）与三个随机采样器（DDPM ancestral、Euler-a、SDE-DPM-Solver++）。每种使用三种验证器反演设置，九族、每格 100 张，λ∈[0, 0.70]。Table 2 报告把水印存活压到 p% 的最小强度 λ⋆_p（越低越好），对三种采样器和三种反演设置取平均。“never”表示到 λ=0.70 仍未达到。
• 结果：九族 λ⋆_50 的 ODE/SDE 均值分别为 0.272 与 0.184；λ⋆_5 在双方都达到阈值的八族上均值为 0.318 与 0.231（Gaussian Shading 的 ODE 为 never，不计入该均值）。Gaussian Shading 的 λ⋆_5：ODE 为 never，SDE 为 0.542。作者称随机采样器在 λ⋆_50 平均少 32% 强度、在 λ⋆_5 平均少 27%；差距在 SFW 近网格底部时很小，在更鲁棒方案上更大。作者称确定性 Gaussian Shading 到 λ=0.70 从未达到 5% 存活，随机条件大约在 λ=0.54 达到。
• 保真例外：在各采样器自己的 λ⋆_5 上，平均 SDE 相对 ODE 的变化为 SSIM −0.004、−0.21 dB；GaussMarker 则为 SSIM +0.049、+1.56 dB。作者认为经验优势是单位强度上的解耦，不是普遍更高的保真。另：未攻击图像的 DDIM 反演与带水印噪声的 L1 约为 0.34–0.68；DRIFT 之后距离沿测试 λ 网格增大，并朝向独立高斯诊断值。Figure 10 给出九条曲线；作者称该趋势是经验的，Theorem B.8 并不预测这些距离单调。

自适应搜索与门控精炼

• 盲识别：只用共享 DDIM 反演潜变量的结构特征，无密钥分类器在 1,350 张留出图像上 top-1 准确率 99.3%。作者称全部非平凡混淆都留在 Gaussian Shading/GaussMarker/SEAL 这一簇内。逐族结果与混淆矩阵在附录 Table 5 与 Figure 3。
• 逐图强度：在每族 300 张上，黑盒 verify-and-climb 相对固定的逐族选择，把平均强度从 0.244 降到 0.20，ASR 从 96.8% 升到 99.7%；平均 SSIM/PSNR/LPIPS 从 0.67/22.6/0.19 变为 0.71/23.9/0.16，约 2.2 次验证器查询/图。作者称这与 Proposition 4.4 的阶梯相对结论一致。附录 Table 6 给逐族结果；Figure 9 展示不同 λ 下 PRC、ROBIN、Tree-Ring 的保真–规避权衡，图注未给定量读数。
• 精炼：在已经拒绝的 Stage III 输入上，DPPO 改善所报告的每项保真指标，其中 LPIPS 从 0.136 到 0.114，存活率在 1.16 轮上保持 0%。Table 3（N=225）：Full DPPO 的 SSIM/LPIPS/存活/轮次为 0.738/0.114/0.0%/1.16；去掉终端水印奖励为 0.688/0.119/9.3%/1.00；去掉回退/再验证为 0.694/0.117/7.1%/1.12；去掉 LPIPS 引导为 0.735/0.136/0.0%/1.22；k_max=1 为 0.738/0.116/0.0%/1.00。作者称带星号的两项在评测时关闭回退后测量存活率，否则部署存活率固定为 0%。Proposition 4.5 解释的是同一验证器拒绝不变，不是经验保真增益。

其他消融与分析

• Figure 11：ASR 随 λ 变化。标注的峰值：TR 为 0.98（强度 0.50）；GS、RI、ROBIN、GM 为 1.00（0.60）；SFW 为 1.00（0.10）；PRC 为 1.00（0.25）；WIND 为 1.00（0.20）；SEAL 为 1.00（0.10）。作者称饱和阈值分得很开，因而倾向为每张图选最小成功强度。
• Table 2 逐族 λ⋆_50（ODE/SDE）：SEAL 0.038/0.032，SFW 0.040/0.038，WIND 0.100/0.076，ROBIN 0.181/0.135，PRC 0.182/0.117，Tree-Ring 0.204/0.135，RingID 0.440/0.291，GaussMarker 0.575/0.372，Gaussian Shading 0.691/0.462。
• Table 2 逐族 λ⋆_5（ODE/SDE）：SEAL 0.097/0.090，SFW 0.093/0.090，WIND 0.197/0.129，ROBIN 0.255/0.204，PRC 0.297/0.193，Tree-Ring 0.325/0.212，RingID 0.586/0.453，GaussMarker 0.690/0.479，Gaussian Shading never/0.542。
• 固定强再加噪：作者在结论中称，激进的固定再加噪会大幅降低保真，因此采用自适应最小强度搜索和精炼，而不是普遍使用强设置。Table 1(b) 中 λ=0.70 的 FID 136.5 高于两个基线。
• 理论适用边界：作者称第 4 节的分布界针对与源和攻击随机性独立地预先固定的强度，不自动适用于由识别器和验证器历史选出的最终候选。
• 附录协议差：Table 4 与 Table 1(b) 对 Full DRIFT 的 CLIP、FID 给出略有不同的小数；论文未在可见正文中解释这一差别。

作者指出的局限与后续方向

• 条件性保证（Conclusion）：固定深度源依赖与同一验证器精炼可行性的保证，仍以未经验证的网络级 Lipschitz 条件与终端前提为条件。
• 单一骨干（Conclusion）：评测使用一个公开潜空间扩散骨干。
• 固定再加噪的保真（Conclusion）：激进的固定再加噪可以大幅降低保真，作者因此采用自适应最小强度搜索和精炼，而不是普遍的强设置。
• 后续评测范围（Conclusion）：作者称，把轨迹感知评测扩展到像素空间、视频、自回归和基于 flow 的生成器是重要的下一步。
• 界的适用范围（Section 4.1、4.3）：分布界不自动延伸到由识别器与验证器历史选出的深度；阶梯结论是格点相对的，不选择格点之间的最优，也不比较独立重采样的候选。依赖度量并不揭示未知的验证器余量。这些是作者对定理适用范围的限定。

实验覆盖范围

• 水印与骨干：九种方案、三个注入范式；扩散骨干为 Stable Diffusion v2.1；提示词来自 Stable-Diffusion-Prompts；硬件为 H100（Section 5）。
• 攻击对照：基线为 black-box attack 与 latent-noise removing attack。采样器对照为三种 ODE（DDIM、DPM-Solver++、Euler）与三种 SDE（DDPM ancestral、Euler-a、SDE-DPM-Solver++），每种三种验证器反演设置（Section 5.2）。
• 规模：Table 2 每格 100 张；族识别 1,350 张留出图像；逐图强度搜索每族 300 张；Table 3 的控制器消融 N=225；Table 1(b) 的部分质量指标按每族 100 张协议。论文未报告 Table 1(a) ASR 的每族样本量与实验重复次数。
• 自适应测量：报告了无密钥 top-1 准确率、平均强度、约 2.2 次验证器查询/图，以及 Fixed-λ、Adaptive-λ、Full DRIFT 的运行时间 1.16 s、4.20 s、8.12 s（Table 1b）。Black-box 与 Removing 的时间在 Table 1(b) 中未给出数值。
• 精炼消融：Table 3 分别去掉终端水印奖励、回退/再验证、LPIPS 引导，并设 k_max=1。带星号两行的存活率在评测时关闭回退后测量；作者写明否则部署存活率保持 0%。

DRIFT 是针对扩散水印的 black-box 去除攻击：不使用密钥、验证器内部或逐图梯度，而是削弱可恢复的生成轨迹。

• 问题：Tree-Ring、RingID、PRC、WIND、Gaussian Shading、GaussMarker、SFW、SEAL、ROBIN 的公开实现都恢复与生成或反演轨迹耦合的证据。作者称之为 trajectory consistency，并认为确定性再生常保留该潜结构，而既有潜空间/黑盒攻击需要对每张图优化。
• 方法：Stage I 按强度 λ 做部分前向扩散，Stage II 用带新鲜噪声的广义 DDIM/DDPM 逆向采样。自适应版本由一次共享反演预测水印族，沿升序阶梯停在首个被拒绝档；DPPO 控制器做短程 SDEdit 精炼，只保留仍被同一验证器拒绝且复合分数 S 提高的更新。Theorem 4.1 给出预先固定深度上的互信息与 W_2 源依赖界；随机采样的去除优势由匹配采样器实验而不是该定理得出。
• 主结果：强设置 λ≥0.5 时，九种方案 ASR 为 98–100%，平均 99.8%，高于 black-box 的 96.8% 和 removing 的 81.3%（Table 1a）。Full DRIFT 九族平均 ASR 100.0%，FID 55.414，SSIM 0.713，LPIPS 0.154，用时 8.12 s（Table 1b）。固定 λ=0.70 的 ASR 也是 100%，但 SSIM 0.401、LPIPS 0.528、FID 136.5。
• 机制实验：Table 2 中 λ⋆_50 的 ODE/SDE 均值分别为 0.272 与 0.184；作者称随机采样平均少 32% 强度。确定性采样下 Gaussian Shading 到 λ=0.70 仍未达到 5% 存活，SDE 的 λ⋆_5 为 0.542。无密钥分类器在 1,350 张上 top-1 为 99.3%。已拒绝输入上，DPPO 把 LPIPS 从 0.136 降到 0.114，存活率保持 0%（1.16 轮）。
• 作者结论：在三个范式的九种水印上，DRIFT 达到 98–100% ASR，并在所比较攻击中取得作者所称的最好感知质量权衡。匹配采样器分离了随机偏转的经验收益；激进固定再加噪会损害保真。保证依赖未经验证的 Lipschitz 与终端前提，评测只用一个公开潜扩散骨干。