RAPID：面向文生图服务的实时防未授权蒸馏防御

商用扩散文生图服务如何在不增加在线延迟的前提下，降低公开输出被用于未授权模型蒸馏的训练效用。

• 场景与重要性：作者称 Stable Diffusion、DALL-E、Imagen、Midjourney、Adobe Firefly 等服务的生成能力是高投入形成的知识产权。攻击者只需黑盒查询收集 prompt-image 对，即可训练替代扩散模型，模仿提示对齐、风格、输出分布与专门生成行为；提供方报告已把 API 蒸馏视为运营风险，且蒸馏行为与正常用户难以区分。OpenAI、Google Gemini、Midjourney、Stability AI 等有政策禁止，但作者认为政策不能从技术上阻止蒸馏。
• 现有方法不足：事后验证（水印、指纹）需先观察到可疑模型或输出；异常查询检测依赖行为假设，自适应攻击者可操纵，且误报会伤害正常用户。扰动防御主要面向离线、逐图像优化，作者称其计算与延迟大，与在线服务的低延迟、高吞吐不匹配。把样本级目标直接迁到共享 VAE 解码器时，作者报告破坏效果有限。
• 核心观察：在共享解码器下，瓶颈从“破坏性有多强”转到目标是否可达；较大的潜变量偏移不一定带来更强的可见破坏，作者将其归因于潜变量捷径。
• 本文提出：RAPID，一种前向通路防护。离线把防御扰动学进已部署的 VAE 解码器，用自参考潜变量最大化提高可达性，并用重建引导的颜色正则与复合视觉约束，在保持服务视觉保真的同时干扰下游蒸馏。
• 威胁模型：
  • 受害系统与场景：公开文生图服务上的 black-box model distillation。防御方是服务所有者或运营者，权重、训练数据、内部潜变量和防御参数保持私有。
  • 攻击者知识与能力：仅有 black-box 访问；可任选提示词、重复查询、存储返回图像，并用收集到的对训练替代模型。作者考虑无查询预算的严格情形，因为窃取闭源先进 T2I 模型收益大。
  • 防御方能力：完全控制已部署模型，可改参数、训练全模型或选定模块，并在返回前做服务端输出处理；不知道下游攻击者的训练策略。
  • 防御目标：对良性用户做 quality-preserving，避免明显色偏、高频噪声、局部伪影或语义漂移；对未授权训练做 disrupting effectiveness，使在受保护输出上训练出的替代模型生成质量低于在干净输出上训练的模型。

论文在第 2 节按系统结构、攻击和三类防御组织相关工作。

潜空间扩散模型

• Latent diffusion models（Rombach 等及后续 T2I 系统）：在变分自编码器的压缩潜空间中做扩散，编码器 E 得到 z=E(x)，解码器 D 重建图像，去噪网络在带文本条件的噪声潜变量上预测干净潜变量。推理时去噪得到与提示对齐的潜变量，再由 VAE 解码器变成返回图像。作者据此把解码器视为越过黑盒边界前、提供方可控的最后一环。

查询式模型蒸馏

• 模型窃取 / 蒸馏（Tramèr 等、相关 API 窃取工作）：对手查询预测 API，在观察到的输入输出对上训练本地模型以逼近受害者功能。T2I 中受害者服务 Gv 对提示 pi 返回 yi=Gv(pi)，攻击者构造 Dsteal={(pi, yi)}，常以开源扩散骨干或已蒸馏架构为起点训练替代模型 Ga。目标不限于复制单张返回图，而是迁移提示对齐、风格、输出分布和专门生成行为。

三类未授权训练防御

• 事后验证（水印与指纹）：把可检测信号嵌入参数、行为、受保护数据或生成输出，供事后检验可疑模型或输出是否源自受保护资产。作者认为它们主要是回溯性的，不能在源头阻止收集；普通输出水印未必能在微调、再训练后可靠留存，蒸馏后痕迹是否仍可检测也不确定。
• 服务端异常查询检测：按查询量、时序、提示多样性、近重复请求和相对良性分布的偏离给账户或会话打分，再限流、质询或拒绝高吞吐访问。论文举 Anthropic 对 Claude Fable 5 的检测：与蒸馏相关的请求回退到 Claude Opus 4.8。作者认为检测依赖可被自适应攻击者操纵的行为假设（多账户、混入正常流量、放慢速率、主动学习），且不在源头阻止蒸馏，更适合作为辅助监控。
• 预防性图像扰动：用对抗优化修改发布图像，使下游生成训练、个性化或编辑收到有害或不稳定信号。潜空间一支包括 Glaze（把作品推向误导风格）和 PhotoGuard（编码器侧保护，把编辑模型推向错误表示）；扩散学习一支包括 AdvDM、Anti-DreamBooth 和 MetaCloak，其中 Anti-DreamBooth 用双层优化交替更新对抗图像与代理个性化训练。作者认为这些方法在原设置中有效，但主要是对固定图像、主体、风格或编辑目标的离线逐样本防护，计算与显存开销使其不适合不允许逐输出优化的在线服务。

基线方法为 AdvDM、Anti-DreamBooth、Glaze、Nightshade、PhotoGuard，外加效率对照 FGSM。基准/数据集在动机实验中为 CelebA，主实验为 AFHQ、Pokemon、CelebA、Landscape。在线开销还在 1024×1024 图像上比较 FGSM、PhotoGuard、Nightshade、Glaze 与 RAPID。

作者把本文定位为离线学好、嵌入部署生成路径的内生防护：每次公开输出在单次前向中即受保护，从而避开查询时逐样本优化；并用可达集分析解释样本级目标迁到共享解码器后效果变差的原因。

RAPID 把对抗优化移到离线的 VAE 解码器训练：部署时用受保护解码器替换原解码器，单次前向直接产出受保护图像，在线不再做逐样本优化。设计对应三个挑战：延迟、共享解码器下破坏不足、单一视觉约束保真不够。

问题设定与可达集

• 前向保护：θ0 为冻结参考解码器 D0 的参数，θ 为可训练受保护解码器，训练后部署 θ⋆。服务潜变量 z 由去噪器产生；干净参考 xr=Dθ0(z)，公开输出 xp=Dθ⋆(z)。在线代价不再随保护优化步数增长。
• 两条限制：参数共享要求所有输出来自同一次更新 Δθ=θ−θ0；视觉保持要求更新落在 Cϵ={Δθ: Lvis(Δθ)≤ϵ}。作者在小更新的一阶范围内把图像变化写成 Δx(z)≈Jz[Δθ]。
• 可达集：对最小化目标 L，ΩL(τ)={Δθ∈Cϵ: L(Δθ)≤τ}，即视觉可行且损失不超过阈值 τ 的共享解码器更新。作者用它在同一响应映射 A 与同一 Cϵ 下比较不同目标的可达性。

两种失效与自参考目标

• 目标依赖：外部目标的逐样本扰动可各自靠近 ti；共享更新却要用一个 Δθ 拟合全部残差 d。局部目标匹配损失为 Ltgt(Δθ)=(1/N)∥AΔθ−d∥²₂。若 d 在 Col(A) 之外有分量，则存在无法消除的残差。Figure 3 把可达集画成可行圆 Cϵ 与低损失区域的交集，目标型区域较小。
• 随机性依赖：扩散学习损失 Ldiff 要对时间步 t 和噪声种子 η 取期望。作者称 DDPM 一类日程约有 1000 个时间步，且每步独立采样，可达集变成多条损失曲线对应集合的交集，共享更新可能把误差集中在少数样本或时间步–噪声对上。
• 自参考最大化：Lself(Δθ)=−(1/N)∥AΔθ∥²₂，只要求响应能量足够大，Ωself 比追逐外部残差更宽。作者称代理 VAE 编码器的独立重参数采样即使在 xp=xr 时也会给出轻微潜变量差，从而在初始化处提供非零训练信号。

堵住潜变量捷径与复合视觉约束

• 颜色正则：仅最大化潜变量 MSE 时，作者认为自编码器的流形投影可能把扰动抹平，重建图仍接近干净参考。于是在代理解码之后加 Lcolor=ΔE00(Ds(hp), xr)，仍与自身干净参考比较，不引入外部目标方向。交付图像 xp 靠近 xr，而下游重建 x̂p 与干净参考不一致。
• 破坏项：Lobj=−λz Llatent−λc Lcolor，其中 Llatent=MSE(hp, hr)。负号表示在全局最小化下最大化下游分歧。
• 复合铰链：Lcie、Llpips、Ltv、Lpatch 分别约束 CIEDE2000 颜色、LPIPS 感知结构、总变分相对干净参考的增量，以及分块 CIEDE2000。超过对应阈值 τ 才计入。Lvis 为四项加权和。Figure 2 的单约束阈值沿用先前工作：LPIPS=0.05，DSSIM=0.007，ϵ=32/255。

训练流程与判定

• 总损失：Ltotal=λv Lvis−λz Llatent−λc Lcolor，并设 λv≫λz, λc，使视觉保真为在给定阈值下的主导约束。
• Algorithm 1：用源 T2I 模型生成训练图像 X，经冻结编码器 E 得到与服务分布对齐的潜变量 Z；每个小批量用 D0 与 Dθ 得到 xr、xp，计算阈值化视觉项，从代理编码器采样 hp、hr，用代理解码器得到 x̂p，再下降 ∇θ Ltotal。只更新 Dθ，冻结 E、D0、Es、Ds。
• 成功判定：良性侧看受保护输出相对干净输出的视觉保真；攻击侧把受保护的 prompt-image 对当作监督训练替代模型，再用 FID、QAlign、PickScore、Aesthetic 等比较其生成质量是否差于在干净输出上训练的模型。动机实验另用潜变量 MSE 以及 L2、LPIPS、CIEDE2000、SSIM、PSNR 比较代理 VAE 重建与干净参考。

实验设置

• 被测源模型：主结果 Table 3 列为 SSD、PixArt、SDXL、Shuttle3 四个块。动机实验以 PixArt 为受保护源模型、SSD 为下游蒸馏代理。正文称四个 T2I 模型；详细设置写在 Appendix A，转写文本未给出各模型版本与采样器参数。
• 数据集：主实验为 AFHQ、Pokemon、CelebA、Landscape。动机实验用 CelebA。论文未在已见正文中给出各集合样本量。
• 基线：AdvDM、Anti-DreamBooth、Glaze、Nightshade、PhotoGuard；在线开销另含一步 FGSM。Table 3 同时报告 Clean（无防御蒸馏）和 Ref.（参考质量分，FID 的 Ref. 为空）。
• 指标：替代模型生成用 FID↑、QA↓（QAlign）、PK↓（PickScore）、AES↓（Aesthetic）。动机实验用潜变量 MSE 间隔 LG↑，以及 L2、LPIPS、CIEDE2000、SSIM、PSNR。在线开销为优化步数、延迟（秒）和 CUDA 显存（MB）。
• 硬件与预算：Table 1 在 RTX A6000、1024×1024 上测开销。FGSM 为 1 步，PhotoGuard、Nightshade、Glaze 为 200 步，RAPID 为 0 步。动机实验称各目标在相同视觉预算下优化，设置与主实验对齐。评审模型、重复次数论文在已见正文中未报告。
• 防御训练消融：Appendix B.4 在 AFHQ 上用 SSD 做下游评测，改变解码器训练 epoch，并比较视觉损失项组合。

主结果

Table 3 数字很多且列在转写中可能错位。下面只保留列标题与数字能对齐、且作者用作代表比较的格子；Ours 为 RAPID。FID 越高表示作者定义的破坏越强，QA、PK、AES 越低越强。

Swipe horizontally to read the table

源模型	数据集	Clean FID	RAPID FID	RAPID QA	备注
SSD	AFHQ	40.14	48.67	1.84	Table 3；AdvDM FID 86.72 更高
PixArt	AFHQ	60.13	132.62	1.59	Table 3
SDXL	AFHQ	50.45	75.09	1.64	Table 3
Shuttle3	AFHQ	62.59	120.37	1.50	Table 3
PixArt	CelebA	67.61	102.42	1.91	Table 3
SDXL	Landscape	98.30	120.48	2.59	Table 3
Shuttle3	Pokemon	73.88	102.17	1.77	Table 3
SSD	Landscape	93.07	113.66	1.76	Table 3；Anti FID 91.60 低于 Clean

• 作者解读：作者称 RAPID 在多数评测配置上破坏最强，同时保持良性服务的视觉保真。Table 3 中 RAPID 的 QA 在上述格子均低于 Clean，FID 高于 Clean。
• 例外：并非每格都是 RAPID 的 FID 最高。例如 SSD–AFHQ 上 AdvDM 的 FID 为 86.72，高于 RAPID 的 48.67；SSD–AFHQ 上 Anti 的 FID 40.50 低于 RAPID，AES 上多格 RAPID 并不低于全部基线。作者的“最强”表述与“多数配置”限定一起出现，不宜读成每一格、每一指标都最优。
• 在线代价：Table 1 中 RAPID 额外在线延迟 0s、CUDA 显存 0MB；FGSM 为 4.53s 与 33097.27MB；PhotoGuard、Nightshade、Glaze 约 118.94s–120.27s，显存 33587.55MB。作者称该开销随服务量成比例放大，因而逐样本优化不适合在线 T2I。

动机实验：共享解码器下的破坏

• 测了什么：CelebA 上以 PixArt 为源、SSD 为下游代理，在相同视觉预算下比较 Clean、AdvDM、Anti-DreamBooth、PhotoGuard、Glaze、Nightshade、Latent max 与 RAPID 的潜变量间隔和重建可见差异（Table 2）。
• 结果：潜变量 MSE 间隔从 Clean 的 1.93 到 Nightshade 63.01、Latent max 115.24、RAPID 103.55。RAPID 的 L2 为 0.0410、LPIPS 0.2086、CIEDE2000 7.17、SSIM 0.830、PSNR 27.89；Latent max 的对应视觉指标为 0.0256、0.1365、2.80、0.829、31.94。
• 作者解读：作者认为可达性比名义破坏性更关键，因为样本级目标迁到共享解码器后潜变量间隔有限（如 PhotoGuard 仅 37.63，Latent max 为 115.24）。作者又认为大潜变量间隔不一定等于大的可见破坏：Latent max 间隔最大，但重建可见指标弱于 RAPID，并将其解释为潜变量捷径。

视觉约束与训练时长

• 单一约束：Figure 2 在 CelebA 上展示 Reference 与 LPIPS、DSSIM、l∞ 约束下的优化图像。作者称图像可以满足所选单一约束，仍出现可见色偏、局部伪影和高频噪声，并推测共享解码器优化下会发生对单一指标的过拟合。Appendix B.4 报告只用 Lcie 时颜色差为 1.94，但 LPIPS 仍为 0.376；作者称只有四项视觉损失一起用时，视觉质量才能维持在所需范围内。
• 训练 epoch：Figure 15 在 AFHQ、SSD 下游评测上，QAlign 在 epoch 7 最低，为 1.45；epoch 8 的 FID 最高，为 151.10；epoch 9 的 PickScore 最低，为 19.62；epoch 0 的 Aesthetic 最低，为 5.19。作者称最佳 epoch 随指标而变；epoch 0 的样本视觉质量相对更好，但仍明显差于 Clean。
• 集成代理 VAE：Appendix B 称对一组有代表性的代理 VAE 做集成，可以覆盖更广的可能替代模型，且不假设知道攻击者的精确模型。转写文本未给出该集成的定量表。

其他消融与分析

• Table 2：同视觉预算下，AdvDM / Anti-DB / PhotoGuard / Glaze 的 LG 分别为 30.50、28.88、37.63、41.50，均低于 Latent max 的 115.24 与 RAPID 的 103.55。
• Table 2：Nightshade 的 LG 63.01 低于 Latent max，但其 LPIPS 0.1335、CIEDE2000 3.47 仍高于 Latent max 的 0.1365 与 2.80 这一对比中，LPIPS 接近、颜色差更低；作者称其视觉差异可与更大潜变量间隔相当甚至更明显。
• Figure 15：epoch 7 的 QAlign 1.45、epoch 8 的 FID 151.10、epoch 9 的 PickScore 19.62、epoch 0 的 Aesthetic 5.19，最优 epoch 不一致。
• Appendix B.4：仅 Lcie 时 ΔE 为 1.94、LPIPS 为 0.376。
• Table 1：保护步数从 1（FGSM）到 200（Glaze / Nightshade / PhotoGuard），延迟约从 4.53s 升至 120s 量级；RAPID 步数为 0。
• Table 3 的 AES：多格 RAPID 与 Clean 接近或更高，例如 SSD–AFHQ 上 Clean 5.88、RAPID 5.27，而 PixArt–AFHQ 上 Clean 5.97、RAPID 5.25；AES 的下降并不与 FID 的上升同步出现在每一格。

作者指出的局限与后续方向

• 软蒸馏：Appendix C 写明，作者不声称防御能承受 soft distillation。若攻击者绕过像素级训练，直接取得教师侧 logits、去噪预测、潜变量轨迹或中间特征，防御可能失效（Appendix C）。
• 开源场景的边界：同一节称 RAPID 也可用于开源 T2I：防护信号内生在每张发布图像中，收集开始前即存在，表面比可被跳过或替换的后处理更宽。作者同时把上述内部信号接口排除在声称的保护范围之外（Appendix C）。
• 论文未在 Limitations 中另列条目：已见的 Conclusion 转写在正文截断处结束；除 Appendix C 的上述说明外，没有单独的局限清单。水印在微调后是否仍可检测，是作者对相关工作的判断，不是把“水印失效”写成 RAPID 的局限。

实验覆盖范围

• 模型与数据：主结果 Table 3 覆盖 SSD、PixArt、SDXL、Shuttle3 与 AFHQ、Pokemon、CelebA、Landscape；动机实验为 PixArt 源模型、SSD 下游代理、CelebA（Section 4.2、Table 2）。
• 基线与开销：破坏效果对比 AdvDM、Anti-DreamBooth、Glaze、Nightshade、PhotoGuard；在线开销在 RTX A6000、1024×1024 上还包括一步 FGSM（Table 1）。
• 防御实现位置：防护放在服务端 VAE 解码器的离线微调，部署后为零额外在线优化步（Section 5、Algorithm 1、Table 1）。
• 消融：Appendix B.4 与 Figure 15 报告 AFHQ 上 SSD 下游的训练 epoch，以及视觉损失项是否联用；Appendix B 讨论对多个代理 VAE 的集成，转写文本未给出对应数值表。
• 论文未报告：已见正文与附录转写未报告主实验的重复次数、提示词条数、蒸馏训练步数、查询次数，以及 QAlign、PickScore、Aesthetic 的评审模型与人工一致性。威胁模型写明防御方不知道攻击者的训练策略，实验使用 SSD 等作为下游代理。

RAPID 是面向已部署文生图服务的实时抗蒸馏防御：把防护从逐张图像的在线优化，改成离线学好的共享 VAE 解码器，使用户拿到的图像在单次前向中即带有防御扰动。

• 问题：黑盒用户可以无预算地查询服务、收集 prompt-image 对并训练替代扩散模型。水印和查询检测不能在源头去掉训练效用；Glaze、Nightshade、PhotoGuard、AdvDM、Anti-DreamBooth 等扰动方法在样本级设置中能干扰训练，但迁到共享解码器后效果变差，且 200 步在线优化在 RTX A6000、1024×1024 上延迟约 119–120 秒。
• 方法：作者用可达集说明，外部目标残差和随机扩散损失在“一次小的、视觉可行的参数更新”下很难同时对所有样本生效。RAPID 改为最大化受保护输出相对自身干净参考的潜变量差异，并在代理解码器重建上最大化 CIEDE2000，以避免只改潜变量、重建仍接近原图的捷径。视觉侧用 LPIPS、CIEDE2000、总变分和分块颜色四项铰链，且视觉项权重大于破坏项。只更新解码器。
• 结果：Table 1 中 RAPID 的额外在线延迟和 CUDA 显存为 0s、0MB，一步 FGSM 仍要 4.53 秒和约 33097MB。Table 3 里，PixArt 源、AFHQ 上 RAPID 的 FID 为 132.62、QAlign 为 1.59，对照 Clean 的 60.13 与 3.10；SDXL–AFHQ 的 FID 从 50.45 到 75.09，Shuttle3–AFHQ 从 62.59 到 120.37。SSD–AFHQ 上 AdvDM 的 FID 86.72 高于 RAPID 的 48.67，因此“多数配置”里存在基线在单个指标上更强的格子。Table 2 中 Latent max 的潜变量间隔 115.24 大于 RAPID 的 103.55，但 RAPID 的 CIEDE2000 为 7.17、LPIPS 为 0.2086，高于 Latent max 的 2.80 与 0.1365。
• 作者结论：作者认为共享解码器优化里可达性比名义破坏性更重要，自参考目标加上重建颜色正则能在保真约束下扩大有效可达区域，从而形成一种服务级、实时的抗未授权蒸馏范式。Appendix C 补充：若攻击者改为使用教师内部的 logits、去噪预测或潜变量轨迹，该防御可能无效。