从扩散模型中提取训练数据

1. 01这篇论文试图解决什么问题？

   检验扩散模型是否记忆并复现训练图像，以及记忆程度如何随建模与数据决策变化。

   核心问题：图像扩散模型是否会记忆训练集中的个别图像并在生成时复现它们，从而破坏隐私假设。

   • 场景与重要性：作者指出，以往大规模训练"未发现过拟合是问题"（引 Saharia et al.），且有研究建议用扩散模型生成合成数据来"保护真实图像的隐私"；若模型记忆训练数据，这些隐私保证全部失效，还涉及版权与"digital forgery"问题。
   • 现有方法的不足：训练数据提取研究主要集中在文本语言模型，逐字（verbatim）定义不适合高分辨率图像；针对图像生成模型的隐私研究多关注 GAN 的泛化或语义相似（"style copying"），缺少对扩散模型最坏情况隐私的刻画。
   • 核心观察：作者假设扩散模型会记忆训练图像，且被多次重复的图像被记忆的概率高出数量级，因此把搜索偏向重复样本可以大幅降低攻击成本。
   • 论文的贡献：提出适用于图像的记忆化定义与两阶段数据提取攻击，在 Stable Diffusion 和 Imagen 上提取训练图像；并训练数百个 CIFAR-10 扩散模型，分析模型精度、超参数、数据增强与去重对隐私的影响，并与 GAN 对比。
   • 威胁模型（Section 3.1）：
     • 目标：从强到弱为 data extraction（恢复与某训练图像几乎相同的图像）、data reconstruction（已知部分图像恢复全图）、membership inference（判断图像是否在训练集）。
     • 知识：攻击条件生成器时，假定攻击者知道部分训练图像的 caption，以研究最坏情况隐私。
     • 能力：black-box 攻击者可查询 Gen 生成图像、提供任意提示词，不能控制内部随机性 r；white-box 攻击者可完全访问 Gen 与 fθ、控制随机性并对任意输入去噪。
     • 受害系统：无条件或条件（类标签/文本）扩散模型生成系统。

   收起这一问

2. 02有哪些相关研究？

   相关工作涵盖语言模型记忆提取、GAN 记忆与泛化、训练数据隐私攻击及并行的扩散模型隐私研究。

   语言模型中的记忆提取

   • Carlini et al. [11]、Lee et al. [47]、Kandpal et al. [41, 40]——用语言模型上的两步攻击提取训练文本，方法流程与本文相似；论文指出本文的区别在于面向图像领域，并使用 CLIP 分数等更语义化的再生判定，而非逐字重复。
   • Carlini et al. [10]——用 canary 插入法评估语言模型记忆，本文第 7.3 节借用该思路做扩散模型审计。

   图像生成中的记忆与泛化

   • GAN 泛化与相似度度量方向——Heusel et al. [32]、Arora et al. [3] 等提出与训练集相似度的度量，另有工作研究 mode collapse [61, 15]、单个训练样本的影响 [4, 75]、GAN 何时复现训练样本及如何缓解 [50, 26]；论文称本文把这些研究问题扩展到条件扩散模型。
   • Tinsley et al. [70]——显示 StyleGAN 能生成真实个人的脸；Somepalli et al. [65]——显示 Stable Diffusion 会输出与训练集语义相似的图像。论文指出本文在更多系统（Imagen、CIFAR 模型）和更多威胁模型（如成员推理）上识别隐私问题，且采用更严格的记忆定义。

   训练数据隐私攻击

   • 成员推理 [62, 80, 8]、模型反演 [27, 81]、属性推理 [28]、数据提取 [10, 11, 5]——本文把这三类攻击都应用到扩散模型；成员推理直接用 Yeom et al. [80] 的 loss threshold 与 Carlini et al. [8] 的 LiRA。
   • Feldman [24]——提出分类器中记忆对泛化是必要的理论；作者称本文结果提示该理论可能延伸到生成模型。

   并行的扩散模型隐私研究

   • Wu et al. [78]、Hu et al. [34]——对扩散模型做成员推理；论文称本文使用更复杂的攻击方法并研究数据提取这类更强的隐私风险。
   • Somepalli et al. [65]——主要比较生成图像与训练集的语义相似（"style copying"）；论文称本文关注更严格的 no-（原文为 "a much more restrictive notion of memorization"）最坏情况隐私，并覆盖更多模型。

   基线与基准：对比基线为 GAN 模型（StyleGAN-ADA、DiffBigGAN、E2GAN、NDA、WGAN-ALP 五个预训练模型，及自训的 StyleGAN、MHGAN、BigGAN）与两个预训练 DDPM（OpenAI-DDPM、DDPM），实验基准为 CIFAR-10，大模型实验使用 LAION 训练的 Stable Diffusion 与 Imagen。作者将本文定位为：把语言模型式提取攻击与 GAN 式泛化分析扩展到扩散模型，并给出跨模型形态（扩散 vs GAN）的隐私对比。

   收起这一问

3. 03论文如何解决这个问题？

   定义图像记忆化，用"生成-过滤"两阶段攻击提取训练图像，再以受控实验分解记忆的影响因素。

   整体思路：先给出适用于高分辨率图像的记忆化定义，再用generate-and-filter两阶段流程从 Stable Diffusion 和 Imagen 提取训练图像，最后在 CIFAR-10 上训练数百个模型做成员推理、inpainting 重构、GAN 对比和防御评估。

   记忆化定义

   • (l, δ)-Diffusion Extraction（Definition 1，改自 [11]）：若存在不接收 x 为输入的高效算法 A，使 x̂ = A(fθ) 且 l(x, x̂) ≤ δ，则称 x 可从模型提取。默认距离为归一化欧氏 2-范数 l₂(a,b) = √(∑_i (a_i − b_i)² / d)，d 为输入维度，把距离归一到 [0,1]。
   • (k, l, δ)-Eidetic Memorization（Definition 2）：x 可提取，且训练集中至多有 k 个近邻满足 l(x, x̂) ≤ δ；k 衡量训练集中近重复的数量。
   • 作者强调定义刻意保守：例如能生成可辨认的奥巴马新照片但非某张训练图的近复制，不计为记忆（Figure 2）。

   大模型提取流程（Stable Diffusion / Imagen）

   1. 定位重复样本：用 CLIP 把训练图像嵌入 512 维向量做全对比较（作者称效率提升超过 1500 倍），按 embedding 余弦相似度判定近重复，取重复图像的 caption 作为攻击提示词。
   2. 大量生成：black-box 查询 Gen，每个提示词生成 500 张候选；Stable Diffusion 用默认 PLMS 采样、512×512 分辨率，并用 timestep-resampled 生成实现（作者称约 10 倍加速、视觉保真度略降）。
   3. 成员推理过滤：对同一提示词的 500 张生成建图，两张图在距离 d 下相近则连边，最大 clique 至少 10 张时判定为记忆图像；距离 d 用分块 2-范数——把图像分成 16 个 128×128 tile，取两图对应 tile 间 2-范数距离的最大值，以减少灰色背景等造成的假相似。

   CIFAR-10 受控实验

   • 实验对象：用 OpenAI Improved Diffusion 代码或其重实现，在 CIFAR-10 随机一半训练集上训练 16 个扩散模型；类条件模型 FID 低于 3.5，无条件模型 FID 低于 4。
   • 无目标提取：每模型生成 2^16 张、共 2^20 张候选；因全局 2-范数阈值失效（Figure 6），改用自适应阈值 l(x̂, x; S_x̂) = (l₂(x̂, x))/(α · E_{y ∈ Sx̂}[l₂(x̂, y)])，即生成图到最近训练图的距离除以该生成图最近 n 个训练近邻的平均距离，取 α = 0.5、n = 50。
   • 成员推理：实现 loss threshold [80] 与 LiRA [8]；损失取扩散重建损失 L(x, t, ε)，经 16 个 shadow model 扫描后选定 t = 100；改进版（Strong LiRA）对最多 20 个噪声样本做 Monte Carlo 平均并对图像做水平翻转增强。
   • inpainting 重构攻击：掩掉图像左半部分，用 Lugmayr et al. [48] 的 inpainting 算法生成 n = 5,000 个重构，按主模型（t = 100 处损失）与未见过该图的 shadow model 损失之比打分，取 top-10。

   对比与防御评估

   • GAN 对比：对 GAN 用判别器损失做 loss threshold 与 LiRA（训练 256 个模型，各用随机一半 CIFAR-10）；提取实验用 5 个预训练 GAN 与 2 个预训练 DDPM，各生成 2^20 张，用与扩散模型相同的相似度函数计数。
   • 防御：用 imagededup 以相似度 > 0.85 去重 CIFAR-10（删 5,275/50,000 张）后重训；尝试 DP-SGD；canary 审计则插入均匀噪声图像、按不同重复次数插入并测量最大 exposure。

   收起这一问

4. 04论文做了哪些实验？

   从 Stable Diffusion/Imagen 提取训练图像，在 CIFAR-10 上做成员推理、重构、GAN 对比与防御评估。

   实验设置

   • 被测模型：Stable Diffusion v1.4（8.9 亿参数，1.6 亿图像训练）、Imagen（20 亿参数）；CIFAR-10 上自训 16 个类条件与无条件扩散模型；预训练 GAN（StyleGAN-ADA、DiffBigGAN、E2GAN、NDA、WGAN-ALP）与预训练 DDPM（OpenAI-DDPM、DDPM）；自训 StyleGAN、MHGAN、BigGAN（各 256 个）。
   • 数据集：LAION（Stable Diffusion 训练集，1.6 亿图像）、Imagen 训练集（非公开）、CIFAR-10（50,000 张）。
   • 指标：(l2, δ)-extraction（Stable Diffusion 取 δ = 0.15，eidetic 分析取 δ = 0.1）、成员推理 TPR@FPR 与 AUC、FID、canary exposure。
   • 评审方式：Stable Diffusion 结果由人工标注——对排序后的生成图像逐一比对训练集判定"extracted / not extracted"，另对 top-1000 生成做人工视觉检查；论文未报告标注人数与一致性。
   • 样本量：Stable Diffusion 取 350,000 个最高重复提示词各生成 500 张（共 1.75 亿张）；Imagen 取 top-1000 重复提示词各 500 张；CIFAR-10 每模型 2^16 张、共约 100 万张；inpainting 攻击在 100 张图像上评估。
   • 重复次数：CIFAR-10 成员推理用 16 个模型；论文未报告 Stable Diffusion/Imagen 提取实验的重复次数。

   主结果

   表格较宽，可左右滑动

   模型	生成数	提取图像数	FID	出处
   StyleGAN-ADA	1M	150	2.9	Table 1
   DiffBigGAN	1M	57	4.6	Table 1
   E2GAN	1M	95	11.3	Table 1
   NDA	1M	70	12.6	Table 1
   WGAN-ALP	1M	49	13.0	Table 1
   OpenAI-DDPM	1M	301	2.9	Table 1
   DDPM	1M	232	3.2	Table 1

   • 作者称扩散模型比 GAN 记忆更多：OpenAI-DDPM 与 StyleGAN-ADA 的 FID 同为 2.9，但提取数为 301 对 150（约 2 倍）；且 FID 越好（越低）的生成模型记忆越多。
   • Stable Diffusion：1.75 亿生成中 94 张满足 (l2, 0.15)-extraction，人工检查再增 13 张，共 109 张；攻击可在 0 假阳性下找出 50 张记忆图像，全部记忆图像在精度高于 50% 时可被找出（Figure 4）。
   • Imagen：top-1000 重复提示词中 23 张被判定记忆，作者称该比例高于 Stable Diffusion，并认为与模型容量更大、训练更久、数据集更小有关。

   成员推理与效用-隐私关系

   • 测了什么：CIFAR-10 类条件扩散模型上的 loss threshold 与 LiRA，及加 Monte Carlo 平均与水平翻转的 Strong LiRA（Figure 10）。
   • 结果：原版 LiRA 在 FPR 1% 时 TPR 超过 70%（AUC 0.982），loss threshold AUC 0.613；Strong LiRA 在 FPR 0.1% 时 TPR 从 7% 升至 44%（AUC 0.997）。作者指出，作为参照，SOTA 分类器在 FPR 1% 时 TPR 低于 20%（引 [8]）。
   • 效用关系：FID 从约 8 降到约 4 的过程中，TPR@FPR=1% 从 7% 升至接近 100%（Figure 11）；附录 Figure 18 显示训练处理样本量从 5M 增至 102M 时 TPR@FPR=1% 从 5% 升至 99%。作者称更好的扩散模型隐私泄露更多。

   Inpainting 重构攻击

   • 测了什么：掩掉 CIFAR-10 图像左半部分，对 100 张图各生成 5,000 个 inpainting 重构，比较目标在/不在训练集时的重构 2-范数距离（Figure 12、13）。
   • 结果：目标在训练集时 top-10 重构的 2-范数距离低于不在训练集时；Figure 12 中鸟、猫两例在目标在训练集时距离约 0.05–0.10，不在时约 0.15–0.30（图中散点范围）。
   • 作者解读：拥有部分图像知识的攻击者能改进提取效果；附录 D 称对比损失（主模型损失除以 support 模型损失）与 2-范数距离的相关性更强，且目标不在训练集时攻击失败，作者据此认为攻击利用的是记忆而非泛化。

   防御评估

   • 去重：以相似度 > 0.85 去重 CIFAR-10（删 5,275 张）后重训，100 万生成中提取数从 1,280 降到 986；作者称去重能缓解但不充分，并预期在更大数据集上更有效。
   • DP-SGD：作者报告在 CIFAR-10 上应用 DP-SGD 导致训练持续发散，即使隐私预算 ε 高达约 50；单独的梯度裁剪或加噪也会导致训练失败。
   • canary 审计：插入均匀噪声 canary，最大 exposure 为 10，部分 canary 仅插入 2 次即达最大 exposure（Figure 16）；exposure 不随重复次数严格递增，作者认为随机噪声 canary 可能不是最有效的审计样本。

   其他消融与分析

   • 损失时间步：t ∈ [50, 300] 时成员推理效果最好，后续实验固定 t = 100（Figure 9）。
   • Monte Carlo 样本数：n 从 1 增至 20，TPR@FPR=0.1% 从 0.071 升至 0.294（Figure 19a）。
   • 水平翻转增强：n = 20 加增强后 TPR@FPR=0.1% 达 0.437（Figure 19b）。
   • 条件 vs 无条件：条件模型 TPR@FPR=1% 为 0.714，无条件为 0.549（Figure 21）；作者称难以判断是条件性本身还是参数量差异所致。
   • 重复次数与提取：Stable Diffusion 上 k < 100 时几乎无 eidetic 记忆，k ≥ 100 后提取增多（Figure 5）；作者注明这是上界，因为方法专门搜索重复图像。
   • 跨模型共同记忆：自训扩散模型记忆的 1,280 张与自训 StyleGAN 记忆的 361 张中有 244 张重合，随机均匀情况下预期约 10 张（p < 10^-261）；作者称某些图像固有地更不隐私，原因留待后续研究。
   • 负面结果：对 Stable Diffusion 用 outlier 方法（CLIP 空间 1,000 近邻平均距离）尝试提取 10,000 个最 outlier 样本未发现记忆；Imagen 上 500 个最高 out-of-distribution 分数样本中 3 张被记忆。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出定义、DP 训练、审计等方向的开放问题；实验覆盖两个大模型与 CIFAR-10 规模模型。

   作者指出的局限与后续方向

   • 记忆定义偏保守（Section 4.1）：定义只覆盖近复制提取，模型生成可辨认人物的新照片等情形不计入，作者称需要更全面的分析来捕捉更贴近人类认知的复制定义（Section 9）。
   • DP-SGD 失败原因待查（Section 7.2）：在 CIFAR-10 上 DP-SGD 训练持续发散，作者明确将进一步调查这些失败留作 future work，并认为可能需要隐私保护训练技术的新进展。
   • canary 设计待改进（Section 7.3）：随机生成的噪声 canary 可能不是测试扩散模型记忆的最有效样本。
   • 共同记忆现象待解释（Section 6）：扩散模型与 GAN 共同记忆同一批图像（244 张重合），作者称理解该现象是 future work 的方向。
   • 泛化问题仍开放（Section 9）：大模型是生成新内容还是复制插值训练数据，作者称提取攻击成功使该问题保持开放，希望未来工作探索扩散模型如何复制训练数据。
   • 去重不充分（Section 7.1）：去重后提取数仅从 1,280 降到 986，作者称去重不是完美的解决方案。

   实验覆盖范围

   • 被测大模型为 Stable Diffusion v1.4 与 Imagen 两个文本条件模型；受控实验在 CIFAR-10 上以 16 个扩散模型进行，GAN 对比覆盖 5 个预训练 GAN、2 个预训练 DDPM 与 3 种自训 GAN 架构。
   • 攻击覆盖三类目标：数据提取（Stable Diffusion、Imagen、CIFAR-10、GAN）、成员推理（CIFAR-10 扩散模型与 GAN）、inpainting 重构（CIFAR-10，100 张图像）。
   • 防御评测包括数据去重、DP-SGD 与 canary 审计三项，均在 CIFAR-10 规模上进行。
   • 提取成功判定以人工标注为准（Stable Diffusion 部分含 top-1000 人工视觉检查）；论文未报告标注人数、标注者间一致性，也未报告大模型提取实验的重复次数。
   • Imagen 训练集非公开，作者注明无法展示其成功重构的可视化样例（Section 4.3 脚注）。

   收起这一问

6. 06总结一下论文的主要内容

   扩散模型会记忆并复现训练图像，作者称其比 GAN 泄露更多，现有防御不足以解决。

   一篇关于图像扩散模型训练数据隐私的攻击论文，回答"扩散模型是否记忆并复现训练图像"这一问题。

   • 问题：扩散模型被假定不记忆训练数据，并因此被寄望用于隐私敏感的合成数据生成；作者检验该假设，并分析记忆随模型与数据决策的变化。
   • 方法：提出 (l, δ)-extraction 与 (k, l, δ)-Eidetic memorization 两个图像记忆定义；用 generate-and-filter 两阶段攻击——按已知 caption 大量采样，再用基于 clique 的成员推理筛出记忆图像；并在 CIFAR-10 上训练数百个模型做受控分析。
   • 大模型提取：从 Stable Diffusion 提取 109 张记忆图像（1.75 亿生成，含人工复核），从 Imagen 的 top-1000 重复提示词中提取 23 张；提取内容含可辨认人物照片（58%）、商品图（17%）、logo/海报（14%），35% 带明确非许可版权声明。
   • 受控实验：CIFAR-10 扩散模型 100 万生成中提取 1,280 张唯一训练图像（占数据集 2.5%）；Strong LiRA 成员推理在 FPR 0.1% 时 TPR 达 44%；FID 改善时 TPR@FPR=1% 从 7% 升至接近 100%。
   • 跨模型对比：相同 FID（2.9）下 OpenAI-DDPM 提取 301 张、StyleGAN-ADA 提取 150 张，作者称扩散模型记忆量约为 GAN 的 2 倍，且生成质量越好的模型记忆越多。
   • 防御与结论：去重仅把 CIFAR-10 提取数从 1,280 降到 986，DP-SGD 在 CIFAR-10 上训练发散；作者认为现有隐私技术未提供可接受的隐私-效用权衡，合成数据并不免费带来隐私，并建议去重、减少过度训练、用攻击做审计。

   收起这一问

相关论文