跳到正文
原文

规避基于水印的 AI 生成内容检测

Evading Watermark based Detection of AI-Generated Content

arXiv· arXiv:2305.03807· CCS 2023· Zhengyuan Jiang, Jinghuai Zhang, Neil Zhenqiang GongDuke University本站收录· 16 天前· 原文发表入选 攻击精选关注度38

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出 WEvade,对带水印的 AI 生成图像加微小扰动以绕过水印检测;在 HiDDeN/UDH 上白盒与黑盒变体均报告高逃逸率,且扰动小于 JPEG 等方法。

威胁模型攻击者用云端生成服务得到带水印图像,目标是加小的、人眼不可察觉的扰动使检测器误判为 non-AI-generated。

问题
水印被用于检测 AI 生成内容,但学习类水印对常见后处理的鲁棒性只在 JPEG、高斯模糊等场景被评估,对对抗性后处理的鲁棒性未被探索。
方法
提出 WEvade:白盒下把扰动优化为让解码水印接近一个随机目标水印(位准率约 0.5),黑盒下扩展 HopSkipJump 用 JPEG 初始化加早停查询目标检测器;并提出 double-tail 检测器。
实验与结果
在 COCO/ImageNet/CC 上以 HiDDeN、UDH 为目标:WEvade-W-II 逃逸率接近理论下界且扰动远小于 JPEG 等方法;WEvade-B-Q 逃逸率恒为 1;对 Stable Diffusion 检测器,JPEG 与 WEvade-B-Q 均可逃逸。
局限与可以继续做的
作者指出 ℓp 范数与 SSIM 只是视觉质量的近似度量,现有水印缺乏可证明鲁棒性保证;实验只覆盖图像水印与三种数据集,文本水印仅作为未来方向讨论。
实验设置HiDDeN、UDH · COCO、ImageNet 等 · bitwise accuracy、evasion rate 等
威胁模型
攻击者用云端生成服务得到带水印图像,目标是加小的、人眼不可察觉的扰动使检测器误判为 non-AI-generated。攻击者无编码器和真实水印 w;white-box 下可访问解码器,要逃逸任意阈值 τ>0.5 的检测器;black-box 下只能查询目标检测器 API 获得二值结果,可多次查询。
被测模型
HiDDeNUDH
基准
COCOImageNetConceptual Caption (CC)Stable Diffusion 生成图像(sd-v1-1.ckpt)
指标
bitwise accuracyevasion rateaverage perturbation(ℓ∞-norm)FPRFNRSSIM
AI 导读和推荐理由发表于 ACM CCS 2023 的论文提出 WEvade 攻击,通过对带水印的 AI 生成图像添加人眼难以察觉的微小扰动,使其被误判为非 AI 生成,从而规避基于水印的检测,同时保持视觉质量。方法覆盖白盒与黑盒两种威胁模型,白盒变体 WEvade-W-II 让解码水印的比特准确率接近 0.5,可同时绕过单尾检测器和作者提出的双尾检测器,黑盒变体 WEvade-B-Q 将 HopSkipJump 扩展到水印检测器,论文称攻击者只需数十次查询即可逃逸目标检测器。论文推导了各变体规避率的理论界,并在 HiDDeN、UDH 和 Stable Diffusion 采用的非学习型水印上,用 COCO、ImageNet、CC 数据集验证,达到相近规避率时 WEvade 所需扰动远小于 JPEG 压缩、高斯模糊等现有后处理方法。

发表于 ACM CCS 2023 的论文提出 WEvade 攻击,通过对带水印的 AI 生成图像添加人眼难以察觉的微小扰动,使其被误判为非 AI 生成,从而规避基于水印的检测,同时保持视觉质量。方法覆盖白盒与黑盒两种威胁模型,白盒变体 WEvade-W-II 让解码水印的比特准确率接近 0.5,可同时绕过单尾检测器和作者提出的双尾检测器,黑盒变体 WEvade-B-Q 将 HopSkipJump 扩展到水印检测器,论文称攻击者只需数十次查询即可逃逸目标检测器。论文推导了各变体规避率的理论界,并在 HiDDeN、UDH 和 Stable Diffusion 采用的非学习型水印上,用 COCO、ImageNet、CC 数据集验证,达到相近规避率时 WEvade 所需扰动远小于 JPEG 压缩、高斯模糊等现有后处理方法。

推荐理由论文给出白盒与黑盒两类规避攻击的理论和实验结果,依赖水印检测 AI 生成图像的部署方案可据此评估自身鲁棒性。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者系统研究水印检测的鲁棒性,提出对抗性后处理攻击 WEvade 使带水印图像逃逸检测。

    核心问题:基于水印的 AI 生成图像检测能否被对抗性后处理绕过。

    • 场景与重要性:生成式 AI 可生成逼真图像,作者称水印检测是应对虚假信息、学术诚信等风险的关键技术,OpenAI、Google、Meta 等已承诺为生成内容加水印。
    • 现有不足:作者称 DALL-E 的可见水印可被轻易去除,非学习类水印可被 JPEG 等常见后处理去除;学习类水印被认为对后处理鲁棒,但现有研究只评估了 JPEG、高斯模糊、亮度/对比度等常见方法,对对抗性后处理的鲁棒性未被探索。
    • 核心观察:随机选取的水印与任何真实水印的位准率(bitwise accuracy)都接近 0.5,因此让解码水印接近一个随机水印即可使图像与无水印原图不可区分,无需知道真实水印。
    • 论文贡献:提出 WEvade(含 WEvade-W-I/W-II 白盒变体与 WEvade-B-S/B-Q 黑盒变体),给出逃逸率的理论分析,并提出 double-tail detector 防御简单对抗样本扩展攻击;在多个数据集和水印方法上做了实证。
    • 威胁模型:
      • 目标:把带水印图像 I_w 后处理为 I_pw,使检测器误判为 non-AI-generated,同时保持视觉质量。
      • 知识:攻击者无编码器、无真实水印 w;white-box 下可访问解码器(如 Stable Diffusion 解码器公开),black-box 下只能查询目标检测器 API 得到二值结果。
      • 能力:white-box 下分析解码器构造扰动,目标是逃逸任意阈值 τ>0.5 的检测器;black-box 下可多次查询目标检测器(作者称几十次查询即可)。
      • 受害系统:部署水印检测的服务商或第三方,含 detection-as-a-service、end-user、public、third-party 四种部署场景。
  2. 有哪些相关研究?

    相关工作分 AI 生成内容检测、水印方法、对抗样本三类;基线为 JPEG、高斯噪声、高斯模糊、亮度/对比度。

    AI 生成内容检测

    • 被动检测 [10, 22, 30, 36, 41, 46]:利用 AI 生成内容的统计痕迹区分真假。论文引用 [4, 7, 29] 称被动检测器对逃逸攻击不鲁棒。
    • 主动检测(水印) [3, 17, 24, 25, 35, 38, 43, 45, 47]:生成时嵌入水印以便未来检测。论文称近期研究 [9] 认为主动检测比被动检测更鲁棒,本文聚焦主动检测并认为其"不如先前认为的那样鲁棒"。

    图像水印方法

    • 非学习类 [3, 24, 25]:编码器/解码器基于启发式手工设计;Invisible-watermark [25] 被 Stable Diffusion 采用,基于 DWT+DCT 修改频域系数。
    • 学习类 [17, 35, 38, 43, 45, 47]:编码器/解码器为神经网络;HiDDeN [47] 将水印与图像拼接编码,UDH [43] 把水印转成 QR 码映射为秘密图像逐像素叠加。
    • 生成时嵌入 [9, 39, 42]:把编码器并入生成模型,生成图自带水印;作者称本文攻击与嵌入方式无关,对这类方法同样适用。

    对抗样本与查询攻击

    • 标准对抗样本 [34] 与 PGD [18]、对抗训练 [12]:WEvade-W-I 即把标准对抗样本直接扩展到水印解码器;论文指出这种简单扩展可被本文提出的 double-tail 检测器防御。
    • HopSkipJump [6]:hard-label 查询式对抗样本技术,WEvade-B-Q 将其扩展到水印检测器,并针对随机初始点远、扰动可能增大两个问题做了改进。

    基线与对比设置:实验中的对比后处理方法为 JPEG 压缩、Gaussian noise、Gaussian blur、Brightness/Contrast;数据集为 COCO、ImageNet、Conceptual Caption (CC)。

    作者将本文定位为:首个系统研究学习类水印检测器在对抗性后处理下鲁棒性的工作(论文表述为"bridge this gap"),并给出理论与实证分析。

  3. 论文如何解决这个问题?

    WEvade 把逃逸建模为扰动优化:白盒让解码水印接近随机水印,黑盒扩展 HopSkipJump 查询目标检测器。

    整体思路:把逃逸水印检测建模为在扰动受限下优化解码水印的分布,使后处理图像在位准率上与无水印原图不可区分;框架名为 WEvade,分 white-box(WEvade-W-I/W-II)与 black-box(WEvade-B-S/B-Q)四个变体。

    检测设定与 double-tail 检测器

    • 检测规则:图像 I 被判为 AI 生成当且仅当解码水印与真实水印 w 的位准率 BA(D(I), w) > τ(single-tail);原图位准率服从二项分布 B(n,0.5)/n,可解析计算 FPR 并据此选阈值 τ。
    • double-tail detector(本文提出):当 BA(D(I), w) > τ 或 < 1−τ 时判为 AI 生成,用于防御把位准率压到接近 0 的简单对抗样本攻击;n=256、η=10⁻⁴ 时 τ≥τ*≈0.621(single-tail 为 ≈0.613)。

    白盒攻击 WEvade-W-I 与 WEvade-W-II

    • WEvade-W-I:直接扩展标准对抗样本,求扰动 δ 使解码水印每一位翻转,即 D(Iw+δ) = ¬ D(Iw),用 ℓ2、ℓ1、负余弦相似度或交叉熵作损失,对解码器倒数第二层连续输出求梯度。
    • WEvade-W-II:新优化问题,让解码水印接近一个均匀随机选取的目标水印 w_t:minδ   l(D(Iw+δ), wt),约束 ||δ||∞≤r 且 BA(D(I_w+δ), w_t) ≥ 1−ε;由于 w_t 与任何真实水印的位准率都接近 0.5,后处理图像可同时逃逸 single-tail 与 double-tail 检测器。

    求解算法

    • PGD + 二分搜索:给定扰动界 r 用 PGD 迭代求解(δ 初始为 0,按学习率 α 沿负梯度更新并投影回 ℓ∞ 球),满足约束即早停;再在 r 上二分搜索最小可行扰动,区间初始 [0, 2],终止条件 r_b−r_a≤0.001(Algorithm 1、2)。
    • 参数:max_iter=5,000;HiDDeN 用 α=0.1、UDH 用 α=1(因 UDH 水印更长);WEvade-W-II 默认 ε=0.01,默认损失为 ℓ2。

    黑盒攻击 WEvade-B-S 与 WEvade-B-Q

    • WEvade-B-S(surrogate-model-based):攻击者用自己的图像训练代理编码器/解码器,再用 WEvade-W-II 基于代理解码器构造扰动;不依赖目标检测器信息,同一扰动可用于所有检测器。
    • WEvade-B-Q(query-based):把逃逸视为对目标检测器(二分类器、hard-label)的对抗样本搜索,扩展 HopSkipJump:1) 用 JPEG 压缩版(质量因子 Q 依次取 [99, 90, 70, 50, 30, 10, 1])作为初始 I_pw,找不到可逃逸的压缩版才退回随机初始化;2) 当扰动在连续 ES 次迭代中增大时早停。默认查询预算 2,000、ES=5(Algorithm 3)。

    理论分析

    • Theorem 1:WEvade-W-I 对 single-tail 检测器逃逸率为 1,对 double-tail 检测器逃逸率为 0。
    • Theorem 2、3:WEvade-W-II 对 single-tail/double-tail 的逃逸率下界分别为 P(⌊(τ−ε)n⌋) 与 2P(⌊(τ−ε)n⌋)−1,P 为 B(n,0.5) 的累积分布函数。
    • Theorem 4:基于 (β,γ)-similar 定义给出 WEvade-B-S 逃逸率下界;WEvade-B-Q 因始终保证 I_pw 逃逸,逃逸率为 1(仅针对被查询的目标检测器)。
  4. 论文做了哪些实验?

    在 COCO/ImageNet/CC 上以 HiDDeN、UDH 为目标评估四个变体,并攻击 Stable Diffusion 的真实检测器。

    实验设置

    • 被测水印方法(target):HiDDeN(30 位水印,像素归一化到 [-1,1])与 UDH(256 位水印,归一化到 [0,1]),均含标准训练与对抗训练两种;另攻击 Stable Diffusion 的非学习类水印检测器(136 位水印,checkpoint sd-v1-1.ckpt)。
    • 数据集:COCO、ImageNet、Conceptual Caption (CC);每个数据集随机取 10,000 张训练编码器/解码器,随机取 100 张测试图嵌入水印评估,图像统一缩放到 128×128。
    • 基线后处理方法:JPEG(质量因子 Q)、Gaussian noise(σ)、Gaussian blur(核 s=5,变 σ)、Brightness/Contrast(b=0.2,变 a)。
    • 指标:bitwise accuracy、evasion rate(100 张后处理图中逃逸比例)、average perturbation(ℓ∞ 范数;HiDDeN 的扰动除以 2 以对齐 [0,255] 量程,0.02 对应每像素最多改 5);部分实验用 ℓ2 范数与 SSIM。
    • 比较协议:对每个阈值 τ,调节基线方法参数使其逃逸率与 WEvade 相差 1% 以内,再比较平均扰动;默认设置为 COCO + HiDDeN + double-tail 检测器。
    • 判定方式:检测为规则判定(位准率与阈值比较),无 LLM 或人工评审;论文未报告重复实验次数。

    主结果

    论文主结果以图呈现(Figure 6、7、12),无汇总数字表;下表整理正文明确给出的数字。

    表格较宽,可左右滑动

    设置方法逃逸率平均扰动出处
    白盒,HiDDeN,COCOWEvade-W-I vs single-tail1很小(Figure 21)7.3 节
    白盒,HiDDeN,COCOWEvade-W-I vs double-tail0很小(Figure 21)7.3 节
    黑盒,HiDDeN,三数据集WEvade-B-Q恒为 1随 τ 减小而增大(Figure 12)7.4 节
    黑盒,HiDDeN,COCO,预算 30WEvade-B-Q10.0327.4 节
    黑盒,HiDDeN,COCOJPEG / GN / GB / B/C接近 10.211 / 0.109 / 0.395 / 0.4397.4 节
    • 作者称 WEvade-W-II 的经验逃逸率接近理论下界(Figure 6),且达到相同逃逸率所需扰动远小于现有方法(Figure 7,log10 扰动轴上 WEvade-W-II 曲线最低)。
    • 作者报告,当现有方法的平均扰动被限制到不超过 WEvade-W-II 时,它们的逃逸率全为 0。
    • 作者称 WEvade-B-S 的逃逸率随 τ 减小而降至 0,原因是代理解码器与目标解码器输出水印不相似(Figure 12)。

    无攻击时的检测精度

    • 测了什么:single-tail 与 double-tail 检测器在无攻击下的 FPR 与 FNR(Figure 4、19、20)。
    • 结果:HiDDeN 在 τ∈[0.7, 0.95]、UDH 在 τ∈[0.6, 0.99] 时两种检测器的 FPR 与 FNR 在三个数据集上都接近 0;经验 FPR 与理论曲线接近但不完全重合(只用了一个随机真实水印估计)。
    • 作者解读:UDH 可用阈值区间更宽是因为水印更长(256 vs. 30 位);相同 τ 下 double-tail 的 FPR 高于 single-tail,τ 小(如 0.55)时更明显。

    对抗训练下的鲁棒性

    • 测了什么:编码器/解码器经对抗训练(训练时随机采样后处理方法,含 WEvade-W-II)后,WEvade-W-II 的逃逸率与扰动(Figure 11、25)。
    • 结果:WEvade-W-II 对两种训练的逃逸率相同,但对抗训练下所需平均扰动更大;Figure 25 报告对抗训练后平均位准率约 0.87,τ=0.95 时经验 FNR 为 99.6%,此时现有方法对大部分图不加扰动(扰动计为 0),τ<0.9 时它们需要更大扰动。
    • 作者解读:对抗训练提升鲁棒性但仍不足——WEvade-W-II 的扰动依然小、视觉质量保持好(Figure 1 示例),且仍优于现有后处理方法。

    攻击 Stable Diffusion 检测器

    • 测了什么:100 张 Stable Diffusion 默认设置生成的水印图,用 JPEG 与 WEvade-B-Q 攻击其非学习类水印检测器(Figure 16、17)。
    • 结果:解码器对全部 100 张原水印图解码出完全正确的水印;JPEG 在 Q≈80 时平均位准率已降到约 0.5;WEvade-B-Q 逃逸 double-tail 检测器(τ=0.66,对应 FPR=10⁻⁴)的扰动远小于 JPEG。
    • 作者解读:JPEG 与 WEvade-B-Q 都能在不牺牲图像质量的情况下逃逸 Stable Diffusion 的检测器。

    其他消融与分析

    • 损失函数(Figure 8):ℓ2、ℓ1、负余弦、交叉熵结果相当,ℓ2 与负余弦扰动略小。
    • ε 的影响(Figure 9):ε 增大则扰动减小但逃逸率下降,呈权衡。
    • 水印长度 n(Figure 10):理论下界随 n 增大而升高(ε=0.01,τ 取 0.6–0.9)。
    • 查询预算(Figure 13a):WEvade-B-Q 平均扰动随预算增加而下降,预算 30 时已较小(COCO 上 0.032)。
    • single-tail vs double-tail(Figure 13b):WEvade-B-Q 对两种检测器扰动相近,逃逸率恒为 1。
    • 初始化与早停(Figure 27):JPEG 初始化与早停对 WEvade-B-Q 均有贡献;对 HiDDeN,WEvade-B-Q 与 HopSkipJump 扰动相当,作者称因 30 位水印决策边界更简单。
  5. 有什么可以进一步探索的点?

    作者指出扰动度量与可证明鲁棒性两类局限,并把文本水印列为未来方向;实验仅覆盖图像场景。

    作者指出的局限与后续方向

    • 扰动度量是近似的(第 8 节):作者承认 ℓp 范数与 SSIM 只是扰动对视觉质量影响的近似度量,引用前人工作称小 ℓp 范数既非充分也非必要条件;探索面向生成式 AI 领域的其他度量是未来工作。
    • 缺乏可证明鲁棒性(第 8、9 节):作者指出现有水印方法没有可证明的鲁棒性保证,这是检测器可被逃逸的根本原因;构建有 provable robustness guarantees 的水印方法是未来方向。
    • 文本水印泛化(第 8 节):作者认为对抗性后处理的思路可能泛化到文本水印,猜测学习类文本水印经对抗训练可能对常见后处理更鲁棒,并把验证这一点及把 WEvade 扩展到文本水印列为未来工作。
    • 黑盒查询成本(第 7.4 节):作者承认 WEvade-B-Q 需对每张水印图单独查询,攻击大量图像时总查询数可能很大;作者认为在针对少量图像的高价值攻击中可接受。

    实验覆盖范围

    • 被测对象:学习类水印 HiDDeN(30 位)与 UDH(256 位),含标准训练与对抗训练;另有 Stable Diffusion 的非学习类水印检测器(100 张生成图)。
    • 数据集与规模:COCO、ImageNet、CC 三个数据集,每个 10,000 张训练、100 张测试,图像 128×128。
    • 对比方法:JPEG、Gaussian noise、Gaussian blur、Brightness/Contrast 四种后处理;黑盒下与 HopSkipJump 比较。
    • 评测方式:检测判定为位准率阈值规则,无人工或 LLM 评审;论文未报告重复实验次数与方差。
    • 覆盖场景:white-box(任意 τ>0.5)与 black-box(特定目标检测器,默认查询预算 2,000);论文未报告对生成时嵌入水印的方法(如 Stable Signature [9])做端到端实验,只论证攻击与其嵌入方式无关。
  6. 总结一下论文的主要内容

    WEvade 通过微小对抗扰动使带水印图像逃逸检测,理论与实证均显示现有水印检测不如此前认为的鲁棒。

    这是一篇攻击水印检测的论文(CCS '23):研究基于水印的 AI 生成图像检测在对抗性后处理下的鲁棒性。

    • 问题:学习类水印被认为对常见后处理鲁棒,但其对对抗性后处理的鲁棒性未被探索;作者称 DALL-E 可见水印与 Stable Diffusion 非学习水印都可被简单方法去除。
    • 方法:提出 WEvade。白盒变体 WEvade-W-II 把扰动优化为让解码水印接近一个随机选取的目标水印(位准率约 0.5),用 PGD 加二分搜索求最小扰动;黑盒变体 WEvade-B-Q 扩展 HopSkipJump,用 JPEG 压缩初始化并在扰动增大时早停。论文同时提出 double-tail 检测器,可防御直接翻转水印位的简单攻击(WEvade-W-I)。
    • 理论结果:WEvade-W-I 对 single-tail 逃逸率为 1、对 double-tail 为 0(Theorem 1);WEvade-W-II 逃逸率有二项分布下界(Theorem 2、3);WEvade-B-Q 逃逸率为 1。
    • 实证结果:在 COCO/ImageNet/CC 上以 HiDDeN、UDH 为目标,WEvade-W-II 逃逸率接近理论下界且扰动远小于 JPEG 等方法(现有方法扰动降到同等水平时逃逸率为 0);WEvade-B-Q 在查询预算 30 时 COCO 上平均扰动 0.032,而 JPEG 等方法达接近 1 逃逸率需 0.109–0.439;对 Stable Diffusion 真实检测器,JPEG(Q≈80)与 WEvade-B-Q 均可逃逸。
    • 作者结论:水印检测"不如此前认为的那样鲁棒",对抗训练能提升鲁棒性但仍不足;作者认为未来方向是构建有可证明鲁棒性保证的水印方法,并将攻击思路泛化到文本水印。

相关论文

共同使用 COCO
再看 3 篇
共同使用 COCO
共同使用 ImageNet
阅读原文CCS 2023