RA-Det：利用鲁棒性不对称检测 AI 生成图像

外观线索减弱后，用扰动下的表示稳定性而非外观痕迹检测合成图。

• 场景：作者称生成模型与便捷平台能产出超真实图像，出现 seeing is no longer believing；误用包括虚假信息、身份伪造和不当内容，因此检测更关键。
• 现有不足：表示驱动方法使用 CLIP、DINOv2 或视觉语言模型嵌入；痕迹方法针对频率异常、解码残差、上采样或局部像素结构。作者称二者都把信号放在外观上，JPEG 或模糊下变脆弱，现代扩散与 rectified-flow 模型还会抑制结构痕迹。
• 观察：小的、语义保持的扰动下，自然图像深度表示更稳，合成图像特征漂移更大。作者称之为 robustness asymmetry，并给出与生成模型记忆化相联系的下界，用来解释该现象跨架构出现。
• 方法：提出行为驱动框架 RA-Det，把该不对称做成检测信号。作者称其与数据和模型无关，不需要生成器指纹，并可迁移到未见生成器。
• 威胁模型：
  • 目标：把图像判为真实或合成，并在训练时未见的生成器上泛化。
  • 知识：作者称协议模拟 real-world black-box detection：训练限制于一个生成模型，评测在未见模型上进行；不使用 generator fingerprints，基础编码器冻结。
  • 能力：检测器可对输入施加有界扰动，并比较扰动前后嵌入。论文未写检测器能读取生成器权重或训练数据。
  • 受害系统：作者称逼真合成内容会削弱下游识别系统的可靠性，并可能用于虚假信息、身份伪造和不当内容传播。

论文把已有检测分成两类，并在实验中与命名基线比较。

表示驱动检测

• UniFD（Ojha et al., 2023）：直接分类 CLIP 嵌入，利用骨干中的语义与结构先验做跨生成器泛化。
• 后续适配：C2P-CLIP（Tan et al., 2025）用跨视图提示与多视角一致性；LASTED（Wu et al., 2025）用文本监督细化多模态表示；LVLM 检测器（Yu et al., 2025）用大视觉语言模型做可解释检测。Related Work 只描述其受益于基础模型的域覆盖与不变性，未逐篇写与本文的数值对比。

痕迹驱动取证

• 频率与梯度：Frank et al.（2020）看 DCT 或傅里叶谱异常；LGrad（Tan et al., 2023）看局部边缘结构中的梯度不一致。
• 上采样与解码：NPR（Tan et al., 2024）与 FerretNet（Liang et al., 2026）建模局部像素关系及解码器引起的相关。
• 重建误差：DIRE（Wang et al., 2023）与 DRCT（Chen et al., 2024）用重建误差暴露合成内容不一致。作者称这类方法轻量、可解释，但性能常依赖结构痕迹是否保留，而现代扩散与 rectified-flow 模型越来越抑制这些痕迹。

从外观到行为

• 论文定位：两类方法都利用外观层线索；作者称生成器减少痕迹、更接近自然统计后，这些线索的效果下降。本文改为看图像在结构化扰动下如何表现。

基线与基准

• 基线：GAN-specific 为 FreDect、LGrad；diffusion-specific 为 DIRE-G、DIRE-D、DNF；universal 为 CNNSpot、GramNet、UniFD、NPR、RIGID、FerretNet。实验中作者把 RIGID 称为同样利用 robustness gap 的行为基线，并比较学习到的差异特征与基于阈值的评分。
• 基准：主协议跟随 Wang et al. 的单生成器训练、未见模型测试，测试集来自 Zhong et al.（2024）/ PatchCraft；指标为 ACC 与 AP。

作者把本文与上述工作的区别放在“从外观到行为”：用可控扰动下的表示稳定性，而不是可见痕迹，作为检测线索。

RA-Det 在冻结基础模型空间里学习有界扰动，把干净图与扰动图的嵌入差、语义嵌入和像素残差交给多分支检测器。Figure 3 分为探测、多分支检测和对比损失三阶段。

设定与下界

• 符号：输入为 x，标签 y∈{0,1}。冻结编码器 f 给出 e=f(x)。探测模块 P 产生有界扰动 δ，得到扰动图及其嵌入 e′。
• 探测式：论文把扰动写成 x′ = P(x) = x + δ，即在原图上叠加有界扰动，而不是替换图像内容。
• 记忆化联系：特征位移 Shift 是小的各向同性探针下嵌入差平方范数的期望。SIDE 记忆化散度 M 是训练邻域混合分布对生成分布的 KL 散度，越小表示记忆越强。Assumption 4.1 假设编码器沿流形切向更不敏感、沿法向更敏感。Lemma 4.2 称足够小半径内 Jacobian energy 的差 Δ 有正下界。Theorem 4.3 称生成分布相对真实分布的期望位移差，其下界随 M 减小而变大，并含 O(ε⁴) 余项；式 (13) 给出系数。作者据此称记忆化越强，小噪声区间的不对称越大。证明在附录 D。

Differential Robustness Probing

• 目的：DRP 学习受控扰动，以放大真实图与合成图可观察的稳健性差异。作者写明其目的不是攻击或欺骗检测器。
• 结构：条件 UNet 预测逐像素扰动图。编码器多级下采样；干净嵌入投影为空间特征图做条件；瓶颈用 cross-attention 融合；解码器上采样并使用跳跃连接；输出头经 tanh 再乘 ε，限制幅度。论文未给出 ε 的数值。
• 训练约束：关闭 JPEG 与模糊增强，使不对称只来自探测模块。

差异特征与三分支

• 差异量：计算嵌入距离 d、差向量 Δ=e−e′，以及余弦相似度 s。可选的对角协方差近似 DCA 只保留对角项；作者称消融中非对角项贡献可忽略，正文未给出该项单独数字。
• 三支：语义支用冻结嵌入加轻量分类头。差异支用两个 MLP，分别接收 d 与 Δ。低层残差支用核大小为 3 的中值滤波得到 x̃，残差 r=x−x̃，再由从头训练的轻量 CNN 处理。各支输出 logit 后聚合；Figure 3 标为 Ensemble Logits 再经 Sigmoid。论文未写聚合的具体算子。
• Figure 2：横轴为 Cosine Similarity，标注从 0.850 到 1.000。作者称真实图的干净–扰动相似度高于合成图，且 DINOv3 ViT-L/16 与 CLIP ViT-L/14 上都保持分离。正文未给出密度峰值。

训练目标与实现

• 损失：总损失为二元交叉熵加稳健性项。后者为 L_ra = ReLU((s_fake − s_real) + γ)，惩罚批内平均相似度违反 s_real ≥ s_fake + γ。默认 γ=0.1。批内真实样本 yi=1，合成样本 yi=0。Figure 3 图注写的是特征位移之间的间隔，损失式则作用在余弦相似度上。
• 实现：PyTorch，骨干为 DINOv3 ViT-L/16。图像先缩放到 256×256；训练随机裁到 224×224，测试用中心裁剪。扰动生成器与检测头训练 10 个 epoch，Adam，初始学习率 1×10⁻⁵，批大小 32，八张 NVIDIA H200。

判定

• 指标：跟随 PatchCraft，用 ACC 与 AP。论文未写 ACC 的决策阈值，也未使用 LLM 评审或人工一致性。

实验设置

• 训练：主实验只用 ProGAN 合成图。正文为 360k 真实图加 360k ProGAN 图；附录 A 写真实图来自 LSUN。训练 10 个 epoch，Adam，学习率 1×10⁻⁵，批大小 32，八张 H200。JPEG 与模糊增强关闭。
• 主测试：Zhong et al.（2024）提供的 ProGAN 与 15 个未见生成器，即 Table 1 的 16 个，含人脸与其他语义。摘要写的是 14 个生成模型和 10 个以上检测器。
• 近期生成器：附录 Table 4 另报 SDXL、SDv3.5、FLUX、FLUX1-dev、MJ-v6、Infinity、VAR。
• 基线：GAN-specific 为 FreDect、LGrad；diffusion-specific 为 DIRE-G、DIRE-D、DNF；universal 为 CNNSpot、GramNet、UniFD、NPR、RIGID、FerretNet。DIRE-D 与 DNF 在 ADM 上训练，DIRE-G 与其余多数方法用 ProGAN。
• 指标与骨干：ACC、AP，协议来自 PatchCraft。主骨干 DINOv3 ViT-L/16，消融含 CLIP ViT-L/14。论文未写决策阈值、重复次数和每个生成器的测试条数，也未使用 LLM 评审。

主结果

Table 1 为 16 个生成器上的平均 ACC/AP。下表列 8 个检测器；省略 LGrad（75.34/84.35）、DIRE-G（68.68/74.13）、DNF（77.75/68.69）、CNNSpot（68.38/76.39）。

Swipe horizontally to read the table

检测器	平均ACC(%)	平均AP(%)	训练侧（据 Table 1 说明）
FreDect	64.03	68.28	GAN detector
GramNet	67.58	76.93	universal
DIRE-D	71.53	75.87	假图来自 ADM
RIGID	77.17	82.38	作者称为行为基线
UniFD	78.00	89.73	universal
NPR	80.55	84.05	universal
FerretNet	85.66	90.43	universal
RA-Det	93.47	97.00	与多数方法同为 ProGAN 训练

• 作者称 RA-Det 平均最好，相对最强 universal 基线 FerretNet 有优势；摘要写平均性能提升 7.81%，与 Table 1 中二者平均 ACC 之差一致（93.47 与 85.66）。论文未把 7.81% 写成 AP 差。作者称 Fig. 4 的雷达图更大、更均衡；逐生成器数字以 Table 1 为准。
• Table 1 中 RA-Det 不是每行 ACC 最高。whichfaceisreal 为 72.20/81.13，低于 RIGID 的 88.40/95.06 和 UniFD 的 86.90/96.73。ADM 上 DIRE-D 为 98.25/99.79，高于 RA-Det 的 88.89/95.07。Midjourney 上 DIRE-D 为 89.45/97.32、DNF 的 ACC 为 87.32，均高于 RA-Det 的 80.04；DNF 的 AP 为 68.09，低于 87.53。StyleGAN 上 NPR 为 96.06/99.78，高于 94.98/98.90；CycleGAN 上 UniFD 为 98.33/99.80，高于 96.52/99.47；DALLE2 上 FerretNet 为 94.95/98.82，高于 94.30/98.14。
• 作者称相对 RIGID，学习到的差异建模比基于阈值的稳健性评分更有效，平均 ACC/AP 从 77.17/82.38 到 93.47/97.00。

训练源与近期生成器

• 三种训练源：Table 2 中 Setting I（仅 ProGAN）平均 ACC/AP 为 93.47/97.00，Setting II（仅 SDv1.4）为 92.70/96.99，Setting III（ProGAN+SDv1.4）为 93.33/96.69。作者称三种设置接近，线索不特定于 ProGAN 或 GAN。
• 样本量：附录 A 写 Setting I 为 LSUN 360K 真实图加 ProGAN 360K；Setting II 为 LSUN 52,922 真实图加 AIGIBench 的 SDv1.4 假图 72,000；Setting III 两边各 72,000，假图来自 ProGAN 与该 SDv1.4 子集。
• 近期生成器：Table 4 Setting I 的 ACC/AP 中，SDXL 为 96.29/91.34，SDv3.5 为 75.61/81.65，FLUX 为 57.19/61.50，FLUX1-dev 为 80.58/88.40，MJ-v6 为 74.97/70.93，Infinity 为 88.32/80.09，VAR 为 91.63/84.16。Setting II 中 FLUX 升至 85.35/91.01，Infinity 为 97.08/99.51，VAR 为 79.60/88.75。Setting III 中 FLUX 为 62.72/55.80。作者称扩散源训练可提高若干扩散与近期生成器上的表现；表中 VAR 的 ACC 在 Setting II 低于 Setting I。Table 4 末列与 Table 1 的 16 生成器平均相同，不宜把它当成含近期模型的总平均。

常见后处理与计算开销

• 后处理：Figure 5 比较 JPEG（QF=95、90、85）和 Gaussian blur（σ=0.8、1.0、1.5），对照 UniFD、NPR、FerretNet。图注称 RA-Det 的 ACC 与 AP 最高，痕迹方法下降更明显，UniFD 比痕迹基线更稳但仍低于 RA-Det。正文未给出各点数值。
• 开销：Table 5 中 RA-Det 为 281.48 G FLOPs、378.12 M 参数、峰值显存 1962.00 MB、25.14 ms/张；UniFD 为 16.49 ms，C2P-CLIP 为 21.64 ms。作者称额外开销主要来自基础特征之上的主动探测，运行时间仍处中等范围。

下界的经验检查

• 训练阶段：附录 D 在 CelebA-HQ 上训练约 5000 万参数的 DDPM，检查点覆盖 200 到 5200 epoch，编码器为 ViT-B/32、ViT-B/16、ViT-L/14、DINOv2-ViT-B/14。作者称 ε∈[3, 10] 时差异位移上升，超过转折点后下降，呈倒 U 或 S 形；Figure 6 未在正文给出端点数值。作者写明不把 epoch 当作 SIDE 散度的已验证单调代理；图注则写更大 epoch 对应更强记忆和更大的小 ε 差异。
• AMS：Table 6 用 SIDE 的 Average Memorization Score 对小 ε 差异做线性回归。四套编码器斜率均为正：ViT-B/32 为 0.118（R² 0.66），ViT-B/16 为 0.129（0.59），ViT-L/14 为 0.106（0.73），DINOv2-B/14 为 0.0241（0.64）。作者称更高的直接记忆化度量对应更大的特征位移差。

其他消融与分析

• 骨干：换成 CLIP ViT-L/14 后 ACC/AP 为 91.85/95.00（Table 3）。作者称线索不限于单一表示空间，DINOv3 在该表中更高。
• 损失：去掉 L_ra、只留 BCE 时为 90.86/95.26。
• 探测：DRP 换高斯噪声、高斯模糊、resize residual，分别为 86.11/91.71、87.07/91.42、86.59/90.83，均低于学习到的 DRP。
• 间隔：γ=0.1、0.25、0.5、1.0、2.0 时 ACC/AP 为 93.47/97.00、90.96/95.07、92.67/96.23、93.47/97.02、92.31/96.16。γ=1.0 的 AP 为 97.02，ACC 与默认相同。作者称默认值与表中最高结果接近，方法对该超参不敏感。
• 分支：去掉语义、差异、残差支分别为 90.34/95.43、85.73/91.52、88.62/94.26；中值滤波换高斯滤波为 90.58/95.63。作者称差异支最关键，与该支降幅最大一致。
• DIRE 的格式偏差：附录 C 作者称 DIRE 在扩散图上的高分很大程度上来自合成图 PNG、真实图 JPEG 等格式偏差；拉平格式后性能下降、跨生成器迁移变差。论文未给出下降后的数字。

作者指出的局限与后续方向

• 更多扰动形式：论文没有单独的 Limitations 节。Conclusion 写明后续工作将考察真实图与合成图的稳健性差异是否是更一般的现象，并延伸到更多扰动形式，例如 adversarial attacks。

实验覆盖范围

• 主协议：训练为 360k 真实图加 360k ProGAN 合成图；附录 A 写 Setting I 的真实图来自 LSUN。测试为 Table 1 的 16 个生成器，指标为 ACC 与 AP。
• 对照检测器：FreDect、LGrad、DIRE-G、DIRE-D、DNF、CNNSpot、GramNet、UniFD、NPR、RIGID、FerretNet。其中 DIRE-D 与 DNF 使用 ADM 训练。
• 训练源与近期模型：Table 2 含 ProGAN、SDv1.4、二者混合三种训练源。Table 4 另报 SDXL、SDv3.5、FLUX、FLUX1-dev、MJ-v6、Infinity、VAR。
• 后处理与开销：后处理为 JPEG（QF=95、90、85）和 Gaussian blur（σ=0.8、1.0、1.5），对照 UniFD、NPR、FerretNet；Figure 5 正文未给出各点数值。Table 5 报告 FLOPs、参数量、峰值显存和单张时间。
• 论文未报告的量：每个生成器的测试条数、重复次数、扰动幅度 ε 的取值，以及 adversarial attacks 下的检测数字。该攻击形式出现在 Conclusion 的后续计划中。附录 D 的下界检查使用 CelebA-HQ 上的 DDPM 和四套冻结编码器。

RA-Det 是合成图像检测器，用扰动下的表示稳定性差异代替外观痕迹。

• 问题：作者称照片级生成图让频率、残差和高层嵌入等外观线索变弱，尤其经过 JPEG、模糊，或遇到未见生成器时。检测设定被作者称为 real-world black-box detection：只用一个生成模型训练，在未见模型上判别真伪，且不使用生成器指纹。
• 方法：冻结 DINOv3 ViT-L/16，用条件 UNet 产生经 tanh 与 ε 限制的扰动，比较干净与扰动嵌入的距离和差向量，并加入语义头与核大小为 3 的中值滤波残差。损失是二元交叉熵加间隔 0.1 的对比项，作用在批内余弦相似度上。理论节把小噪声下的期望位移差下界与 SIDE 记忆化散度联系起来，散度越小，下界越大。
• 主结果：Table 1 中，ProGAN 训练后 16 个生成器的平均 ACC/AP 为 93.47%/97.00%；FerretNet 为 85.66%/90.43%，RIGID 为 77.17%/82.38%。摘要称平均性能提升 7.81%，与相对 FerretNet 的平均 ACC 之差一致。
• 例外：whichfaceisreal 上 RA-Det 的 ACC 为 72.20%，低于 RIGID 的 88.40%。ADM 上 DIRE-D 为 98.25/99.79，高于 RA-Det 的 88.89/95.07。附录 Table 4 在仅 ProGAN 训练时，FLUX 的 ACC/AP 为 57.19/61.50。
• 作者结论：作者称该不对称是跨架构可迁移的检测线索，探测能把它变成检测器；后处理实验的图注称 JPEG 与模糊下 RA-Det 仍高于所列对照，但正文未给出图中各点数值。Conclusion 计划检验该差异能否延伸到对抗扰动等更多扰动。Table 5 中单张推理时间为 25.14 ms。