SAMP:面向鲁棒扩散水印的自适应边际优先化框架
SAMP: Self-Adaptive Margin Prioritization For Robust Diffusion Watermarking
作者提出扩散水印框架 SAMP,自适应调节嵌入强度与维度优先级,称平均 M-ACC 0.993、LPIPS 较 GROW 降 47.1%。
防御方在扩散模型去噪过程中嵌入水印,用于来源追踪与真实性验证;鲁棒性针对图像变换(JPEG、噪声、模糊、裁剪、旋转、亮度)与扩散再生(regeneration)等攻击评测,论文未明确刻画攻击者知识与能力。
- 扩散模型让伪造图像更易生成,来源追踪困难。现有水印方法嵌入强度固定或对各维度一视同仁,作者认为这会引入多余失真且对脆弱维度加固不足。
- SAMP 在去噪后段嵌入水印:全局边际调节按目标码字与竞争码字的间隔及攻击代理扰动决定嵌入强度,脆弱性敏感分配按各编码位对局部扰动的敏感度调整优化权重。
- 在 Stable Diffusion 2.1、两个数据集上,SAMP 平均 M-ACC 0.993,PSNR 31.98 dB,作者称较 GROW 的 LPIPS 降 47.1%;提取仅需单次 VAE 编码,0.050 s/张。
- 论文未专门讨论局限。实验仅在 Stable Diffusion 2.1 上进行,每数据集 5,000 条提示词,未报告重复次数与统计检验。
- 被测模型
- Stable Diffusion 2.1
- 基准
- Stable-Diffusion-PromptsMS-COCO
- 指标
- M-ACCPSNRSSIMLPIPSFID
SAMP 是一个面向扩散模型鲁棒水印的自适应框架,包含全局边际调节与脆弱性敏感分配两个机制。前者根据目标码字与竞争码字的分离度及常见攻击的估计影响调整嵌入强度,后者给易被局部扰动削弱的水印维度更高优化优先级。实验显示 SAMP 平均信息恢复准确率达 0.993,较最先进方法 PSNR 提升 16.8%、LPIPS 降低 47.1%。
深度解读
这篇论文试图解决什么问题?
作者针对扩散水印嵌入强度固定、维度同等对待的问题,提出自适应框架 SAMP。
核心问题:现有扩散水印在去噪过程中嵌入强度固定、对各水印维度同等对待,导致失真与鲁棒性难以兼顾。
- 场景与动机:扩散模型降低了伪造视觉内容的门槛,作者认为数字水印可直接关联来源信息,支持来源追踪与真实性验证。
- 现有方法不足:作者称,已有方法在整个去噪过程使用固定嵌入强度,或对所有水印维度一视同仁;某些维度已可靠时会引入不必要失真,而对后续扰动更脆弱的维度又加固不足。
- 核心观察:作者认为鲁棒水印需要同时自适应去噪过程中的嵌入强度、以及跨水印维度的优化优先级。
- 论文方案:提出 SAMP 框架,包含全局边际调节(按目标码字与竞争码字的间隔及攻击代理扰动估计调节嵌入强度)与脆弱性敏感分配(给易被局部扰动削弱的维度更高优化优先级)。
- 威胁模型:
- 防御方目标:在扩散模型生成过程中嵌入水印,使之后能从图像恢复秘密消息。
- 评测的攻击:图像变换(JPEG 压缩、高斯噪声、模糊、裁剪、旋转、亮度调整)与基于扩散的再生(regeneration)。
- 受害系统:Stable Diffusion 2.1 文生图管线。
- 攻击者知识与能力:论文未明确刻画。
有哪些相关研究?
论文将相关工作分为初始隐状态嵌入与去噪轨迹嵌入两类,并以五种方法为基线。
初始隐状态嵌入
- Tree Ring [1](2023)——在初始噪声中引入结构化 Fourier 模式用于水印验证。
- Gaussian Shading [2](2024)——将水印编码进隐表示并保持原隐分布;RingID [3](2024)扩展到多通道识别。
- WIND [4] 与 PRC [5](均 ICLR 2025)——探索提升鲁棒性与生成质量的隐空间嵌入策略。
去噪轨迹嵌入
- LFLDW [6](ICASSP 2025)——在中间去噪步向选定的隐频率分量注入水印信号。
- GROW [7](CVPR 2026)——跨多个去噪步渐进引导预测的干净隐状态。
- 论文指出这类轨迹方法仍依赖预定义嵌入策略,不能按当前水印可靠性调节干预强度,也不能优先处理更脆弱的维度。
基线与基准:基线为 Tree-Ring、Gaussian Shading、RingID、WIND、GROW 五种方法;评测数据集为 Stable-Diffusion-Prompts 与 MS-COCO(各随机选 5,000 条文本)。
作者将 SAMP 定位为对轨迹式方法的改进:在去噪过程中按码字间隔与维度敏感度动态控制嵌入,而非使用预定义策略。
论文如何解决这个问题?
SAMP 在去噪后段按码字间隔调节嵌入强度、按维度敏感度分配优化权重,无需反演即可解码。
SAMP 在扩散去噪过程中自适应嵌入水印:把预测的干净隐状态映射到学习的水印坐标空间,由当前嵌入边际决定强度、由局部扰动测得的位敏感度决定方向权重,更新后的隐状态送回采样器。
水印表示与坐标映射
- 秘密信息 m(L=16 bit)经纠错编码器映为双极性码字 b(Lc=32,RM(2,5));密钥相关的水印基 W 的列被正交化并固定。
- 离线训练非线性坐标映射 hϕ:复合目标 Loff = Lcode + λpair·Lpair + λc·Lprobe + λpers·Lpers,分别约束码字恢复、跨载体一致性、载体信息抑制与扰动下坐标稳定;训练含裁剪与缩放扰动,训练后 hϕ 冻结。
- 第 i 位的嵌入边际 qi(z)=bi·ui,正号表示目标符号正确。
全局边际调节
- 每步计算目标码字与最强竞争码字的间隔 Gcode,t,并取其在轻量代理扰动下的最小值 Gproxy,t,得保守边际 Gt 与鲁棒缺口 Rt=[gsafe−Gt]+。
- 用小方向位移加半径保持投影估计修改成本 Ct 并归一化;步进强度 ηt = ηteff·σ(λQ·Rt − C̄t),即边际不足时加强、修改代价高时抑制。
脆弱性敏感分配
- 将水印基扰动为 Wk = W + UAk(U 与 W 正交),K=2 次扰动,每 5 步探测一次;各位敏感度 vi,t 为扰动前后边际差的平均,越大越脆弱。
- 权重经状态变量在线更新:wt = Clip(softmax(Bθt+1));对加权损失求梯度得归一化写入方向,再按 ηt 缩放并经半径保持投影得到更新后的干净隐状态。
嵌入设置与解码
- 在 50 步 DDIM 的最后 Te=25 步嵌入;γt 从 0.10 线性升到 1.00,温度 τ=1;hϕ 用 2,000 个缓存隐状态预训练(Adam 5,000 步,lr=1e-4),再经裁剪-缩放微调 3,000 步(lr=2e-5)。
- 解码无需扩散反演:接收图像经一次 VAE 编码、由冻结的 hϕ 映射到坐标,取匹配分数最高的合法码字解码。
论文做了哪些实验?
在 SD 2.1、两个数据集上对比五种基线,SAMP 平均 M-ACC 0.993、PSNR 31.98 dB,并做了开销与消融。
实验设置
- 被测对象:Stable Diffusion 2.1,512×512 分辨率,50 步 DDIM,guidance scale 7.5。
- 数据集:Stable-Diffusion-Prompts 与 MS-COCO,各随机选 5,000 条文本,不做修改。
- 基线:Tree-Ring、Gaussian Shading、RingID、WIND、GROW,同一实验设置、相同提示词与初始隐状态。
- 指标:不可感知性用 PSNR、SSIM、LPIPS、FID(干净图像);鲁棒性用完整消息准确率 M-ACC(成功恢复消息的图像比例)。
- 攻击条件:Clean、JPEG、Noise、Blur、Crop、Rotation、Bright、Adversarial(正文称 Adversarial 为 diffusion-based regeneration)共八种。
- 重复次数与统计检验:论文未报告。
主结果
据 Table 1(Stable-Diffusion-Prompts 部分;M-ACC 为比例值):
表格较宽,可左右滑动
方法 PSNR↑ LPIPS↓ FID↓ Clean Crop Rotation Adversarial Avg. M-ACC Tree-Ring 15.96 0.473 25.69 0.98 0.06 0.03 0.72 0.576 Gaussian Shading 23.68 0.093 24.62 1.00 0.92 0.43 0.82 0.883 RingID 13.20 0.533 25.95 1.00 0.23 1.00 0.81 0.879 WIND 14.71 0.471 22.06 1.00 0.77 0.76 0.88 0.915 GROW 27.37 0.087 14.59 1.00 1.00 0.97 0.92 0.963 SAMP 31.98 0.046 9.52 1.00 1.00 0.98 0.97 0.993 - MS-COCO 上趋势一致:SAMP 平均 M-ACC 0.990、PSNR 32.18 dB、FID 8.25,GROW 为 0.980(Table 1 下半部分)。
- 作者称 SAMP 较 GROW 的 PSNR 提升 4.61 dB(16.8%)、LPIPS 降低 47.1%,再生攻击下 M-ACC 比最强基线高 5.4%。
- 例外:MS-COCO 的 Rotation 上 SAMP 为 0.96,低于 GROW 与 RingID 的 1.00;RingID 在 Stable-Diffusion-Prompts 的 Rotation 上为 1.00,高于 SAMP 的 0.98。
计算开销
- Table 2:SAMP 生成 4.35 s/张(水印开销 0.21 s),提取 0.050 s/张;GROW 提取 0.079 s,Tree-Ring 等反演式方法提取约 2.4–2.5 s。
- 作者称 SAMP 经单次 VAE 编码与冻结坐标网络直接解码,避免迭代扩散反演。
消融
- Table 3:固定嵌入 PSNR 23.40 dB、M-ACC 0.962;仅全局边际调节 32.24 dB、0.911;仅脆弱性分配 23.32 dB、0.984;完整 SAMP 31.98 dB、0.993。
- 作者解读:全局边际调节在边际足够时减少干预从而提高 PSNR,但不强化脆弱约束导致 M-ACC 降至 0.911;脆弱性分配单独提升 M-ACC 至 0.984;两者结合兼顾。
定性对比
- Figure 2 给出生成图像与残差图的定性对比(提示词为蜜蜂微距照片);作者称 SAMP 保持视觉一致、无可察觉水印痕迹。图中仅见方法名与两行图像排布,无法核对具体差异。
有什么可以进一步探索的点?
论文未专门讨论局限;实验仅覆盖 SD 2.1、两个数据集与八种攻击条件。
作者指出的局限与后续方向
- 论文未专门讨论局限,也没有 Limitations 或 Future Work 小节;Conclusion 仅总结方法与结果。
实验覆盖范围
- 被测模型仅 Stable Diffusion 2.1 一个,512×512 分辨率、50 步 DDIM(3.1 节)。
- 数据集为 Stable-Diffusion-Prompts 与 MS-COCO,各 5,000 条文本(3.1 节)。
- 鲁棒性评测覆盖八种条件:Clean、JPEG、Noise、Blur、Crop、Rotation、Bright、Adversarial(Table 1);攻击的具体参数(如 JPEG 质量、裁剪比例)论文未写明。
- 嵌入负载为 L=16 bit、Lc=32 的 RM(2,5) 码字,仅在最后 25 步嵌入(3.1 节)。
- 论文未报告重复次数、方差或统计显著性检验,也未报告不同密钥或多消息场景。
总结一下论文的主要内容
SAMP 自适应调节扩散水印的强度与维度优先级,作者报告平均 M-ACC 0.993、提取 0.050 s/张。
SAMP 是一个扩散图像水印框架,面向生成内容的来源追踪与真实性验证。
- 问题:作者认为现有方法嵌入强度固定、对各水印维度同等对待,在可靠维度上引入多余失真,又对脆弱维度加固不足。
- 方法:在去噪最后 25 步,全局边际调节按目标码字与竞争码字的间隔(含攻击代理扰动下的保守估计)和修改成本决定每步嵌入强度;脆弱性敏感分配用正交方向扰动测量各编码位敏感度,在线调整优化权重;解码只需一次 VAE 编码加冻结坐标映射,无需扩散反演。
- 结果:在 Stable Diffusion 2.1、Stable-Diffusion-Prompts 上,SAMP 平均 M-ACC 0.993、PSNR 31.98 dB、LPIPS 0.046、FID 9.52(Table 1);作者称较 GROW 的 PSNR 提升 16.8%、LPIPS 降低 47.1%,再生攻击下 M-ACC 比最强基线高 5.4%。
- 例外:MS-COCO 的 Rotation 上 SAMP(0.96)低于 GROW 与 RingID(1.00)。
- 开销:生成 4.35 s/张(水印开销 0.21 s),提取 0.050 s/张,低于反演式基线的约 2.4 s(Table 2)。
- 消融:仅全局边际调节时 M-ACC 降至 0.911,仅脆弱性分配时 PSNR 降至 23.32 dB,作者称两组件互补(Table 3)。
作者的结论:SAMP 在保持图像质量的同时实现可靠的水印恢复。论文未讨论局限,实验仅覆盖单一模型与 16 bit 负载。