VidMark：面向视频生成模型知识产权保护的高效水印方案

如何在视频生成模型（VGM）上同时完成合成视频核验与模型所有权核验，并使水印对时域攻击保持稳健、对画质影响可忽略。

• 场景与重要性：作者指出，基于 video LDM 的大规模 VGM 训练成本高、商业价值高。生成视频可能被未授权再分发，模型本身也可能被窃取、复制并重新部署。这对应两项取证任务：判断未知来源的单条视频是否由受保护 VGM 生成，以及判断未知来源的嫌疑 VGM 是否为受保护模型的盗用拷贝。
• 现有方法的不足：作者认为，图像生成模型上常见的、由预训练水印解码器引导微调的生成内嵌水印难以直接用于 VGM。原因包括视频维度更高、时序建模更复杂因而微调成本更高；水印须承受压缩、帧平均等视频特有的时域攻击；高分辨率（如 512×512 或更高）要求解码器既轻量又能处理高分辨率。作者称 REVMark 与 DVMark 限于低分辨率（如 128×128），VideoSeal 训练需大量算力（如 16 块 GPU）。预生成与后生成方案不改模型，作者称因而不能原生支持模型所有权核验；已有生成内嵌方案 SVS 依赖 SVD 的 deflickering decoder，作者称适用范围窄。
• 核心设计：水印嵌入生成过程，使每个输出都带模型特定水印，从而把水印、输出和模型绑在一起。作者称生成内嵌是唯一能同时处理上述两项任务的范式。
• 提出的方案：作者提出生成内嵌水印方案，核心是面向高分辨率视频的轻量编解码网络 VidMark（两尺度 DWT 与全局时序注意力块 GTAB），再用冻结的 VidMark 解码器引导微调 VGM 靠近输出的若干层；并建立合成视频核验与模型所有权核验两个统计假设检验框架。
• 威胁模型：
  • 目标：保护 VGM 及其输出的知识产权。单视频场景判断未知视频是否由带签名的受保护模型生成；多视频场景判断嫌疑 VGM 是否为该受保护模型的拷贝。
  • 嵌入位置：微调 VAE 解码器靠近输出的层，使从潜变量重建像素时写入模型签名。作者认为该模块位于生成末端，水印不受前面的 U-Net 或 Transformer 影响，且攻击者难以绕过或替换从潜变量到像素的映射。
  • 攻击：作者称水印须抵抗视频级与模型级攻击，包括压缩、帧平均等时域攻击，以及几何与非几何失真。
  • 判定：从视频提取水印，用汉明距离与阈值比较；多视频场景把 n 条视频的水印拼接后与重复 n 次的模型签名比较。

论文按水印嵌入阶段和模型类型组织相关工作，Table I 对比代表性 LDM 水印方案是否支持合成视频核验（SVV）、模型所有权核验（MOV）与时域稳健性。

生成模型水印的三类范式

• 预生成：在扩散开始前把水印写入初始潜变量（如初始 latent），再经反演提取。图像侧包括 Tree-Ring、WIND、Gaussian Shading、PRC。视频侧 VideoShield 由水印导出模板比特并据此采样初始噪声；VideoMark 用伪随机消息序列初始化 latent。作者称这类方法通常只做合成视频核验，不原生支持模型所有权核验。
• 后生成：合成之后用独立编解码网络嵌入，沿用 HiDDeN、StegaStamp 等多媒体水印策略。作者称预生成与后生成都不改模型，因而模型本身仍不受保护。
• 生成内嵌：微调模型参数，使生成过程写入水印，从而可从输出读出水印。作者称这为合成内容核验与模型所有权核验提供统一途径。

图像生成模型的生成内嵌水印

• 微调潜变量解码器：Fei 等人用监督微调使生成输出自带不可见签名；Stable Sig. 微调 LDM 的 VAE 解码器，使固定提取器（HiDDeN）能解码签名；WOUAF 用权重调制微调潜变量解码器，为不同用户嵌入可追踪指纹。
• 写入扩散过程：WaDiff 把水印比特作为扩散网络的条件输入；AquaLoRA 向 Stable Diffusion 的 U-Net 注入水印 LoRA。
• Table I 中的定位：Stable Sig. 与 WOUAF 面向 Image LDMs，作者标注其 SVV 与 MOV 仅能逐帧应用，且不具备时域稳健性。

视频生成模型水印与传统视频水印

• SVS：作者称据其所知，这是截至当时唯一已发表的 VGM 生成内嵌工作。它通过模型蒸馏微调 SVD 的 deflickering decoder。作者称该方法依赖特定结构，难以推广到快速多样化的 VGM。Table I 中 SVS 的模型架构写为 SVD，三项能力均为支持。
• 分辨率与算力：作者称 REVMark、DVMark 限于低分辨率视频（如 128×128）；VideoSeal 有效但训练需求大（如 16 块 GPU）。
• 独立视频水印基线（Section V）：传统方法 Dct-Dwt；深度图像水印 HiDDeN、CIN、TrustMark（逐帧用于视频）；深度视频水印 REVMark。评测数据为自建 Pexels Videos（训练 40k、评测 10k，每段 16 帧、512×512）。生成模型侧对比基线包括 Stable Sig. 与 WOUAF，目标模型包括 SVD、Open-Sora、Wan。

作者将本文定位为面向一般 VGM 的统一生成内嵌方案：同时支持 SVV 与 MOV 并保持时域稳健性；核心组件 VidMark 也可单独作为后生成方案部署（Table I：后生成时只支持 SVV 与时域稳健性，不支持 MOV）。

整体上，先训练视频水印网络 VidMark，再冻结其解码器去引导微调 VGM 的 VAE 解码器，使重建视频携带模型特定签名；核验阶段用汉明距离做假设检验。

问题设定与 VidMark 结构

• 输入：编码器 Ew 接收 k 比特水印 w 与视频 v（维度为通道 C、帧数 F、高 H、宽 W）。解码器 Dw 从含水印视频 vw 恢复水印。骨干为 U-Net，基本单元为 3D 卷积。
• 两尺度 DWT：对每帧做 2D DWT，得到 LL1、LH1、HL1、HH1；再把 LL1 分解为 LL2、LH2、HL2、HH2。只在最粗低频子带 LL2 嵌入水印，其余子带留待 IDWT 重建。作者称低频嵌入通常更稳健，两尺度设计可提高对常见信号处理与压缩的稳健性，并因空间降采样扩大感受野，适合高分辨率视频。
• 消息融合与重建：水印经全连接层投影并 reshape 到与 LL2 相同的时空尺寸，沿通道与 LL2 拼接，再经多层 Conv3D 与下采样得到特征图 X。X 进入 GTAB，残差融合后经上采样 Conv3D 与跳跃连接，最后与保留子带做 IDWT 得到 vw。
• 解码器：对 vw 每帧做两尺度 DWT 取 LL2，经 Conv3D、下采样、GTAB 与全连接层得到提取水印。

GTAB 与训练损失

• GTAB：把特征在空间与通道上展平为帧序列，线性投影到较低维后做多头注意力，再投回并 reshape。作者用它显式建模帧间长程依赖，并称在特征域保持时序一致可减少帧间伪影。多头注意力为标准缩放点积形式，Nh 个头的输出拼接后经线性层聚合。
• 损失：编码器与解码器联合最小化 Lvid = BCE(提取水印, 真水印) + λ0 MSE(vw, v)。λ0 先为 0（前 2500 次迭代），再增至 1，15000 次迭代后设为 10。训练 10 个 epoch、共 25000 次迭代，batch size 16，Adam，学习率 10^{-4}，单卡 NVIDIA A100（80 GB）。每次训练为输入视频随机生成 k 比特水印。训练后冻结 Dw。

用 VidMark 给 VGM 加水印

• 生成流程：现代 VGM 在压缩潜空间合成。编码器 EV 把视频映射到 latent，条件去噪网络（U-Net 或 Transformer）在用户输入（文本或参考图像）引导下把初始高斯噪声迭代去噪，VAE 解码器 DV 再重建到像素空间。作者称尽管骨干与具体 VAE 不同，这一范式在 SVD 等到 Wan 的模型中一致。
• 微调对象：只改 DV 中最靠近输出的 nf 层。作者给出的考虑是：相对其他模块，调整 DV 所需计算更少；它位于生成末端，前面模块不影响已嵌入的水印；该映射是生成的必要步骤，攻击者难以轻易绕过或替换。
• 微调目标：用冻结的 Dw 从重建视频预测水印，使提取结果接近模型签名 m，并使重建视频在像素、小波与感知三个域接近原视频。总损失为 Lfine-tune = Lext + λ1 Lpixel + λ2 Ldwt + λ3 Llpips，其中 Lext 为 BCE，Lpixel 为时空 MSE，Ldwt 为 LL 子带 MSE，Llpips 为逐帧 LPIPS 的平均。λ1、λ2、λ3 用于平衡各项。

核验框架与成功判定

• 单视频：零假设为视频来自无水印模型或签名不同的模型；备择假设为来自带水印的受保护模型。提取水印后，若汉明距离不超过阈值 τ1 则接受备择假设。
• 多视频：给定嫌疑模型产出的 n 条视频。零假设为嫌疑模型与受保护模型独立；备择假设为它是受保护模型的拷贝。把 n 条提取结果拼成长度 n·k 的序列，与模型签名重复 n 次后的序列比较，阈值记为 τn。单视频被作者视为 n=1 的特例。
• 误差与阈值：作者在比特独立、无水印时均匀的假设下，用二项分布与中心极限定理给出假阳性 PFP 与假阴性 PFN 的近似（式 (10)、(11)）。作者称优先约束误控：先把 τn 选到使 PFP ≤ 10^{-6}，再选择查询视频数 n 以降低理论 PFN。Figure 3 给出 k=96 时不同逐比特准确率 p 与视频数 n 的理论 ROC；作者称其他 k 的变化形态类似，且即使 p 降到接近随机（如 0.550），n≥20 时曲线也会移向左上。作者同时指出，已有工作观察到非水印模型的提取比特可能略偏 0/1，从而偏离严格 i.i.d. Bernoulli(0.5)，这可能轻微影响理论误差，但公式仍可用于选择阈值与视频数。

实验设置

• 独立视频水印（Section V）：数据来自 Pexels Videos，训练 40k、评测 10k，每段 16 帧、裁剪为 512×512。VidMark 训练配置见第 3 问。指标为逐比特准确率 Bit Acc，以及视觉质量 FVD、LPIPS、CVVDP。
• 基线：Dct-Dwt；HiDDeN、CIN、TrustMark（逐帧）；REVMark。作者称基线用官方实现在同一数据集上重训或评测。CIN、TrustMark、REVMark 的官方权重面向更低分辨率（如 128×128 或 256×256），比较时采用先缩小嵌入、再放大回 512×512 的策略，提取前再缩到提取器所需分辨率。
• 生成模型水印（Section VI，据摘要与引言）：将预训练 VidMark 解码器用于若干文生视频与图生视频 VGM，包括 Stable Video Diffusion (SVD)、Open-Sora、Wan。对比基线包括 Stable Sig. 与 WOUAF。作者称从视觉保真、核验准确率与水印稳健性上比较。
• 核验指标：理论 PFP、PFN，以及 Section VI-C 的经验 TPR、FPR。决策先保证 PFP ≤ 10^{-6}。具体的 k、τ1、τn、n 及其对应 PFP、PFN，作者称在 Section VI-C 给出。
• 稳健性：作者称评测覆盖视频级与模型级攻击。正文在 Table II 之后开始讨论稳健性，但所附文本在该段中断，后续攻击名称、Bit Acc 与 Section VI 的逐模型数字未能从可读文本中完整核对。
• 消融：Section V-C 针对 DWT 与 GTAB。所附文本未给出消融表中的数字。

主结果

Table II 的完整列在所附文本中未保留。能核对的主数字如下。

Swipe horizontally to read the table

设置	指标	数值	出处
VidMark，512×512，128-bit	提取准确率	100%	引言
VidMark，32-bit，Pexels Videos	FVD / LPIPS	5.07 / 0.027	Table II（正文转述）
REVMark，Pexels Videos	FVD	37.01	Table II（正文转述）
所提方案接入代表性 VGM	提取准确率；两项核验准确率	超过 99%；100%	摘要
VidMark 训练	峰值 GPU 显存	5.89 GB	引言

• 画质：作者称 VidMark 在全部视觉指标上优于所列方法；32-bit 时 FVD 5.07、LPIPS 0.027，并称含水印视频在视觉上与原视频难以区分。作者称 REVMark 的 FVD 为 37.01，提示存在可察觉的时域伪影；相对 HiDDeN 等图像方法，VidMark 在 FVD 与 CVVDP 上更好，作者将其解释为更好地保持了高分辨率视频的时序一致性。
• 效率：作者称 VidMark 只需 5.89 GB 峰值显存，并与 VideoSeal 报告的 16 块 GPU、REVMark 的 17 GB 峰值显存对照。
• 接入 VGM 后：作者称新方案在视觉保真、核验准确率与稳健性上优于 Stable Sig. 与 WOUAF；摘要称提取准确率超过 99%，两项任务的核验准确率均为 100%，对生成质量的影响可忽略，且对一系列视频级与模型级攻击保持稳健。Section VI 的分模型表格未出现在所附可读文本中，因此这里不拆到 SVD、Open-Sora、Wan 各自的数字。

理论核验性能

• 测了什么：Figure 3 在 k=96 下，对 p=0.999、0.850、0.700、0.550 以及 n=1、2、5、10、20、50、100 画理论 ROC，横轴为 PFP，纵轴为 PTP（即 1−PFN）。
• 图上可见的结论性标注：作者称 p=0.999、0.850、0.700 的子图中，部分曲线被最上方的 n=100 曲线完全遮住。作者称 n 增大时曲线向左上移动；即使 p=0.550，n≥20 也会使曲线迅速移向左上。
• 经验对照：作者称 Section VI-C 的经验 TPR 与 FPR 说明，文献中提到的比特分布偏离不会影响其核验框架的可靠性。所附文本未给出这些经验比率的具体数值。

其他消融与分析

• DWT 与 GTAB 的消融在 Section V-C，所附文本未保留具体 Bit Acc 或画质差值。
• λ0 采用 0 → 1 → 10 的分段调度，论文未在所附文本中给出不同 λ0 的对照数字。
• 高分辨率基线使用 resize-embed-resize；作者将其作为可比性处理，未在所附文本中单列该策略带来的数值差。

作者指出的局限与后续方向

• 比特分布假设：Section IV-B 指出，已有研究观察到非水印生成模型在某些比特位置可能略偏 0 或 1，从而偏离严格的独立同分布 Bernoulli(0.5)。作者认为这可能轻微影响理论误差概率的精确值，同时认为式 (10)、(11) 仍可用于选择阈值与视频数，并称 Section VI-C 的经验 TPR、FPR 说明该偏离不影响框架可靠性。
• Figure 3 的展示范围：图注称为简便起见只画 k=96，并称其他 k 呈现相似的变化形态。
• 所附文本在 Section V 的稳健性讨论处中断，Section VII 的结论原文未出现。因此除上述说明外，论文在可读文本中未专门列出 Limitations 或 Future Work 条目。

实验覆盖范围

• 独立水印数据：Pexels Videos，训练 40k、评测 10k，每段连续 16 帧、512×512；训练 10 epoch、25000 次迭代，batch size 16，单卡 A100（80 GB）（Section V-A）。
• 独立水印基线：Dct-Dwt、HiDDeN、CIN、TrustMark、REVMark；后三者在 512×512 上采用 resize-embed-resize（Section V-A）。
• VGM：摘要与引言写明将方案用于 SVD、Open-Sora、Wan，并与 Stable Sig.、WOUAF 比较；Table I 将本文方案的架构标为 General VGMs，SVS 标为仅 SVD。
• 核验参数约束：阈值按 PFP ≤ 10^{-6} 选取，再用 n 降低理论 PFN；Figure 3 展示 k=96 时 p 与 n 的理论 ROC。k、τ1、τn、n 的具体配置作者指向 Section VI-C，所附文本未给出这些数。
• 未在可读文本中出现的报告：Section VI 各模型的分项画质、Bit Acc、攻击后准确率，以及 Section V-C 消融的具体数字，均未包含在所附转换文本的可读部分中；稳健性一段在 “against di” 处截断。

Huang 等人提出一套面向视频生成模型的生成内嵌水印方案，用来同时判断一条视频是否来自受保护模型，以及一个嫌疑模型是否为该模型的拷贝。

• 问题：VGM 训练成本高，产出可能被未授权传播，模型本身也可能被复制。图像侧的生成内嵌水印不处理帧平均、压缩等时域攻击，也难直接承受高分辨率视频的微调成本；视频侧预生成方法不保护模型，SVS 又绑定 SVD 的特定解码器。
• 方法：VidMark 用 U-Net 与 3D 卷积，只在两尺度 DWT 的最粗 LL2 子带嵌入水印，并用 GTAB 做帧间多头注意力。训练损失为水印 BCE 加像素 MSE，λ0 分段从 0 调到 10。随后冻结解码器，只微调 VAE 解码器靠近输出的 nf 层，损失同时约束提取误差、像素 MSE、LL 子带 MSE 与逐帧 LPIPS。核验把单视频与多视频都写成汉明距离检验，阈值按理论假阳性不超过 10^{-6} 来设。
• 结果：引言称 VidMark 在 512×512、128-bit 上提取准确率为 100%，训练峰值显存 5.89 GB。正文称 Pexels 上 32-bit 的 FVD 为 5.07、LPIPS 为 0.027，REVMark 的 FVD 为 37.01。摘要称接入代表性 VGM 后提取准确率超过 99%，两项核验准确率均为 100%，画质影响可忽略，并对视频级与模型级攻击保持稳健。Figure 3 中，作者称即使逐比特准确率降到 0.550，视频数不少于 20 时理论 ROC 仍移向左上。
• 作者的结论：作者认为该方案把水印、输出与模型联系起来，VidMark 也可单独做后生成水印；优先压低误控后，增加视频条数即可提高模型所有权核验的理论表现。