别忘了给梯度签名：GradSigns 提出面向 DNN 的水印框架

1. 01这篇论文试图解决什么问题？

   如何给 DNN 嵌入大容量、抗移除攻击、可经 API 远程验证的所有权水印。

   核心问题：如何保护 DNN 的知识产权（IP），让模型厂商能证明被盗模型的所有权。

   • 场景与动机：训练顶级 DNN 需要数据、人力和算力，模型是厂商的 IP；购买许可的攻击者可能低价转售模型或超范围部署，作者认为这要求厂商能验证并证明所有权。
   • 现有方法不足：作者称现有水印方法能嵌入的信息量很有限，且容易受到水印移除攻击；黑盒方法大多只能嵌入一位信息。
   • 核心观察：过参数化使 DNN 的非凸优化存在多个性能相当的最优解，每个解对应不同的决策边界；GradSigns 利用这一点，寻找同时携带签名信息的解。
   • 论文方案：提出 GradSigns，把签名嵌入交叉熵损失关于模型输入的梯度，对模型性能影响可忽略，支持通过预测 API 远程验证，并可嵌入多位信息。
   • 威胁模型（§2.2）：
     • 攻击者目标：不付版权费地从模型 M 获利，移除厂商签名或阻碍验证，同时不能过度损失模型性能。
     • 攻击者知识：具备训练模型的算力和经验，知晓所有现有水印技术，可针对部署的方法设计自适应攻击。
     • 攻击者能力：数据远少于厂商的数据集 D；可进行参数剪枝、模型微调、查询失效-修改（query invalidation）等通用攻击。
     • 受害系统：厂商用私有数据集 D 训练的模型 M；验证阶段被盗模型只通过 API 或加密软件提供输出（black-box 设定）。

   收起这一问

2. 02有哪些相关研究？

   相关工作分白盒与黑盒水印两类，黑盒方法多靠特制触发集，作者称它们只能嵌入一位信息。

   白盒水印

   • Uchida et al. (2017)——论文称这是首个关注 DNN 水印的工作，把水印嵌入模型层的参数中，验证时需要访问模型内部细节。

   黑盒水印（基于触发集）

   • DeepSigns（Rouhani et al., 2018）——可用于白盒和黑盒；黑盒版用原始数据加随机标注的构造图像微调模型，把未标记模型误分、微调后模型改对的样本选为水印键集，按模型在键集上的准确率判定归属。
   • Zhang et al. (2018)、Adi et al. (2018)、Guo & Potkonjak (2018)——用特制样本（无关图像、叠加内容或高斯噪声、抽象图像）作水印键集并赋予随机标签，与原训练集一起训练；作者指出这类方法都靠模型对特制输入的异常行为来区分，且 Guo 与 Adi 的贡献在于用密码学建立可靠验证而非新水印技术，因此 §4 未评测它们。
   • AFS（Le Merrer et al., 2019）——用真、假对抗样本作为水印键集。
   • EXP（Namba & Sakuma, 2019）——针对参数剪枝设计，用指数加权的自定义激活函数，让水印由绝对值大的参数承载；作者同时指出其提出的查询失效-修改攻击对 Zhang 和 DeepSigns 有效。

   对比基线与基准

   • 基线方法：DS（DeepSigns 黑盒版）、EXP、AFS、Zhang（Content/Noise/Unrelated 三种变体），与 GradSigns 在剪枝+微调攻击下对比（Figure 2）；白盒方法（Uchida、白盒 DeepSigns）因假设更强不参与对比。
   • 基准：CIFAR-10、SVHN、YTF 三个图像分类数据集。

   本文定位

   作者称 GradSigns 是首个利用模型组件梯度嵌入签名的水印方法；与当代黑盒方法只能嵌入一位不同，GradSigns 可嵌入多位信息，且其水印键集直接取自训练数据、不修改不重标注，使查询失效-修改攻击不适用。

   收起这一问

3. 03论文如何解决这个问题？

   训练时用正则项把 N 位签名偏置进输入梯度，黑盒验证用零阶梯度估计加 BER 阈值判定。

   整体思路：利用过参数化 DNN 存在多个性能相当解的性质，在训练目标中加入嵌入正则项，把签名编码进交叉熵损失关于输入的期望梯度；验证时提取该梯度并与嵌入密钥运算恢复签名。GradSigns 分嵌入与提取两阶段（Figure 1）。

   嵌入前的准备（§3.1）

   • 签名与载体：生成 N 位向量 b 作为水印；随机选择输入神经元集合 C（载体集），只有载体节点的输入梯度参与嵌入。
   • 嵌入密钥：生成矩阵 K（N×|C|，取值 [-1,1]），把载体节点的期望梯度映射为 N 位二进制向量；随机选一个目标类 T，用 T 类图像计算梯度。
   • 生成方式：b 和 K 可用随机数生成器，或对含所有者身份的消息做哈希（§4.4 用于防伪造）。

   嵌入目标

   • 总损失：J(x|θ, y) = J_{cross−entropy}(x|θ, y) + λ J_Embedding(x|θ, y)，即在任务损失上加嵌入正则项，λ 为权衡超参数。
   • 嵌入成功的定义：对每个水印位 j，要求载体节点期望梯度 G 与 K 第 j 行的加权和的符号等于 b_j，即每个水印位对应一个半空间约束（论文 Equation 2、3）。
   • 正则项形式：把每个水印位看作参数固定为 K 第 j 行的单层感知机的二分类任务，用二元交叉熵损失训练 G（论文 Equation 4）。

   黑盒提取（§3.2）

   • 零阶估计：黑盒下无法反向传播，用差商估计载体节点梯度：Ĝ_c(x) ≈ (J(x + h e_c) − J(x))/h，h 在实验中设为 0.0001；每个输入需评估损失 |C|+1 次，估计误差量级为 O(|C|·h²)。
   • 判定：期望梯度乘以 K 恢复水印，若提取水印的 BER 低于阈值则判定模型属于厂商；作者指出可换用更省查询的梯度估计方法。

   可靠性阈值（§4.2）

   • 零假设检验：未标记模型的期望梯度落在任一半空间的概率为 1/2；设 τ = 3×10⁻³，解二项分布尾概率得到容忍误码数 η。
   • 阈值结果：16、32、64 位签名分别要求至少 14、25、44 位匹配才能可靠声明所有权。

   关键参数选择（§4）

   • λ：在 (0.0, 1.0] 内取能成功嵌入的最小值；过大损害性能，过小嵌入失败。
   • 载体集大小：取能成功嵌入的最小值；更大的载体集提高 BESR，但增加黑盒验证查询成本。

   收起这一问

4. 04论文做了哪些实验？

   三个图像基准上测忠诚度、可靠性、对通用与自适应攻击的鲁棒性、抗伪造、效率与容量。

   实验设置

   • 被测模型：CIFAR-10 用 ResNet20；YTF 用 Deep-ID；SVHN 用 6 个卷积层加 2 个全连接层的 CNN（附录 C，Table 8）。
   • 数据集：CIFAR-10（50,000 训练 / 10,000 测试，10 类）；SVHN（超过 100k 数字图像）；YTF（取 1200 人、每人 100 张共 120,000 张，75% 训练）。
   • 水印配置：每个基准嵌入 16、32、64 位三种签名；目标类分别为 CIFAR-10 飞机、SVHN 数字 1、YTF 编号 1 的个体；载体集大小见 Table 6（如 CIFAR-10 64 位用 384）。
   • 基线：DS、EXP、AFS、Zhang（Content/Noise/Unrelated）；AFS、DS、EXP 各嵌入 30 个键样本，参数按原论文；Zhang 的键样本配置见 Table 7。
   • 指标：测试准确率、watermark accuracy、BER（阈值 τ=3×10⁻³，64 位容忍约 20 位错误）、BESR。
   • 攻击设置：剪枝率 0%–90% 共 10 档，剪枝后微调 10 轮（早停，学习率 0.0005），攻击者每类样本 256–2048 不等；报告测试准确率不低于基线 90% 的模型中的最低水印准确率。

   主结果

   忠诚度（Table 2，测试准确率）：

   表格较宽，可左右滑动

   数据集	Baseline	GS-16	GS-32	GS-64
   CIFAR-10	91.2%	90.1%	90.4%	90.5%
   SVHN	96.1%	95.5%	95.7%	95.3%
   YTF	99.6%	99.6%	99.6%	98.6%

   • 作者称 GradSigns 满足忠诚度，所有基准上性能下降平均不到 1%；CIFAR-10 基线取原论文报告的验证准确率，SVHN/YTF 基线用与水印模型相同的训练设置。
   • 容量（§4.6）：作者称当代黑盒方法只能嵌入一位信息，而 GradSigns 在全部三个基准上成功嵌入 16、32、64 位。

   鲁棒性：剪枝+微调与查询失效

   • 剪枝+微调（Figure 2）：在三个基准、四种攻击者数据规模下，作者称只有 GradSigns 的水印在"剪枝+微调"攻击下始终存在且可验证；图中对比了 DS、EXP、AFS、Zhang 三种变体（具体曲线数值在转换文本中不可读）。
   • 查询失效-修改（§4.3.2、附录 A）：作者称该攻击对 Zhang 和 DeepSigns 有效，但不适用于 GradSigns，因为其水印键集直接取自训练数据、无修改无重标注。

   鲁棒性：自适应攻击（仅报告 64 位模型）

   • 模型量化（Table 3）：参数量化为 8 位定点整数后，CIFAR-10/YTF/SVHN 的 BER 分别为 2/64、1/64、0/64，性能变化 -1.42%、-1.73%、-0.6%，均低于可容忍阈值。
   • 对抗微调（Table 4）：用 FGSM 对抗样本混合原数据微调 5 轮，BER 分别为 5/64、0/64、0/64（作者称最坏情况 BER 小于 8%），性能变化 -2.58%、+0.23%、-0.22%。
   • 输入加噪（Figure 3）：叠加零均值高斯噪声（σ 从 0.001 到 0.1），作者称只要噪声未大到严重损害性能，水印仍可验证。
   • 分数舍入（Figure 4）：作者称舍入攻击可破坏 h=0.0001 的提取，但把估计步长 h 调大后，即使预测概率只保留一位小数也能成功提取。
   • 分数扰动（附录 B，Figure 5）：每个基准做 50 次验证尝试，h=0.1；作者称提取水印准确率始终高于阈值，攻击失败。

   可信度：伪造攻击

   • 设置（Table 5）：攻击者向已嵌 32 位水印的 SVHN 模型伪造自己的 32 位签名，重训 80 轮，每个数据规模做 3 次（λ 分别小于、等于、大于原嵌入值），报最好 BESR。
   • 结果：每类 256/512/1024/2048 样本时 BESR 为 0.57/0.60/0.62/0.68，性能开销 -1.57%/-1.15%/-4.43%/-3.37%；只有每类 4096 样本（约 40k，与原数据集相当）时 BESR 达 1.0，开销 -1.09%。
   • 作者解读：威胁模型假设攻击者没有这么大规模的数据，有如此数据则可自行训练；且伪造后模型性能低于被盗模型，作者认为伪造攻击低效。

   其他消融与分析

   • 效率（Table 6）：CIFAR-10/SVHN 最小样本量 50、每位提取查询 < 500；YTF 最小样本量 20、每位查询 < 100；样本量经 20 次试验验证足够。
   • 载体集大小（§4）：实验显示更大的载体集提高 BESR，但增加黑盒验证成本，故取可成功嵌入的最小值。
   • λ 取值（§4）：取可成功嵌入的最小 λ，过大损害性能、过小嵌入失败。

   收起这一问

5. 05有什么可以进一步探索的点？

   论文未专门讨论局限；实验覆盖三个图像基准、最长 64 位水印，部分攻击只测 64 位模型。

   作者指出的局限与后续方向

   • 论文未专门讨论局限，没有 Limitations 或 Future Work 小节。
   • 作者提到的方法层面的注意点（§4、§4.5）：λ 过大会损害水印模型性能、过小导致嵌入失败；载体集越大黑盒验证成本越高；提取更多水印位需要更多查询，作者指出可用随机方向梯度估计减少验证查询（§4.5）。

   实验覆盖范围

   • 被测模型与任务：ResNet20（CIFAR-10）、Deep-ID（YTF）、一个 6 卷积层 CNN（SVHN），共 3 个模型，均为图像分类任务（§4、附录 C）。
   • 水印规模：每个基准测 16、32、64 位三种签名（§4）。
   • 攻击评测：通用攻击（剪枝+微调、查询失效-修改）与自适应攻击（量化、对抗微调、输入加噪、分数舍入、分数扰动）；自适应攻击部分只报告 64 位模型的结果，作者称其他基准结果一致（§4.3.3）。
   • 伪造攻击：仅在 SVHN 的 32 位水印模型上进行，每个数据规模 3 次试验（§4.4）。
   • 对比基线：DS、EXP、AFS、Zhang 三种变体，仅在剪枝+微调攻击下对比（Figure 2）；白盒方法未参与实验（§4.3）。
   • 论文未报告：训练与提取的耗时、水印提取在真实部署 API 上的实测成本。

   收起这一问

6. 06总结一下论文的主要内容

   GradSigns 把多位签名嵌入输入梯度，三个基准上性能损失小，作者称其抗通用与自适应移除攻击。

   一篇关于 DNN 知识产权保护的论文，提出黑盒水印框架 GradSigns。

   • 问题：训练 DNN 成本高，模型是厂商 IP，但购买者可能转售或滥用；作者称现有水印方法嵌入信息量有限、易被移除攻击破坏。
   • 方法：利用过参数化网络存在多个等价解的性质，在训练损失中加入正则项，把 N 位签名编码进交叉熵损失关于输入的期望梯度；黑盒验证时用零阶梯度估计经 API 提取水印，按零假设检验（τ=3×10⁻³）确定 BER 阈值判定所有权。
   • 忠诚度：CIFAR-10/SVHN/YTF 上嵌入 16–64 位，测试准确率相对基线下降平均不到 1%（Table 2，如 CIFAR-10 基线 91.2%、GS-16 为 90.1%）。
   • 鲁棒性：作者报告水印在剪枝+微调（Figure 2，对比方法失效）、8 位量化（BER 最高 2/64，Table 3）、对抗微调（BER 最高 5/64，Table 4）、输入加噪、分数舍入（调大估计步长后可提取）和分数扰动（50 次试验均高于阈值）下保持可验证。
   • 抗伪造：SVHN 32 位模型上，攻击者每类样本不超过 2048 时伪造 BESR 最高 0.68，只有数据规模与原数据集相当时才成功（Table 5）。
   • 作者结论：GradSigns 满足 Table 1 的六项要求，作者认为其提供了强所有权证明；实验限于三个图像分类基准，水印最长 64 位，黑盒提取每位需数百次查询。

   收起这一问

相关论文