SoK：图像分类深度神经网络水印有多稳健？（扩展版）

1. 01这篇论文试图解决什么问题？

   作者系统评估声称鲁棒的 DNN 水印方案在统一对抗模型下能否抵御大量移除攻击。

   核心问题：声称鲁棒的 DNN 水印方案，在统一、全面的移除攻击集合下是否真的鲁棒。

   • 场景与动机：DNN 水印用于模型溯源验证，模型提供方（如 MLaaS）希望检测用户从源模型派生并公开部署的（盗用）代理模型；鲁棒性要求攻击者无法派生出不保留水印的代理模型。
   • 现有不足：作者称许多方案声称鲁棒，但只在相对小的攻击集合上孤立验证，且多数方案未说明其鲁棒性定义是否涵盖模型提取攻击；已有攻击打破了部分方案的安全声明，但不清楚能否推广到其他水印。
   • 核心做法：调研 29 种方法（已知移除攻击、可派生代理模型但未作为移除攻击评估的方法、新攻击），提出水印方案与移除攻击的分类体系、统一对抗模型，并实现开源工具箱 WRT。
   • 主要发现：作者称没有任何受评方案在实践中鲁棒，方案会被自适应攻击和未作为移除攻击评估过的代理模型派生方法攻破；但也没有单一攻击能移除全部水印，组合攻击可以。
   • 威胁模型：
     • 目标：派生不保留水印、测试精度与源模型相近的代理模型；次要目标是降低攻击资源消耗（如运行时间）。
     • 知识：白盒（可访问源模型全部参数）或黑盒（仅 API）；攻击者知道源模型架构。
     • 数据：Labeled（同分布、至多三分之一有标签）、Domain（同分布无标签）、Transfer（不同分布有标签，实验用 Open Images）。
     • 受害系统：在 CIFAR-10 / ImageNet 上训练并嵌入水印的图像分类模型。

   收起这一问

2. 02有哪些相关研究？

   相关工作分四类：模型提取攻击、11 种水印方案、已知移除攻击、未当作移除攻击评估的代理模型派生方法。

   模型提取（模型窃取）攻击

   • Krishna et al. [8]——作者引其结论：即使对 BERT 这样的大模型，也能在有限领域数据下派生高保真代理，且成本远低于重训。
   • Papernot et al. [10]——将机密性（保护模型参数免遭窃取）列为机器学习安全与隐私的核心原则之一。
   • Tramèr et al. [36]、Jagielski et al. [11]、Carlini et al. [12]、Atli et al. [13]——通过预测 API 或密码分析方法提取模型；作者引其说明防止模型窃取很困难。

   DNN 水印方案（本文评测对象，共 11 种）

   • 模型无关类：Adi [16]（用分布外抽象图像作密钥）、Zhang [17] 的 Content/Noise/Unrelated 三种方案（仅密钥选取不同）。
   • 模型相关类：Frontier-Stitching [26] 与 Blackmarks [24]（基于对抗样本）、Jia [25]（用 soft nearest neighbor loss 纠缠特征）。
   • 参数编码类：Uchida [14]（嵌入卷积层权重）、DeepMarks [23]（类似 Uchida，用相关度提取）、DeepSigns [15]（嵌入隐藏层激活）；主动类：DAWN [27]（推理时随机改标少量预测）。

   已知移除攻击与代理模型派生方法

   • 已知移除攻击：weight pruning [21]、fine-tuning / overwriting [14]、Neural Cleanse [37]、Neural Laundering [35]、Fine-Pruning [38]、Regularization [18] 等。
   • 未作为移除攻击评估的方法：knowledge distillation [22]、Knockoff Nets [40]、transfer learning [39]、adversarial training [41]、input reconstruction [46]、JPEG compression [44]、feature squeezing [43] 等。
   • 作者指出 [14]、[16]、[23] 在威胁模型中限制攻击者计算资源，作者认为这一假设不现实；[18]、[35] 等针对模型无关水印设计的攻击，实验中往往只降低水印准确率而非移除水印。

   基线与基准：本文不是提出新方案与基线对比，而是把上述 11 种方案与 29 种攻击在统一框架下互相评测；数据集为 CIFAR-10 [28]、ImageNet [29]，transfer 数据集为 Open Images [49]。

   定位：作者称本文是首个对水印鲁棒性声明做统一、系统实证评估的工作（原文表述为"there is no systematic, empirical evaluation"，本文填补此空白），并提出分类体系、统一对抗模型与开源工具箱。

   收起这一问

3. 03论文如何解决这个问题？

   用统一对抗模型和纳什均衡，在 WRT 工具箱中对 11 种方案 × 29 种攻击做参数消融评测。

   整体思路：把水印方案与移除攻击分别归类，在统一对抗模型下让防御方与攻击方各自从参数集合中选最优（纳什均衡），以此判定方案是否鲁棒；全部方法实现在开源工具箱 WRT（PyTorch 后端）中。

   分类体系

   • 水印方案四类（Figure 1）：模型相关（密钥依赖模型，如对抗样本）、模型无关（密钥不依赖模型，水印即后门）、主动（推理时嵌入，仅防黑盒攻击者）、参数编码（嵌入权重或隐藏层激活，验证需白盒）。
   • 移除攻击三类：输入预处理（需白盒）、模型修改（需白盒，如微调、剪枝）、模型提取（多为黑盒，训练不同代理模型）。
   • 零位与多位：零位水印只编码存在性，多位水印可编码多比特消息；Table II 列出各方案的类别、验证方式（黑盒/白盒）与容量。

   统一对抗模型

   • 安全博弈：防御方嵌入水印 M̂ ← Embed(T, m, M)，攻击方派生 M1 ← A(M̂)；从 {M0, M1} 随机取样交给防御方验证，若防御方区分成功率不超过 0.5 + ε 则攻击者获胜。
   • 能力维度：部署（白盒/黑盒）、数据集（Labeled/Domain/Transfer）、速度（假设计算资源不受限，只测运行时间；按相对从头训练时间分快 <25%、中 25–75%、慢 >75%，以 ImageNet 为准）。
   • Table III 汇总每种攻击的类别与能力，例如 distillation 需白盒，retraining、transfer learning 只需黑盒。

   新攻击设计

   • Weight shifting：针对参数编码方案（Uchida、DeepMarks）的自适应攻击。利用"若所有卷积滤波器取反则水印准确率为零"的弱点，将每个滤波器沿逆均值方向软扰动并加高斯噪声，再微调恢复精度：S(W; λ₁, λ₂)_i = W_i − (λ₁)/n∑_j W_j − λ₂ A。参数：CIFAR-10 用 λ1=1.5、λ2=1.0，ImageNet 用 λ1=1.3、λ2=0；微调 10 / 5 个 epoch。
   • Smooth retraining：针对主动方案 DAWN 的自适应攻击。对同一图像的多个随机仿射变换版本查询源模型，取返回标签均值作为该图像标签训练代理；实验用 n=3 次查询。
   • Feature permutation：针对 DeepSigns 的自适应攻击，随机置换隐藏层神经元（模型功能不变）。

   度量与判定

   • 量：embedding loss（无水印与带水印模型测试精度差）、stealing loss（带水印源模型与代理模型测试精度差）、watermark accuracy（提取消息与嵌入消息的匹配率）、运行时间（单块 Tesla P100 GPU）。
   • 决策阈值：各方案论文未给阈值推导方法，作者用经验方法估计——生成 100 个长度 N=100 的密钥，在 30 个（CIFAR-10）/ 20 个（ImageNet）无水印模型上计算水印准确率，取 p 值 0.05 的累积正态分布阈值（Table IV）；再把水印准确率线性缩放到统一阈值 θ0=0.5 以便跨方案比较。
   • 成功判据：代理模型水印准确率低于决策阈值，且 stealing loss 不超过 5 个百分点（视为 well-trained）。

   纳什均衡

   • 对每种方案与攻击做多组参数消融（附录 XII、XIII），构造收益矩阵：攻击成功时收益为代理模型测试精度，否则为零。
   • 防御方最小化收益、攻击方最大化收益，取纳什均衡处的参数组合 (d^∗, a^∗) = argmin_i(argmax_j V[i,j])，以表明攻击成功源于方案本身的弱点而非参数选择不当。

   收起这一问

4. 04论文做了哪些实验？

   在 CIFAR-10 和 ImageNet 上评测 11 种方案对 29 种攻击的鲁棒性，作者称无方案鲁棒、组合攻击可移除全部水印。

   实验设置

   • 被测对象：11 种水印方案——Adi、Content、Noise、Unrelated、Jia、Frontier Stitching、Blackmarks、DeepMarks、DeepSigns、Uchida、DAWN（Table II）。
   • 模型架构：CIFAR-10 用 Wide ResNet 28x10，ImageNet 用 ResNet-50；跨架构重训用 DenseNet-121；攻击者知道源模型架构。源模型测试精度：CIFAR-10 94.20%，ImageNet 75.48%（附录 XIV）。
   • 数据集：CIFAR-10（50k 训练图像、10 类）、ImageNet（1.28M 训练图像、1k 类）；transfer 数据集 Open Images（用 1.7M 图像子集）。模型修改类攻击者获三分之一训练数据，模型提取类攻击者获全部训练数据（无标签，用源模型预测代替）。
   • 攻击集合：29 种方法，分输入预处理、模型修改、模型提取三类（Table III），含本文提出的 weight shifting、smooth retraining、feature permutation、cross-architecture retraining。
   • 指标与判定：watermark accuracy（按 Table IV 阈值缩放到 θ0=0.5）、stealing loss ≤ 5 个百分点为 well-trained；决策阈值用 100 个密钥 × 30/20 个无水印模型、p 值 0.05 估计。
   • 硬件：单块 Tesla P100 GPU；CIFAR-10 / ImageNet 从头训练时间约 1h / 100h。

   主结果

   鲁棒性总览（Table V，X=鲁棒，7=不鲁棒，格式为 CIFAR-10/ImageNet，节选）：

   表格较宽，可左右滑动

   攻击	Content	Jia	DeepMarks	DeepSigns	Uchida	DAWN
   Input Smoothing	X/X	X/X	X/X	X/X	X/X	X/X
   Regularization	7/X	7/X	X/X	X/X	X/X	X/7
   Feature Permutation	X/X	X/X	X/X	7/7	X/X	X/X
   Weight Shifting	7/X	X/X	7/7	7/7	7/7	X/X
   Retraining	7/7	X/X	7/7	7/7	7/7	X/7
   Transfer Learning	7/7	7/7	7/7	7/7	7/7	X/7
   Smooth Retraining	-	-	-	-	-	7/7

   （据 Table V；省略 Noise、Unrelated、Adi、Frontier Stitching、Blackmarks 五列及 Knockoff Nets、Cross-Architecture Retraining 等行；"-" 表示该攻击未对该方案执行。）

   • 无一方案鲁棒：作者称在纳什均衡参数下，没有任何方案能抵御全部攻击（Figure 3b、3e 中所有方案的最佳攻击水印准确率均低于 θ0=0.5）。
   • 无单一攻击移除全部水印：transfer learning 在 CIFAR-10 上是 dominant attack（移除全部 11 种水印），但 ImageNet 上不存在 dominant attack（Noise 和 Blackmarks 在 ImageNet 上对 transfer learning 鲁棒）。
   • 组合攻击：作者称 transfer learning + label smoothing 的组合攻击在 CIFAR-10 和 ImageNet 上移除全部 11 种水印。

   攻击类别有效性（Figure 4 雷达图）

   • 模型提取最有效：作者称几乎所有方案在 CIFAR-10 和 ImageNet 上都不抗模型提取攻击；transfer learning 最有效，只需从头训练约 40%（CIFAR-10）/ 约 25%（ImageNet）的时间。
   • 模型修改次之：能移除多数水印（ImageNet 上的 Jia 除外）；Uchida 只被自适应的 weight shifting 移除。
   • 输入预处理最弱：多数情况下不能移除水印，只会降低水印准确率；DeepSigns 因 feature permutation 例外。

   数据量与运行时间

   • 数据量消融（Figure 3a、3d）：CIFAR-10 上 retraining 至少需约 20k 无标签样本才能成功攻击，transfer learning 只需约 5k；ImageNet 上成功攻击至少需 500k 样本，超过 250k 后两者差距趋零。
   • 运行时间（Figure 2）：模型提取类攻击整体远慢于模型修改类；Knockoff Nets 最慢；嵌入时间均较短（CIFAR-10 上模型无关类约 20%、参数编码类约 9% 的训练时间），作者据此认为所有受评方案都高效。
   • 成本估算：作者称在 ImageNet 上从头训练 ResNet-50 约 100 小时、约 43 美元，transfer learning 约 23 小时、约 10 美元（按 0.43 美元/GPU 小时）。

   其他消融与分析

   • 自适应攻击：smooth retraining 是 CIFAR-10 上唯一能移除 DAWN 的攻击；feature permutation 只对 DeepSigns 有效；weight shifting 是 CIFAR-10 和 ImageNet 上唯一能移除 Uchida 的模型修改攻击。
   • embedding loss：两数据集上约 1 个百分点，例外是 DeepSigns 在 ImageNet 上超过 3 个百分点；DeepMarks 在两数据集上 embedding loss 最低（Figure 2c、2f）。
   • 决策阈值：Content、Noise、Frontier Stitching、Blackmarks 的阈值受参数选择影响，Table IV 给出最大计算值（附录 XV 有细节）。
   • DeepSigns 复现问题：作者在 ImageNet 上用 m>1 个高斯分布无法稳定嵌入，改用 m=1 个高斯、n=100 比特并交替训练才复现（附录 XII）。
   • 单类遗忘：作者观察到 Content、Jia 等方案嵌入时源模型可能遗忘单个类，ImageNet 上此时总测试精度只降约 0.1%，建议评估单类精度下降。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者给出鲁棒性评估指南并指出阈值估计可用性受限；实验仅覆盖两个图像分类数据集。

   作者指出的局限与后续方向

   • 决策阈值方法可用性受限（Section IX-A）：作者提出的经验阈值估计需要在 CIFAR-10 和 ImageNet 上训练许多无水印模型，"hence the usability is limited"。
   • 评估指南（Section IX-A）：建议在（i）小数据集、（ii）大输入尺寸数据集、（iii）类别数多的数据集上实验；列出攻击所用数据量与标签数；给出阈值推导方法；公开全部参数并在纳什均衡下评估；评估单类精度下降；报告相对从头训练的嵌入/移除运行时间。
   • 更严格的鲁棒性定义与评估（Section IX-B）：作者认为 DNN 水印鲁棒性需要更严格地定义和评估，许多先前工作针对不调整攻击的弱攻击者，或限制攻击者计算资源与预训练模型可用性。
   • 不等于水印不可能（Section IX-B）：作者称本文不意味着 DNN 水印不可行，并指出 fingerprinting 方案 [60] 显示了有前景的结果。
   • 组合攻击未探索（Section VIII-G）：作者称组合攻击对水印鲁棒性的威胁尚未被探索，本文显示其可构成威胁。
   • WRT 开源（Section VIII-A）：作者计划将 WRT 以开源代码发布（"will be made available"），供后续方案复用其攻击者模型评估。

   实验覆盖范围

   • 被测水印方案共 11 种，攻击方法共 29 种，均列于 Table II 和 Table III。
   • 数据集为 CIFAR-10 和 ImageNet 两个图像分类数据集，transfer 数据集为 Open Images；模型架构为 Wide ResNet 28x10、ResNet-50，跨架构实验用 DenseNet-121。
   • 决策阈值估计用 100 个密钥、CIFAR-10 30 个 / ImageNet 20 个无水印模型；阈值估计另用了 torchvision 的 20 个预训练模型（附录 XV）。
   • 论文未报告每种"方案 × 攻击"组合的完整数值结果（称将通过交互式图表公开），正文只给出汇总性结论。
   • 论文未报告攻击的查询次数；smooth retraining 的查询次数仅写明 n=3。

   收起这一问

6. 06总结一下论文的主要内容

   作者系统评测后称：11 种 DNN 水印方案无一鲁棒，模型提取攻击最有效，组合攻击可移除全部水印。

   这是一篇系统评测 DNN 水印鲁棒性的 SoK 论文（短版发表于 IEEE S&P'22）。

   • 问题：DNN 水印用于检测模型窃取，但各方案的鲁棒性声明只在少量攻击下孤立验证，缺乏统一评估，难以信任实际部署。
   • 方法：提出水印方案四类（模型相关/无关、参数编码、主动）与移除攻击三类（输入预处理、模型修改、模型提取）的分类体系；统一对抗模型覆盖白盒/黑盒与三种数据可用性；用纳什均衡在参数消融上选取双方最优参数；决策阈值用 100 个密钥和 20–30 个无水印模型经验估计（p=0.05）；全部方法实现于开源工具箱 WRT。
   • 新攻击：weight shifting（针对 Uchida、DeepMarks）、smooth retraining（针对 DAWN）、feature permutation（针对 DeepSigns）。
   • 主要结果：
     • 作者称 11 种方案在 CIFAR-10 和 ImageNet 上无一能抵御全部攻击（Figure 3、Table V）。
     • 模型提取类攻击最有效；transfer learning 在 CIFAR-10 上移除全部 11 种水印，但 ImageNet 上无 dominant attack。
     • transfer learning + label smoothing 的组合攻击在两个数据集上移除全部 11 种水印。
     • 成功攻击的数据门槛：CIFAR-10 上 transfer learning 约 5k 无标签样本、retraining 约 20k；ImageNet 至少 500k。
     • 成本：作者估算 ImageNet 上 transfer learning 攻击约 23 小时、约 10 美元。
   • 结论与启示：作者认为鲁棒性应在更广泛的攻击集合和更现实的对抗模型下评估，并给出评估指南（多数据集、阈值推导、参数消融、单类精度、运行时间）；作者称本文不意味着 DNN 水印不可行。

   收起这一问

相关论文