跳到正文
原文

纠缠水印作为防御模型窃取的方法

Entangled Watermarks as a Defense against Model Extraction

arXiv· arXiv:2002.12200· Hengrui Jia, Christopher A. Choquette-Choo, Varun Chandrasekaran, Nicolas PapernotUniversity of Toronto; Vector Institute; University of Wisconsin-Madison本站收录· 16 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理（AI 生成），以原文为准

作者提出 EWE 水印防御模型窃取：用 SNNL 纠缠水印与任务数据，窃取副本平均保留 38.39% 水印（基线 5.77%），95% 置信度下查询少于 100 次即可主张所有权。

威胁模型攻击者目标是在不保留水印的前提下窃取模型。

问题
模型窃取攻击难以在不牺牲准确率的情况下防御；现有水印与任务分布无关，攻击者只用任务分布数据提取模型即可去除水印。
方法
提出 Entangled Watermark Embedding（EWE）：在训练损失中加入各层 Soft Nearest Neighbor Loss，让水印数据与目标任务类数据在表示层纠缠，并用梯度选触发器位置、FGSM 优化水印样本。
实验与结果
在 MNIST、Fashion MNIST、CIFAR-10/100、Speech Commands 上，窃取副本平均保留 38.39% 水印（基线 5.77%），准确率平均损失 0.81 个百分点；剪枝、fine-pruning、Neural Cleanse 均无法有效去除。
局限与可以继续做的
作者指出：扩展到更深架构和更复杂数据集时准确率—水印鲁棒性权衡变差（CIFAR-100 上两者都下降）；计算开销增加 1.5–2 倍；知道 EWE 参数即可完全去除水印；m-to-n 水印、层选择等留作未来工作。
实验设置CNN (2 conv + 2 FC)、RNN (80 LSTM cells) 等 · MNIST、Fashion MNIST 等 · watermark success rate、validation accuracy 等
威胁模型
攻击者目标是在不保留水印的前提下窃取模型。假设攻击者知道训练数据（但不知标签）、用任务分布数据做提取、知道模型架构、知道部署了水印，但不知道水印参数和触发器；作者称其为强大的 white-box 攻击者。受害系统是被部署做推理的分类模型。
被测模型
CNN (2 conv + 2 FC)RNN (80 LSTM cells)ResNet-18
基准
MNISTFashion MNISTCIFAR-10CIFAR-100Google Speech CommandsSVHNGTSRBLISA Traffic Sign Dataset
指标
watermark success ratevalidation accuracyanomaly indexCKA similarity
AI 导读研究者提出纠缠水印嵌入（EWE），让模型同时学习任务分布数据与水印数据的特征，使攻击者移除与正常数据纠缠的水印时必须牺牲在正常数据上的性能。作者指出，传统水印是任务分布之外的异常输入输出对，容易被压缩或知识迁移去除。在 MNIST、Fashion-MNIST、CIFAR-10 和 Speech Commands 上的实验显示，防御者用不到 100 次查询就能以 95% 置信度对被窃模型主张所有权，防御模型性能平均下降低于 0.81 个百分点。

研究者提出纠缠水印嵌入（EWE），让模型同时学习任务分布数据与水印数据的特征，使攻击者移除与正常数据纠缠的水印时必须牺牲在正常数据上的性能。作者指出，传统水印是任务分布之外的异常输入输出对，容易被压缩或知识迁移去除。在 MNIST、Fashion-MNIST、CIFAR-10 和 Speech Commands 上的实验显示，防御者用不到 100 次查询就能以 95% 置信度对被窃模型主张所有权，防御模型性能平均下降低于 0.81 个百分点。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    现有 DNN 水印与任务分布分离，易被模型窃取去除；论文提出纠缠水印 EWE 作为防御。

    核心问题：如何让 DNN 水印在模型窃取（model extraction）后仍然存活，从而让防御方能主张被盗模型的所有权。

    • 场景与动机：训练 ML 模型成本高，部署的模型是有价值的知识产权；攻击者通过查询受害模型、用返回的标签训练替代模型（substitute model）即可窃取。作者认为，不牺牲良性用户准确率就很难阻止窃取。
    • 现有方法不足：水印让模型过拟合到防御者才知道的离群输入-输出对上，但作者指出这正是其弱点——水印是任务分布外的离群点，攻击者只用任务分布数据查询，窃取出的模型只保留任务相关的决策面，水印随之丢失（§3 用解析例子和神经元激活实验说明）。
    • 核心观察：作者称带水印模型大致把参数分成两个子模型，一个编码任务分布、一个过拟合水印；Figure 2 显示基线水印模型中合法数据与水印数据激活的是不同且更少的神经元。
    • 论文方案：提出 Entangled Watermark Embedding（EWE），用 soft nearest neighbor loss 让模型用同一组参数同时识别任务数据和水印，使去除水印必然损害窃取模型的任务准确率。
    • 威胁模型（§4 开头）：
      • 目标：提取一个不含水印的模型副本。
      • 知识：知道受害模型的训练数据（但不知标签）、知道模型架构、知道部署了水印。
      • 能力：用任务分布的数据点进行提取（重训练式提取）。
      • 限制：不知道水印校准参数（κ、温度）和触发器；作者称其为强大的 white-box 攻击者，并称该假设与先前工作一致。

  2. 有哪些相关研究？

    相关工作分模型窃取攻击、窃取防御、ML 水印三组；基线是 Adi et al. 的交叉熵水印。

    模型窃取攻击

    • Tramèr et al. [51] 提出通过预测 API 窃取模型，给出三种均匀采样技术；Papernot et al. [43] 用基于 Jacobian 的数据增强训练替代模型。论文聚焦这类"只靠查询预测、窃取准确率相近副本"的攻击。
    • 论文明确排除两类：需要大量查询获得功能等价模型的差分查询方法 [19, 35]，以及依赖侧信道信息的攻击 [3]。

    针对窃取的防御

    • 一类对策限制或修改每次查询返回的信息，如降低概率向量精度（量化）、只返回最可能标签、返回随机标签或加噪 [19, 51, 29]。论文指出这些对策都在模型对良性用户的效用与抗窃取能力之间存在固有权衡。

    ML 水印

    • 水印源于媒体知识产权保护 [22]；Zhang et al. [56] 和 Nagai et al. [38] 提出基于数据投毒的水印算法；Rouhani et al. [10]（DeepSigns）在各层概率密度函数中嵌入比特。论文指出这些方法的共同点是把水印当作任务分布外的离群点，因此可被提取去除——这是论文点名的根本局限。
    • 水印可被视为"用于善的后门注入"[15, 1]；Adi et al. [1] 通过后门给 DNN 加水印。

    基线与基准：主结果（Table 1）的基线是 Adi et al. [1] 式水印——只用交叉熵让水印被分进目标类（即 κ = 0）；防御评测对照的后门防御为 pruning、fine-pruning [31] 和 Neural Cleanse [53]。实验基准为 MNIST、Fashion MNIST、CIFAR-10、CIFAR-100、Google Speech Commands。

    本文定位：作者称先前水印把水印任务与主任务分开学习，EWE 则让两者联合学习，从而在提取后仍保留水印行为。

  3. 论文如何解决这个问题？

    EWE 在训练损失中加入各层 SNNL，迫使水印与目标任务类共享表示，使提取无法剥离水印。

    整体思路：既然水印被去除的根源是模型把水印和任务学成两个独立子模型，就让两者在表示空间纠缠——用同一组神经元识别。方法名为 Entangled Watermark Embedding（EWE），见 Algorithm 1。

    核心工具：Soft Nearest Neighbor Loss

    • 采用 Frosst et al. [12] 的 SNNL 度量表示空间中不同组数据流形的纠缠程度：SNNL(X,Y,T) = −1/N∑i log (∑j: yi=yj e−||xi−xj||2/T)/(∑k≠ i e−||xi−xk||2/T)，即同类点平均距离与全体点平均距离之比，温度 T 控制距离尺度。
    • 最小化 SNNL 使各类成簇分离，最大化 SNNL 使簇重叠；EWE 对水印与目标类数据最大化纠缠（在总损失中取负号）。

    步骤 1：生成水印

    • 防御者选水印分布 Dw 和源类 cS，采样 Xw，打上语义不同的目标类 cT 标签；Dw 可与任务数据集相同（in-distribution）或来自相关数据集（OOD 水印）。
    • 触发器位置取 SNNL 对候选输入梯度最大的区域（Algorithm 1 第 2 行卷积），避免触发器改变 Xw 语义使其接近 cT。
    • 可选步骤：用 FGSM 对水印做梯度上升（交替优化交叉熵与 SNNL），降低模型对目标类的置信；作者称选 FGSM 是因为单步大扰动比 PGD 更易在模型间迁移，且本文不关心水印不可感知性。

    步骤 2–3：修改损失并训练

    • 总损失为 L = LCE(X,Y) − κ · ∑l=1L SNNL([Xw(l), XcT(l)], Y′, T(l))，即在每一层表示上纠缠水印与目标类数据，κ 控制水印鲁棒性与任务准确率的权衡。
    • 训练时每 r 个正常批次插入 1 个 [Xw, XcT] 混合批次；正常批次 κ = 0 只优化交叉熵，混合批次 κ > 0。温度 T 按学习率 α 在训练中自动微调，无需手调。

    所有权验证

    • 防御者对疑似被盗模型查询水印样本，用 T 检验判断水印成功率是否超过虚警率（设为随机猜测 100/K%，作者称其为保守上界）。
    • 按中心极限定理（n > 30 时成功率近似正态），Figure 4 给出 95% 置信度所需查询数：水印成功率高于 23% 时只需约 30 次查询；作者称 EWE 观测到的最低成功率 18.74%（CIFAR-10）也只需不到 100 次查询。

  4. 论文做了哪些实验？

    在 5 个数据集、3 种架构上对比 EWE 与基线：提取后 EWE 平均保留 38.39% 水印，基线 5.77%。

    实验设置

    • 被测架构：CNN（2 卷积 + 2 全连接，用于 MNIST/Fashion MNIST）、RNN（80 个 LSTM 单元，用于 Speech Commands）、ResNet-18（用于 Fashion MNIST/CIFAR-10/CIFAR-100）。
    • 数据集：MNIST（70,000 张）、Fashion MNIST、Google Speech Commands（约 40,000 训练样本，转 Mel 频谱图）、CIFAR-10（60,000 张）、CIFAR-100；OOD 水印取自 Fashion MNIST/MNIST/SVHN。
    • 基线：Adi et al. [1] 式水印，仅用交叉熵把水印分入目标类（κ = 0）。
    • 指标：watermark success rate（水印被分为 cT 的比例，正文报告时减去虚警率）与 validation accuracy；Table 1 数值带标准差（重复次数论文未明确写出）。
    • 提取方式：让受害模型给自己的训练数据打标签，重训练副本（white-box 攻击者仅用交叉熵、仅用合法数据重训练）。
    • 所有权判定：T 检验，95% 置信度，虚警率设为随机猜测（§4.3.1）。

    主结果

    Table 1：受害模型与提取后模型的验证准确率 / 水印成功率（%）。

    表格较宽，可左右滑动

    数据集方法受害模型准确率受害水印成功率提取后准确率提取后水印成功率
    MNISTBaseline / EWE99.03 / 98.9199.98 / 99.998.79 / 98.760.31 / 65.68
    Fashion MNISTBaseline / EWE90.48 / 90.3198.76 / 87.8389.8 / 89.828.96 / 58.1
    Speech CommandBaseline / EWE98.11 / 97.598.67 / 96.4997.3 / 96.833.55 / 41.65
    Fashion MNIST (ResNet)Baseline / EWE91.64 / 88.3375.6 / 94.2491.05 / 88.275.68 / 24.63
    CIFAR10Baseline / EWE85.82 / 85.4119.9 / 25.7481.62 / 81.787.83 / 18.74
    CIFAR100Baseline / EWE54.11 / 53.858.37 / 67.8747.42 / 47.628.31 / 21.55
    • 作者总结：提取后 EWE 水印成功率 18%–60%、平均 38.39%，基线 0.3%–9%、平均 5.77%；验证准确率平均仅降 0.81 个百分点，最大 3 个百分点（ResNet on Fashion MNIST）。
    • 作者称该成功率足以在 95% 置信度下用不到 100 次查询主张所有权。
    • 例外：CIFAR-100 上基线与 EWE 的水印成功率都低（作者归因于类别多、表示空间复杂）；ResNet 上纠缠更难，作者称残差连接利于线性、水印与合法数据无共享特征，因此改用 OOD 水印。

    纠缠程度验证（§4.3.2）

    • 表示可视化：Figure 3 用 PCA 投影倒数第二层表示，基线把水印推向独立簇，EWE 使水印与 cT = 7 的数据簇重叠（作者称）。
    • 激活模式：Figure 2 显示 EWE 模型中水印与合法数据激活模式更相似；Figure 20（附录 A.3）显示 CNN 各层越深层表示越相似。
    • CKA 相似度：Figure 5 显示 SNNL 惩罚权重 κ 越大，水印与合法数据表示的 CKA 相似度越高（相对 κ = 0 基线）。

    抗后门防御（§5.3）

    • Pruning：Figure 8 显示要把提取模型的水印成功率压到 20% 以下，任务准确率需下降超过 40 个百分点；作者称此时模型对攻击者已无价值。
    • Fine-pruning：Figure 9 显示最有利设置下提取模型水印成功率仍在 20% 左右（已剪枝 50% 神经元），作者称仍足以主张所有权。
    • Neural Cleanse：Fashion MNIST 上 EWE 平均异常指数 1.24（5 次运行），低于检测阈值 2；基线为 8.84，会被检出。Figure 11 的 UMAP 投影显示基线使类 8 与类 0 簇靠近而 EWE 不明显改变簇间距离（作者称）。

    自适应攻击（§6）

    • Disentangling：攻击者知道 EWE 全部参数、仅猜源-目标类对，用 κ < 0 提取。Fashion MNIST 上水印成功率从 48.81% 降到 22.82%（猜错）或 6.34%（猜对）；MNIST 上从 41.62% 降到 30.14%（猜错）或 0.08%（猜对）；Speech Commands 平均降到 16.81%。作者称猜错时仍可用约 30 次（视觉）或近 100 次（语音）查询主张所有权，猜对需训练 K(K−1) 个模型、违背窃取目的。
    • Piracy 攻击：攻击者用 EWE 嵌入自己的水印造成归属歧义；作者用 fine-pruning 应对，Figure 12 显示剪枝不到 10% 神经元可去除盗版水印而所有者水印保留。
    • 异常检测：Table 2 显示 LOF 检出 99.93% 水印、准确率损失 7.00 个百分点；Isolation Forest 检出 92.82%、损失 8.64 个百分点（Fashion MNIST，最后隐藏层激活）。
    • 迁移学习：GTSRB → LISA，Figure 13 显示只微调全连接层准确率最高 98.25%、水印不受影响；微调全部层达 98.56% 并随学习率增大开始削弱水印，但作者称水印被去除前预训练知识已丢失。

    其他消融与分析

    • 温度 T（Figure 14）：对鲁棒性影响不大，作者归因于训练中自动微调。
    • 权重 κ（Figure 15）：κ 越大水印越鲁棒、任务准确率越低。
    • 比例 r（Figure 16）：Fashion MNIST 上 r > 3 时水印可被提取去除，r < 1 时任务准确率下降。
    • 源-目标类对（Figure 17、25）：Fashion MNIST 上类中心余弦相似度越高水印越鲁棒；Speech Commands 上趋势不明显。
    • 深度（Figure 19）：增加卷积层的普通 CNN 仍可纠缠；Figure 24 显示 CIFAR-100 上类别数增多时基线与 EWE 准确率都更低。

  5. 有什么可以进一步探索的点？

    作者列出扩展性、计算开销、层选择等局限与未来方向；实验覆盖 5 个数据集、3 种架构。

    作者指出的局限与后续方向

    • 参数保密是前提（§6.1）：若攻击者知道 EWE 的触发器和参数，可完全去除水印（拒分类、最小化 SNNL 解纠缠、重训练触发器）；作者称这不属于其威胁模型，参数作用类似密钥。
    • 扩展到更深架构和更复杂数据集时权衡变差（§7 Scalability、§4.3.4）：CIFAR-100 结果提示扩展到更大数据集可能需要更多工作；类别数影响 EWE 表现，作者怀疑是表示空间更复杂。
    • 计算开销（§7）：水印数据集应比合法数据集小 2 倍，意味着训练数据变为原来 1.5–2 倍；作者称需要更详细分析确认该现象是否存在于更复杂任务。
    • 效用改进（§7）：某些应用不接受哪怕小的效用下降；作者认为计算 SNNL 时把 ReLU 换成更平滑的 Sigmoid 可能更容易达到同样性质。
    • 层选择（§7）：Figure 20 显示只在最后几层加 SNNL 即可获得所需保证且效用略升，如何选择层留作未来工作。
    • 未来方向（§7）：研究触发器设计与表示空间结构对源-目标类选择的影响；从 1-to-1 扩展到 m-to-n 水印；确定超参与数据集性质的关系（§7 Hyperparameter Selection）。结论（§8）称"把 EWE 扩展到复杂任务且不大损准确率仍是开放问题"。

    实验覆盖范围

    • 被测架构为 CNN、RNN（LSTM）、ResNet-18 共 3 种；数据集为 MNIST、Fashion MNIST、CIFAR-10、CIFAR-100、Google Speech Commands 共 5 个，另有 GTSRB→LISA 迁移实验。
    • 防御评测覆盖 pruning、fine-pruning、Neural Cleanse 三种后门防御，以及 disentangling、piracy、异常检测（LOF、Isolation Forest）、迁移学习四种自适应攻击。
    • 提取攻击为重训练式（用受害模型标注的训练数据重训练）；论文明确排除差分查询的高保真提取和侧信道攻击（§2.2）。
    • 所有权验证用 T 检验、95% 置信度，虚警率设为随机猜测；Neural Cleanse 异常指数为 5 次运行的均值。
    • 论文未报告 Table 1 各数值的重复次数，也未报告提取所用的查询预算具体数值。

  6. 总结一下论文的主要内容

    EWE 通过纠缠水印与任务表示，使模型窃取无法剥离水印，平均保留 38.39% 水印且准确率仅降 0.81 个百分点。

    一篇针对模型窃取的 DNN 水印防御论文（USENIX Security 2021）。

    • 问题：现有水印是任务分布外的离群点，攻击者只用任务分布数据提取模型即可去除水印；作者用解析例子和神经元激活实验说明带水印模型实为两个独立子模型。
    • 方法：Entangled Watermark Embedding（EWE）在训练损失中加入各层 Soft Nearest Neighbor Loss，迫使水印数据与目标类数据共享表示；触发器位置按 SNNL 梯度选取，可选 FGSM 优化水印；温度 T 训练中自动学习，权重 κ 控制鲁棒性—准确率权衡。
    • 主结果（Table 1）：在 MNIST、Fashion MNIST、Speech Commands、CIFAR-10/100 上，重训练提取后 EWE 水印成功率 18.74%–65.68%、平均 38.39%，基线仅 0.31%–8.96%、平均 5.77%；验证准确率平均损失 0.81 个百分点，最大 3 个百分点。作者称足以在 95% 置信度下用不到 100 次查询主张所有权。
    • 鲁棒性：pruning 需牺牲超 40 个百分点准确率才能把水印压到 20% 以下；Neural Cleanse 异常指数 1.24 低于阈值 2（基线 8.84）；对 disentangling、piracy、异常检测、迁移学习四种自适应攻击，作者称攻击者同样面临"no free lunch"——去除水印须牺牲窃取模型的效用。
    • 例外：CIFAR-100 上基线与 EWE 水印成功率都低；ResNet 上纠缠更难，需改用 OOD 水印。
    • 作者结论：EWE 让窃取者无法在不损害副本准确率的前提下去除水印；扩展到更复杂任务且不大损准确率仍是开放问题。

相关论文

共同使用 GTSRB
共同使用 SVHN
再看 3 篇
共同使用 CIFAR-100
阅读原文arxiv.org