跳到正文
原文

高精度与高保真度的神经网络提取

High Accuracy and High Fidelity Extraction of Neural Networks

arXiv· arXiv:1909.01838· Matthew Jagielski, Nicholas Carlini, David Berthelot, Alex Kurakin, Nicolas PapernotNortheastern University; Google Research本站收录· 23 天前· 原文发表入选 攻击精选关注度41

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者将模型提取攻击按准确度和保真度分类,提出查询更省的学习式提取和针对两层ReLU网络的函数等价提取,在MNIST上达100%测试集保真度。

威胁模型攻击者目标分两类:theft(窃取模型,追求task accuracy)与reconnaissance(侦察,追求fidelity,为对抗样本、成员推理等后续白盒攻击做准备)。

问题
模型提取攻击中,攻击者仅凭对远程模型的查询访问窃取模型副本。作者认为以往工作混淆了两种目标:在任务上表现好(accuracy)与在所有输入上匹配受害模型预测(fidelity),二者对不完美的受害模型相互冲突。
方法
作者将提取攻击按accuracy与fidelity分类,并各设计一种攻击:学习式攻击用受害模型作标注oracle、结合半监督学习(rotation loss、MixMatch)提升查询效率;函数等价攻击通过临界点搜索、权重恢复、符号恢复和最小二乘直接重建两层ReLU网络的权重;另提出混合策略用学习修复直接提取的数值误差。
实验与结果
学习式攻击在10亿张专有图像训练的WSL模型上使提取模型超过ImageNet标签基线;MixMatch在SVHN/CIFAR10上250次查询即超过全监督4000次查询。函数等价攻击在MNIST小模型上达100%测试集保真度,混合策略将128神经元模型保真度从80%提升至99.75%,对抗样本迁移成功率100%。
局限与可以继续做的
作者指出函数等价攻击仅适用于两层网络,扩展到更深网络需解决临界点分层、间接控制输入和数值误差问题;攻击假设双精度logit访问,被限制输出信息的防御措施破解;梯度匹配混合方法需梯度查询,作者将扩展和去除该假设留作未来工作。
实验设置WSL model、WideResNet-28-2 等 · ImageNet、SVHN 等 · task accuracy、fidelity 等
威胁模型
攻击者目标分两类:theft(窃取模型,追求task accuracy)与reconnaissance(侦察,追求fidelity,为对抗样本、成员推理等后续白盒攻击做准备)。攻击者仅有对远程oracle的查询访问,模型访问级别从label到logits不等;函数等价攻击假设可观察64位浮点logit输出,学习式攻击假设有任务相关的公开无标注数据。受害系统是远程部署的神经网络分类器。
被测模型
WSL modelWideResNet-28-2one-layer fully-connected neural networks (16–512 hidden units, MNIST/CIFAR-10)Fashion-MNIST oracle
基准
ImageNetSVHNCIFAR10Fashion-MNISTMNIST
指标
task accuracyfidelitytop-5 accuracytop-5 fidelitytransferability ratequery count
AI 导读和推荐理由Google 等机构研究者将模型提取攻击按任务精度与预测保真度两个目标分类,并实现仅凭输入输出访问即可直接恢复两层 ReLU 网络权重的功能等价提取。学习式攻击用受害者模型标注公开数据,查询效率较此前方法提升 16 倍,查询在 10 亿张 Instagram 图像上训练的 WSL 模型(1.93 亿参数)约 13 万次后,ResNet-v2-50 和 ResNet-v2-200 提取模型的 ImageNet 准确率分别比仅用 ImageNet 标签训练高出 1.0% 和 1.9%。实验显示学习式提取存在保真度上限,即使完全掌握受害模型的训练设置,在 Fashion-MNIST 上保真度也仅约 93.4%。

Google 等机构研究者将模型提取攻击按任务精度与预测保真度两个目标分类,并实现仅凭输入输出访问即可直接恢复两层 ReLU 网络权重的功能等价提取。学习式攻击用受害者模型标注公开数据,查询效率较此前方法提升 16 倍,查询在 10 亿张 Instagram 图像上训练的 WSL 模型(1.93 亿参数)约 13 万次后,ResNet-v2-50 和 ResNet-v2-200 提取模型的 ImageNet 准确率分别比仅用 ImageNet 标签训练高出 1.0% 和 1.9%。实验显示学习式提取存在保真度上限,即使完全掌握受害模型的训练设置,在 Fashion-MNIST 上保真度也仅约 93.4%。

推荐理由论文将模型提取按任务精度与预测保真度分类,并展示只需输入输出访问即可精确恢复两层网络权重的功能等价攻击。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者将模型提取按accuracy与fidelity两种目标分类,并针对各目标分别设计攻击方法。

    核心问题:攻击者仅凭对远程部署模型的查询访问,能多大程度上窃取该模型的副本——既包括在任务上表现好(accuracy),也包括在所有输入上匹配受害模型的预测(fidelity)。

    • 问题场景与重要性:神经网络常以预测服务形式部署并暴露给潜在攻击者,而模型本身因训练成本高和安全隐私顾虑属于专有资产。作者称,已有工作发现拥有查询访问权限的攻击者可以窃取与受害模型高度一致的副本。
    • 现有方法的不足:作者认为以往工作大多只考虑accuracy目标,且任务准确度和保真度提取通常使用通用的学习式方法;作者论证学习式策略存在固有局限,无法达到真正的高保真(即函数等价)提取。
    • 核心观察:作者指出accuracy与fidelity对不完美的受害模型相互冲突——高保真提取应复制受害模型的错误,而高准确度提取应做出正确预测;函数等价提取是保真度的极限情形。
    • 论文提出的内容:一个围绕accuracy与fidelity的提取攻击分类体系;一种利用受害模型作标注oracle、结合半监督学习的学习式攻击;一种针对两层ReLU网络、仅需输入输出访问的函数等价提取攻击;以及结合两者的混合策略。
    • 威胁模型:
      • 攻击者目标:分theft(窃取模型本身,追求task accuracy)与reconnaissance(侦察,追求fidelity,为对抗样本、成员推理、overlearning等后续白盒攻击做准备)。
      • 攻击者知识:分domain knowledge(任务相关知识,如公开无标注数据)、deployment knowledge(架构、训练过程、训练数据)、model access(查询返回的信息)三类。
      • 攻击者能力:仅能查询oracle;模型访问级别从仅label、label and score、top-k scores、scores到logits不等;函数等价攻击假设可观察64位浮点logit输出。
      • 受害系统:远程部署的神经网络分类器(实验中包括10亿张专有图像训练的WSL模型和MNIST/CIFAR-10上的全连接网络)。
  2. 有哪些相关研究?

    相关工作按提取目标、学习式方法、直接恢复和防御四类组织,作者将已有攻击逐一归入其分类体系。

    学习式提取(accuracy与fidelity)

    • Tramèr et al. [11]——通过预测API窃取模型,涵盖线性模型与神经网络,目标为task accuracy与fidelity;本文的完全监督基线即来自该工作。
    • Copycat CNN [16]、Knockoff Nets [12]——用随机无标注数据或黑盒查询学习CNN功能,目标为task accuracy。
    • Papernot et al. [7]、Pal et al. [15]——主动学习式提取,目标为fidelity;Papernot et al. 的动机是用提取模型发起黑盒对抗样本攻击。

    函数等价/直接恢复提取

    • Lowd & Meek [8]、Chandrasekaran et al. [13]——针对线性模型的函数等价提取,仅需标签。
    • Milli et al. [19]——针对两层神经网络的直接权重恢复,但假设攻击者可做梯度查询;作者指出该攻击未实际实现,本文的函数等价攻击是其扩展,去掉了梯度查询假设。
    • Batina et al. (CSI NN) [25]——通过功耗侧信道提取神经网络权重;作者称这是此前唯一实际实现的直接提取,但威胁模型更强,本文攻击不需要侧信道。

    理论难度与相关分析

    • Das et al. [27]——证明深度随机网络在SQ学习模型下需要exp(O(h))样本才能学习,作者据此论证多数学习式提取方法会继承这一低效性。
    • Carlini et al. [44]——prototypicality度量,本文附录B用其分析保真度与样本典型性的相关性。

    防御

    • 限制每次查询的信息量:扰动返回概率 [11, 13, 49]、只返回部分类别概率 [11]、只返回类别 [11, 13]、对模型参数分布采样 [13, 50]。
    • 区分良性与恶意用户:分析查询模式 [51, 52];作者指出非自适应攻击(如监督或MixMatch提取)可绕过基于查询模式的检测。
    • 其他:水印 [54, 55]、混淆 [56]、安全多方计算 [57];另有窃取超参数 [53] 和架构信息 [14] 的工作,作者认为与本文正交且兼容。

    基线与基准:学习式攻击的基线是用ImageNet真实标签直接训练的模型(Table 2中"ImageNet"列)和完全监督提取(FS);基准为ImageNet、SVHN、CIFAR10、Fashion-MNIST、MNIST。

    作者将本文定位为:围绕accuracy与fidelity对提取攻击空间做系统化分类,学习式攻击在查询效率上改进已有技术,函数等价攻击则是作者所称的首个仅需输入输出访问的实用函数等价提取。

  3. 论文如何解决这个问题?

    作者为两种目标各设计一种攻击:半监督学习式提取提升查询效率,函数等价攻击直接重建两层网络权重。

    整体思路是按目标分治:学习式攻击用受害模型作标注oracle训练提取模型,并用半监督学习提升查询效率;函数等价攻击利用ReLU网络的分段线性结构,通过查询直接恢复两层网络的权重;混合策略用学习修复直接提取的数值误差。

    分类体系与理论难度

    • 目标分三级:task accuracy extraction(匹配或超过受害模型准确率)、fidelity extraction(最大化 Prx∼ DF S(Ô(x), O(x)),本文只考虑标签一致)、functionally equivalent extraction(对所有输入预测一致)。
    • 作者给出三个难度结果:Theorem 1构造宽度3k、深度2的网络,需Θ(p^k)次查询才能提取;Theorem 2(非正式)称给定权重判断两网络是否函数等价是NP-hard;Theorem 3(引自[27])称随机网络在SQ模型下需exp(O(h))样本。
    • 作者据此论证:实用的函数等价攻击必须做出额外假设以避开这些病态情形。

    学习式提取(第4节)

    • 完全监督基线:攻击者查询oracle获得训练点的标签与分数,用交叉熵损失训练提取模型;实验用蒸馏温度T=1.5(随机搜索选定),架构为ResNet-v2-50和ResNet-v2-200。
    • Rotation loss:模型在倒数第二层增加一个旋转预测器,预测输入被施加的{0°, 90°, 180°, 270°}旋转;该损失在无标注数据上计算,与标注数据的分类损失共同训练。
    • MixMatch:结合猜测标签、正则化和图像增广的半监督技术,在SVHN和CIFAR10上验证;oracle用WideResNet-28-2训练,攻击者拿到同一训练集但无标签。

    函数等价提取(第6节)

    • 设定与假设:仅针对单隐层ReLU网络,权重记为A(0) ∈ R^{d×h}、A(1) ∈ R^{h×K};假设攻击者可观察64位浮点logit输出,且A(0)行线性无关(作者称因d比h大至少100,实践中成立)。
    • 四阶段算法:1) 临界点搜索——沿直线u+tv扫描,用2-线性测试(Algorithm 1)在O(1)次查询内以20+位精度定位恰好一个ReLU处于临界点的输入;2) 权重恢复——在临界点处沿各输入方向测二阶偏导,得到相邻线性区域之差,恢复每行权重向量的绝对值比例;3) 符号恢复——利用A(0)的零空间向量z和仅激活单个ReLU的方向v_i,比较O_L(z)、O_L(z+v_i)、O_L(z−v_i)确定每行符号;4) 末层提取——用最小二乘求解第二层。
    • 查询复杂度:附录D分析总查询量为O(dh),作者称在不含辅助信息时提取本身需Ω(dh)次查询,因此该算法在常数因子意义下查询最优。

    混合策略(第7节)

    • 梯度匹配:优化 ∑i H(O(xi), f(xi)) + α|∇x O(xi) − ∇x f(xi)|22,即同时匹配预测与输入梯度;需要梯度查询,作者将扩展和去除该假设留作未来工作。
    • 学习式误差恢复:固定直接提取得到的第一层权重Â(0),仅用一个可训练参数调整第一层偏置,再用梯度下降求解其余权重,以修复梯度估计约万分之一失败率引入的误差。
  4. 论文做了哪些实验?

    实验覆盖学习式提取(WSL/ImageNet、SVHN/CIFAR10)、学习式保真度上限、函数等价提取和混合策略。

    实验设置

    • 受害模型:WSL模型(193M参数,在10亿张Instagram图像上训练,ImageNet top-1准确率84.2%、top-5为97.2%);SVHN/CIFAR10上用WideResNet-28-2训练的oracle(准确率分别为97.36%和95.75%);MNIST/CIFAR-10上16至512隐单元的单隐层全连接网络(约12,000至100,000参数,每种规模训练5个)。
    • 数据集:ImageNet(攻击者用其训练集作无标注数据,取10%约130,000点或100%约1.3M点)、SVHN(训练集73,257张)、CIFAR10(训练集50,000张)、Fashion-MNIST(第5节)、MNIST(第6节)。
    • 基线:用ImageNet真实标签直接训练的模型;完全监督提取(FS)。
    • 指标:task accuracy与fidelity(标签一致率);Table 2报告top-5 accuracy/top-5 fidelity,Table 3报告accuracy/fidelity;函数等价攻击报告测试集保真度与查询次数。
    • 重复次数:MixMatch与FS各跑5次试验,报告每次试验最近20个checkpoint的中位数;第5节非确定性实验重复10次;函数等价攻击对每种规模5个网络各提取一次,结果取平均。

    主结果

    学习式提取WSL模型(据Table 2,数值为top-5 accuracy/top-5 fidelity,%):

    表格较宽,可左右滑动

    架构数据比例ImageNetWSLWSL-5ImageNet+RotWSL+RotWSL-5+Rot
    ResNet_v2_5010%81.86/82.9582.71/84.1882.97/84.5282.27/84.1482.76/84.7382.84/84.59
    ResNet_v2_20010%83.50/84.9684.81/86.3685.00/86.6785.10/86.2986.17/88.1686.11/87.54
    ResNet_v2_50100%92.45/93.9393.00/94.6493.12/94.87N/AN/AN/A
    ResNet_v2_200100%93.70/95.1194.26/96.2494.21/95.85N/AN/AN/A
    • 作者称能查询WSL的攻击者总是优于仅用ImageNet标签的基线,即使只返回top 5概率。
    • 作者称rotation loss对ResNet_v2_50提升不大,但对ResNet_v2_200带来(1.36/1.80)的提升,与10%数据下WSL标签带来的提升相当;高数据 regime下WSL标签带来(0.56/1.13)的提升。
    • 正文另报告:10%数据下攻击者使ResNetv2-50准确率提升1.0%、ResNet_v2_200提升1.9%(正文未注明该数字对应哪一列指标)。

    MixMatch半监督提取(Table 3)

    • 测了什么:SVHN与CIFAR10上,FS与MixMatch在250/1000/4000次查询下的accuracy/fidelity。
    • 结果:250次查询时MixMatch在SVHN达(95.82/96.38)、CIFAR10达(87.98/88.79),超过FS在4000次查询的(94.25/94.71)与(86.51/87.37);4000次查询时MixMatch与oracle准确率差距在SVHN为0.29%、CIFAR10为2.46%。
    • 作者解读:作者称MixMatch利用无标注数据建立先验,使其在极少标签下有效;其方差略高于FS但远小于性能差距。

    学习式提取的保真度上限(Table 4)

    • 测了什么:Fashion-MNIST上控制初始化与SGD随机性,测10次重复提取模型间在测试集、FGSM对抗样本(ε=25/255)和均匀随机输入上的一致率。
    • 结果:测试集一致率在93.1%–93.7%之间(固定全部随机性93.7%,不固定93.4%);对抗样本上降至65.3%–73.6%,均匀输入上为59.0%–65.7%。
    • 作者解读:即使攻击者掌握受害模型的确切训练集,学习式提取在测试集上也无法超过约93.4%保真度;作者认为受害模型与提取模型训练过程的非确定性会叠加,限制学习式方法达到高保真。

    函数等价提取与混合策略(Table 6、7、8)

    • 函数等价攻击(Table 6):MNIST上12,500/25,000/50,000参数模型测试集保真度均为100%,100,000参数为99.98%(10,000个测试样本中仅2个不一致);查询次数从2^17.2到2^20.2。CIFAR-10结果在控制模型规模后与MNIST相同:少于200,000参数时100%一致,更大模型超过99%。
    • 混合策略(Table 7):50,000/100,000参数保真度100%,200,000为99.95%,400,000为99.31%(注意该表模型规模比Table 6大4倍);正文另报告此前最差的128神经元网络保真度从80%升至99.75%。
    • 迁移性(Table 8):对混合策略提取的模型跑20步PGD(MNIST ε=0.1,CIFAR-10 ε=0.03),所有规模(50,000–400,000参数)对抗样本迁移成功率均为100%。
    • 与已有工作对比:作者称Batina et al. [25]的侧信道攻击平均权重误差为0.0025,本文第一层权重矩阵平均误差为0.0000009;作者称无法比较保真度,因为[25]未报告该指标。

    其他消融与分析

    • 权重精度:第一层权重矩阵平均重建精度23位;Figure 6显示16神经元MNIST模型logit差值的精度分布(附录C)。
    • 错误来源:约1/10,000的概率梯度估计出错,导致单个权重出现不可忽略的误差并传播到偏置与第二层(第6.7节)。
    • Prototypicality:附录B报告所有度量都发现典型性与模型一致率相关,不用模型集成的度量(adversarial distance、holdout-retraining)相关性最好。
    • oracle准确率:附录C Table 9列出MNIST oracle准确率94.3%–98.3%、CIFAR-10为29.2%–45.9%。
  5. 有什么可以进一步探索的点?

    作者列出函数等价攻击的扩展障碍、防御假设等局限,实验覆盖两层网络与图像分类任务。

    作者指出的局限与后续方向

    • 函数等价攻击仅适用于两层网络;扩展到更深网络需解决三个问题:产生属于特定层的临界点、在无法直接控制输入的情况下恢复权重、降低数值误差(第6.7节"Difficulties Extending the Attack")。
    • 梯度匹配混合方法需要梯度查询这一额外模型访问,作者将扩展该技术并去除其模型访问假设留作未来工作(第7.1节)。
    • 作者称函数等价攻击被限制输出信息的防御措施(扰动概率、只返回部分类别、只返回标签等)破解,将防御感知攻击留作未来工作(第8节)。
    • 保真度提取只考虑了标签一致这一种相似度函数,作者将探索其他相似度函数留作未来工作(第3.2节)。
    • 攻击者可能不知道模型的输入特征或类别集合,作者称初步调查认为这些不是限制性假设,但将正式处理留作未来工作(第3.4.2节)。
    • 学习式提取假设攻击者能收集公开无标注数据,作者认为生成模型的进展可能去除该假设,留作未来工作(第3.4.1节);结论中还提到降低攻击所需能力、扩展函数等价提取等开放问题(第9节)。

    实验覆盖范围

    • 学习式提取的受害模型为WSL模型(ImageNet,193M参数)和SVHN/CIFAR10上的WideResNet-28-2;提取模型架构为ResNet-v2-50/200与WideResNet-28-2。
    • 函数等价攻击的被测模型为MNIST与CIFAR-10上16至512隐单元的单隐层全连接ReLU网络,每种规模训练5个,最大约100,000参数(混合策略到400,000参数)。
    • 非确定性实验在Fashion-MNIST上用完全监督SGD,重复10次;MixMatch与FS各5次试验。
    • 防御评测仅通过Table 2中WSL-5列(只返回top 5概率)体现;论文未对函数等价攻击实测任何防御。
    • 论文未报告函数等价攻击的运行耗时;未报告学习式攻击的总查询预算以外的成本指标。
  6. 总结一下论文的主要内容

    作者系统化模型提取攻击,分别改进学习式提取的查询效率并实现实用的函数等价提取。

    一篇关于模型提取攻击的系统化研究,作者围绕accuracy(任务表现)与fidelity(预测一致)两种目标对攻击分类,并各设计一种攻击。

    • 问题:远程部署的模型是专有资产,作者认为以往工作混淆了两种提取目标,且学习式方法存在固有局限,无法达到函数等价的保真度。
    • 方法:学习式攻击用受害模型作标注oracle,结合rotation loss与MixMatch等半监督技术;函数等价攻击利用ReLU网络的分段线性结构,经临界点搜索、权重恢复、符号恢复、最小二乘四步直接重建两层网络权重,仅需输入输出访问;混合策略用学习修复直接提取的数值误差。
    • 学习式结果:在10亿张专有图像训练的WSL模型上,查询WSL总优于ImageNet标签基线;MixMatch在SVHN/CIFAR10上250次查询即超过全监督4000次查询,4000次查询时与oracle准确率差距分别为0.29%和2.46%(Table 3)。
    • 保真度上限:Fashion-MNIST上即使固定全部训练随机性,学习式提取测试集保真度峰值93.7%,不固定时93.4%(Table 4)。
    • 函数等价结果:MNIST上12,500–50,000参数模型测试集保真度100%,100,000参数为99.98%(Table 6);混合策略将128神经元网络保真度从80%升至99.75%,提取模型的对抗样本迁移成功率100%(Table 8)。
    • 作者结论:作者称混合方法统一了两种攻击路线,并指出降低攻击所需能力、将函数等价提取扩展到更深网络等仍是开放问题。

相关论文

共同使用 SVHN
再看 3 篇
共同使用 ImageNet
  • TranScope

    TranScope:利用 CPU 性能计数器对 Transformer 做成员推断攻击

    攻击arXiv
共同使用 CIFAR10
共同使用 SVHN
阅读原文arxiv.org