跳到正文
原文

机器学习中的迁移性:从现象到使用对抗样本的黑盒攻击

Transferability in Machine Learning: from Phenomena to Black-Box Attacks using Adversarial Samples

arXiv· arXiv:1605.07277· Nicolas Papernot, Patrick McDaniel, Ian GoodfellowThe Pennsylvania State University; OpenAI本站收录· 21 天前· 原文发表入选 攻击精选关注度47

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者研究对抗样本跨模型迁移性,用800次查询训练替代模型,对Amazon和Google托管分类器实现96.19%和88.94%的误分类率。

威胁模型攻击者对受害分类器仅有oracle访问权限:可对自选输入查询预测标签(不含概率),模型的类型、参数和训练数据均未知;攻击者本地训练替代模型,制作对抗样本并迁移到远程oracle。

问题
机器学习模型易受对抗样本攻击,且对抗样本常能迁移到架构或训练数据不同的模型。作者研究这种迁移性在多大程度上支持对内部未知的远程分类器发起黑盒攻击。
方法
作者系统测量五种机器学习技术(DNN、LR、SVM、DT、kNN)及集成模型的技术内与跨技术迁移率;改进基于Jacobian的数据增强替代模型训练,引入周期步长(PSS)和蓄水池采样(RS);并提出针对SVM和决策树的对抗样本制作算法。
实验与结果
在MNIST上,LR制作的对抗样本对SVM和DT的迁移误分类率分别达91.43%和87.42%;仅用800次oracle查询训练的LR替代模型,对Amazon和Google托管分类器的误分类率分别达96.19%和88.94%;对抗训练防御无效。
局限与可以继续做的
作者指出:SVM替代模型无法近似非SVM oracle;DT oracle的标签匹配率仅约48%;无法验证Google所用技术,也无法部署蒸馏等防御;训练时投毒攻击尚待研究。实验仅在MNIST上进行。
实验设置deep neural network (DNN)、logistic regression (LR) 等 · MNIST · misclassification rate、transferability rate 等
被测模型
deep neural network (DNN)logistic regression (LR)support vector machine (SVM)decision tree (DT)nearest neighbors (kNN)ensemble (Ens.)Amazon Machine Learning oracleGoogle Cloud Prediction oracle
基准
MNIST
指标
misclassification ratetransferability ratelabel match rate
AI 导读和推荐理由论文把基于对抗样本迁移性的黑盒攻击推广到多种机器学习模型,仅用 800 次查询就让 Amazon 与 Google 的商用分类器分别误分类 96.19% 和 88.94% 的对抗样本。作者在 MNIST 上考察 DNN、逻辑回归、SVM、决策树、kNN 与集成模型,发现同一技术内部和跨技术的迁移都普遍成立,例如为逻辑回归构造的样本在 SVM 和决策树上分别有 91.43% 和 87.42% 被误分类。他们新增了针对 SVM 与决策树的对抗样本构造方法,并用 DNN 与逻辑回归学习替代模型;周期性步长把替代模型与目标标签的一致率从 78.01% 提高到 89.28%(DNN 替代模型对 DNN 目标)。引入蓄水池采样后,10 轮数据增强的查询数从 102,400 降到 3,600,替代模型质量略有下降但仍优于原始方法。

论文把基于对抗样本迁移性的黑盒攻击推广到多种机器学习模型,仅用 800 次查询就让 Amazon 与 Google 的商用分类器分别误分类 96.19% 和 88.94% 的对抗样本。作者在 MNIST 上考察 DNN、逻辑回归、SVM、决策树、kNN 与集成模型,发现同一技术内部和跨技术的迁移都普遍成立,例如为逻辑回归构造的样本在 SVM 和决策树上分别有 91.43% 和 87.42% 被误分类。他们新增了针对 SVM 与决策树的对抗样本构造方法,并用 DNN 与逻辑回归学习替代模型;周期性步长把替代模型与目标标签的一致率从 78.01% 提高到 89.28%(DNN 替代模型对 DNN 目标)。引入蓄水池采样后,10 轮数据增强的查询数从 102,400 降到 3,600,替代模型质量略有下降但仍优于原始方法。

推荐理由论文给出跨模型类型的对抗样本迁移率矩阵,并用 800 次查询在 Amazon 与 Google 的商用分类器上验证黑盒攻击。

相关热点

0 个事件 · 2 条新闻提到

提到这篇论文的新闻

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者研究对抗样本迁移性如何支持对内部未知的远程机器学习分类器发起黑盒攻击。

    核心问题:对抗样本的迁移性是否足以让攻击者在几乎不了解受害模型的情况下,对各类机器学习分类器(包括非深度学习模型)发起黑盒攻击。

    • 场景与重要性:许多机器学习模型易受对抗样本攻击——精心构造的输入导致模型输出错误。作者指出,针对一个模型制作的对抗样本常能影响另一个模型,即使两者架构或训练集不同,只要任务相同。这可用于破坏欺诈检测、绕过内容过滤或误导自主导航系统。
    • 现有方法不足:此前工作(如[22, 12, 24])主要研究至少一方是神经网络的迁移;[20]的替代模型黑盒攻击仅针对DNN目标,且替代模型本身也是DNN,查询次数随迭代指数增长。
    • 核心观察与假设:作者提出两个假设——(1)技术内和跨技术迁移性在整个机器学习技术空间中都是强现象;(2)黑盒攻击在实际场景中对任何未知机器学习分类器都可行。
    • 论文贡献:作者提出针对SVM和决策树的对抗样本制作算法;系统测量跨技术迁移矩阵;用周期步长和蓄水池采样改进替代模型训练;并对Amazon和Google的商业分类服务实施黑盒攻击。
    • 威胁模型:
      • 目标:迫使远程分类器对攻击者制作的输入产生误分类。
      • 知识:攻击者不知道模型类型、参数或训练数据;对Google所用技术完全未知(作者称Amazon文档表明其使用多项逻辑回归)。
      • 能力:仅拥有oracle访问权限——可对自选输入查询预测标签(不含置信度概率)。
      • 受害系统:Amazon Machine Learning和Google Cloud Prediction托管的分类器,以及本地训练的DNN、LR、SVM、DT、kNN和集成模型。
  2. 有哪些相关研究?

    论文建立在对抗样本与黑盒替代模型攻击之上,扩展到非深度学习模型,并与知识迁移和对抗机器学习文献相区分。

    对抗样本与迁移性

    • Szegedy et al. [22](2014)——发现神经网络的对抗样本现象,提出优化问题公式(Equation 1)。
    • Goodfellow et al. [12](2015)——提出fast gradient sign method制作对抗样本,并指出逻辑回归等浅层模型难以抵抗对抗样本。
    • Warde-Farley and Goodfellow [24](2016)——研究深度神经网络的对抗扰动。

    黑盒攻击与替代模型

    • Papernot et al. [20](2016)——提出基于Jacobian数据增强的替代模型训练方法,用受害DNN作oracle标注合成训练集,对MetaMind API实施黑盒攻击;本文直接扩展该方法,引入周期步长和蓄水池采样,并将目标从DNN推广到多种机器学习技术。
    • Papernot et al. [19](2016)——提出基于Jacobian的迭代对抗样本制作方法。

    对抗机器学习安全评估

    • Barreno et al. [1](2006)、Biggio et al. [5](2014)——机器学习安全评估系列工作;作者指出这些工作假设已知模型架构和参数,与本文威胁模型不同。
    • Biggio et al. [4](2013)——针对SVM的逃逸攻击;作者称自己针对SVM的制作方法计算效率更高,无需优化。
    • Biggio et al. [7](2012)、Kloft and Laskov [15](2010)——训练时投毒攻击;作者指出这些工作假设已知训练数据或底层模型,且投毒威胁模型 largely 未被探索。

    知识迁移

    • Bucila et al. [9](2006)、Chen et al. [10](2016)、Hinton et al. [13](2014)——模型压缩与知识蒸馏;作者将替代模型学习定位为知识迁移的实例。

    基线与基准:实验在MNIST数据集上进行;黑盒攻击的基线是[20]的原始(vanilla)Jacobian数据增强方法,对比加入PSS和RS的改进版本。

    作者将本文定位为:[20]黑盒攻击的推广——从DNN目标推广到任意机器学习分类器,从DNN替代模型推广到LR和SVM,并降低查询成本。

  3. 论文如何解决这个问题?

    作者先系统测量跨模型迁移率,再改进替代模型训练(PSS+RS),最后对商业API实施oracle黑盒攻击。

    整体思路分三步:在MNIST上系统测量五种机器学习技术的技术内与跨技术对抗样本迁移率;改进基于Jacobian的替代模型训练以降低查询成本并推广到LR、SVM替代模型;利用迁移性对Amazon和Google托管的远程分类器实施黑盒攻击。

    迁移性形式化与实验设计

    • 形式化定义:对抗样本迁移性 ΩX(f, f′) = {x̃ ∈ X : f′(x̃) ≠ f′(x̃ + δx)},即对模型f制作的对抗样本被模型f'误分类的比例;分为技术内(同技术不同参数/数据)和跨技术两种。
    • 模型集合:DNN、LR、SVM、DT、kNN五种技术,外加由这5个模型多数投票组成的集成模型(Equation 3);技术内实验将训练集分为5个不相交子集(各10,000样本)训练25个模型。
    • 参数设置:fast gradient sign method的输入变化参数ε=0.3(技术内)或0.25(跨技术,匹配L1范数11.5%);SVM制作算法ε=1.5(技术内)或ε=5(跨技术);DT制作的扰动L1范数仅1.05%,无法匹配。

    替代模型学习(Section 4)

    • 基于Jacobian的数据增强:用oracle标注的初始小训练集(MNIST测试集前100个样本)训练替代模型,再沿替代模型Jacobian符号方向扩展训练点(Equation 4),迭代ρ轮。
    • 周期步长(PSS):每隔τ轮将步长λρ乘以−1(Equation 5),作者称可改善oracle近似质量;实验设τ=3。
    • 蓄水池采样(RS):从第σ轮后每轮仅从既有训练集中随机选κ个新输入增强,将oracle查询数从n·2^ρ降至n·2^σ+κ·(ρ−σ);实验设σ=3、κ=400,10轮迭代查询3,600次而非102,400次。
    • SVM数据增强:针对SVM提出沿决策超平面正交方向选择新点的增强启发式(Equation 7)。

    对抗样本制作算法(Section 6)

    • DNN/LR/kNN:使用fast gradient sign method(Equation 8);kNN使用soft-min平滑变体(Equation 11)以便求导。
    • SVM:沿正确类对应二分类器权重向量的正交方向扰动输入(Equation 13),作者称无需优化、计算效率高于[4]。
    • 决策树:作者称这是首个针对决策树的对抗样本制作算法(Algorithm 2)——在叶节点邻域搜索不同类别的叶子,修改样本使路径上的条件按目标叶子求值。

    黑盒攻击流程(Section 5.1)

    1. 攻击者用Section 4方法本地训练替代模型(DNN或LR)近似远程oracle。
    2. 对替代模型应用对应的对抗样本制作算法生成对抗样本。
    3. 依靠技术内或跨技术迁移性,使这些样本同时欺骗远程oracle。

    成功判定:10,000个对抗样本中被远程oracle误分类的比例(误分类率)。

  4. 论文做了哪些实验?

    作者在MNIST上测量迁移率与替代模型保真度,并用800次查询对Amazon和Google分类器实现96.19%和88.94%误分类率。

    实验设置

    • 被测模型:DNN、LR、SVM、DT、kNN五种技术的本地模型(技术内实验各5个共25个;跨技术实验各1个加1个集成模型);远程目标为Amazon Machine Learning和Google Cloud Prediction训练的分类器。
    • 数据集:MNIST手写数字数据集(50,000训练样本、10,000验证样本、10,000测试样本,28x28灰度图)。
    • 基线:vanilla Jacobian数据增强(无PSS/RS)的替代模型。
    • 指标:迁移率(对抗样本被其他模型误分类的百分比);替代模型与oracle的标签匹配率;远程oracle的误分类率。
    • 评审方式:无人工或LLM评审,直接比较模型预测标签。
    • 样本量:每个模型制作10,000个对抗样本;替代模型初始训练集100个样本。

    主结果

    跨技术迁移矩阵(Figure 3,行=制作样本的源模型技术,列=受害模型技术)与黑盒攻击结果(Table 3、Table 4,ε=0.3):

    表格较宽,可左右滑动

    实验条件结果出处
    跨技术迁移源LR → 目标SVM91.43%正文
    跨技术迁移源LR → 目标DT87.42%正文
    跨技术迁移目标DT(各源)47.20%–89.29%Figure 3
    跨技术迁移目标DNN(各源)0.82%–38.27%Figure 3
    Amazon攻击LR替代,ρ=3,800查询96.19%Table 3
    Amazon攻击DNN替代,ρ=6,6,400查询96.78%Table 3
    Google攻击LR替代,ρ=3,800查询88.94%Table 4
    Google攻击LR替代+PSS+RS,ρ=6,2,000查询97.72%Table 4
    • 作者称跨技术迁移是强但异质的现象:DT最脆弱,DNN最具抵抗力;集成模型不具抵抗力(对LR制作的样本达44.14%),可能因为各专家自身脆弱。
    • 技术内迁移(Figure 2b-2f):所有技术均脆弱;LR模型间迁移率超过94%,DNN至少49%;SVM、DT、kNN的对角线更突出,作者称这些技术在一定程度上更鲁棒,SVM可能源于间隔约束,DT和kNN可能源于不可微性。
    • 作者称Amazon文档显示其使用"industry-standard"多项逻辑回归,这解释了为何LR替代模型表现更好;Google所用技术未披露,实验保持盲测。

    替代模型保真度实验

    • 测了什么:DNN和LR替代模型对5种oracle(DNN、LR、SVM、DT、kNN)的标签匹配率,比较vanilla、PSS、PSS+RS三种变体(Table 2,ρ=9)。
    • 结果:DNN替代+PSS对DNN oracle匹配89.28%(vanilla 78.01%);LR替代+PSS对LR oracle匹配84.01%(vanilla 72.00%);DT oracle匹配率最低(DNN替代+PSS+RS仅48.62%);RS将查询从102,400降至3,600次,匹配率介于vanilla与PSS之间。
    • 作者解读:PSS提高近似质量;RS以有限质量损失大幅降低查询数;DT匹配率低可能因其不可微性。

    SVM替代模型与防御评测

    • SVM替代模型:训练18个SVM替代模型;SVM替代仅匹配SVM oracle标签的79.80%,对DNN和LR oracle仅11.98%和11.97%,PSS/RS无改善。作者认为SVM无法从非SVM oracle迁移知识,可能因SVM训练和决策边界的特异性。
    • 防御评测:将对抗样本加入MNIST训练集重新训练Google oracle(对抗训练);新oracle准确率91.25%,但对新DNN替代制作的样本仍被误分类94.2%(ρ=3)和100%(ρ=6)。作者称该防御无效,可能因为Google使用浅层技术,但无法验证;蒸馏防御[21]因无法控制训练过程而无法部署。

    其他消融与分析

    • LR替代模型收敛更快:ρ=4(1,600次查询)即达渐近匹配率,且计算成本更低(Section 4.3)。
    • 递减步长幅度λ的实验未带来实质改善(Section 4.1)。
    • Amazon攻击中,PSS+RS将DNN替代的查询从6,400降至2,000次,误分类率仅从96.78%降至95.68%(Table 3)。
    • LR替代模型在Amazon攻击中未从PSS+RS获益,作者认为可能因为LR替代学习收敛快(Section 5.2)。
  5. 有什么可以进一步探索的点?

    作者指出SVM替代学习、DT近似和防御部署等局限,并建议未来改进替代学习与探索投毒攻击。

    作者指出的局限与后续方向

    • SVM替代模型失败:SVM替代无法近似非SVM oracle(Section 4.4);作者认为未来工作应研究替代增强技术以确认该发现。
    • DT oracle匹配率低:替代DNN对DT oracle的标签匹配率仅约48%,作者认为可能因决策树不可微(Section 4.2)。
    • 防御无效或无法部署:对抗训练防御无效;蒸馏等防御因缺乏对Google训练过程的控制而无法部署,作者无法就如何保护该服务提出建议(Section 5.3)。
    • Google技术未知:作者无法确认Google Cloud Prediction使用的机器学习技术,防御失败"很可能"源于浅层模型一说无法验证(Section 5.3、Section 7)。
    • 未来方向:继续改进替代模型学习以提高准确率和对抗样本迁移率;训练时投毒攻击仍 largely 待研究(Section 8)。
    • 输入验证开放问题:作者称机器学习算法输入的验证仍是开放问题(Section 8)。

    实验覆盖范围

    • 被测本地模型为DNN、LR、SVM、DT、kNN五种技术加1个集成模型,远程目标为Amazon和Google各1个分类器,均在MNIST上训练。
    • 数据集仅MNIST;技术内实验每技术5个模型(共25个),跨技术实验每技术1个模型。
    • 替代模型实验的oracle为5种本地技术模型及2个远程分类器;替代模型类型为DNN、LR、SVM。
    • 黑盒攻击仅针对Amazon和Google两个MLaaS平台,初始替代训练集100个样本,最少查询800次。
    • 防御评测仅对抗训练一种;论文未报告人工评估、统计显著性检验或多次重复实验。
  6. 总结一下论文的主要内容

    作者系统研究对抗样本跨机器学习技术的迁移性,据此用800次查询对Amazon和Google分类器实施黑盒攻击。

    一篇关于对抗样本迁移性及其黑盒攻击应用的实证研究(2016年)。作者要解决的问题:对抗样本迁移性是否普遍存在于各类机器学习技术中,并足以支持对内部未知的远程分类器发起实际黑盒攻击。

    • 方法要点:在MNIST上测量DNN、LR、SVM、DT、kNN及集成模型的技术内与跨技术迁移率;提出针对SVM(沿决策超平面正交方向扰动)和决策树(搜索对抗叶子并修改路径条件)的制作算法;用周期步长(PSS)和蓄水池采样(RS)改进基于Jacobian的替代模型训练,将查询数从指数增长降至线性。
    • 迁移性结果:跨技术迁移普遍存在——LR制作的样本对SVM和DT的迁移误分类率分别达91.43%和87.42%;DT最脆弱(47.20%–89.29%),DNN最具抵抗力(0.82%–38.27%);集成模型不具抵抗力。
    • 替代模型结果:DNN和LR替代模型对多数oracle的标签匹配率超过80%(如DNN替代+PSS对DNN oracle达89.28%),但DT oracle仅约48%;SVM替代模型无法近似非SVM oracle。
    • 黑盒攻击结果:仅用800次oracle查询训练的LR替代模型,对Amazon和Google托管分类器的误分类率分别达96.19%和88.94%;PSS+RS进一步将Google攻击在2,000次查询下的误分类率提升至97.72%。
    • 防御结果:对抗训练防御无效——重新训练的Google oracle仍被误分类最高100%。
    • 作者结论:黑盒攻击普遍适用于各类机器学习分类器,无论其结构如何;作者呼吁对机器学习系统的输入进行验证,并称这仍是开放问题。

相关论文

共同使用 MNIST
再看 3 篇
共同使用 MNIST
阅读原文arxiv.org