跳到正文
原文

针对机器学习的实用黑盒攻击

Practical Black-Box Attacks against Machine Learning

arXiv· arXiv:1602.02697· AsiaCCS 2017· Nicolas Papernot, Patrick McDaniel, Ian Goodfellow, Somesh Jha, Z. Berkay Celik, Ananthram SwamiPennsylvania State University; OpenAI; University of Wisconsin; US Army Research Laboratory本站收录· 23 天前· 原文发表入选 攻击精选关注度45

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

Papernot 等提出用目标模型当 oracle 打标签训练本地替代模型的黑盒攻击,作者报告 MetaMind 远程 DNN 误分类 84.24% 的对抗样本。

威胁模型black box 攻击:攻击者对目标 DNN 的架构、参数和训练数据一无所知,唯一能力是查询 oracle 并观察其返回的类别标签(不含概率);目标是让 oracle 把加最小扰动的对抗样本误分类到任意错误类别。

问题
已有对抗样本攻击需要了解模型内部结构或拥有训练数据,难以威胁真实部署的远程模型。作者要解决的是:攻击者只能查询远程 DNN 并观察返回标签时,能否实际构造出被其误分类的对抗样本。
方法
攻击者收集少量初始样本,用目标模型当 oracle 打标签,迭代训练本地替代模型,并用基于 Jacobian 的数据增强沿模型输出敏感方向合成新样本;随后在替代模型上用 Goodfellow 或 Papernot 算法构造对抗样本,依靠迁移性让目标模型误分类。
实验与结果
作者报告:MetaMind 远程 DNN 误分类 84.24% 的对抗样本(ε=0.3);Amazon 和 Google 托管模型分别误分类 96.19% 和 88.94%(LR 替代模型、800 次查询);本地 GTSRB oracle 在 ε=0.3 时迁移率 64.24%–69.03%;攻击可绕过对抗训练(小 ε)与 defensive distillation。
局限与可以继续做的
作者指出:防御有限扰动(如 ε=0.3 的对抗训练)可阻止该黑盒攻击;迁移性的统计分析只是直觉性解释,形式化处理留作未来工作;假设检验只用了 chi-square 一种方法,其他方法留作未来工作。实验覆盖 MNIST 与 GTSRB 两个图像数据集和 5 类分类器,未涉及其他数据类型。
实验设置MetaMind oracle (DNN hosted by MetaMind, trained on MNIST)、GTSRB oracle (locally trained DNN, architecture B) 等 · MNIST、GTSRB · transferability (oracle 误分类率)、success rate 等
威胁模型
black box 攻击:攻击者对目标 DNN 的架构、参数和训练数据一无所知,唯一能力是查询 oracle 并观察其返回的类别标签(不含概率);目标是让 oracle 把加最小扰动的对抗样本误分类到任意错误类别。受害系统为 MetaMind、Amazon、Google 托管的远程分类器及本地训练的 oracle。
被测模型
MetaMind oracle (DNN hosted by MetaMind, trained on MNIST)GTSRB oracle (locally trained DNN, architecture B)Local MNIST oracle (DNN architecture A)Amazon oracle (Amazon Machine Learning classifier, multinomial logistic regression)Google oracle (Google Cloud Prediction API classifier)LR oracle (logistic regression)SVM oracleDT oracle (decision tree)kNN oracle (nearest neighbor)Distilled DNN oracle (architecture A, T = 5, 10, 100)Adversarially trained oracle (Google Prediction API model and locally trained DNN)
基准
MNISTGTSRB
指标
transferability (oracle 误分类率)success ratesubstitute accuracylabel match rate
AI 导读和推荐理由Nicolas Papernot 等研究者在论文中称首次实用演示了针对远程托管机器学习模型的黑盒攻击,攻击者无需知道模型结构和训练数据,唯一能力是查询目标模型对选定输入给出的标签。攻击分两步:先用合成输入询问目标模型获取标签,借助基于 Jacobian 的数据增强训练替代模型;再在替代模型上构造对抗样本,利用迁移性使目标模型误分类。在 MetaMind 托管的 DNN 上,84.24% 的对抗样本被误分类;用逻辑回归替代模型攻击 Amazon 和 Google 托管的模型,误分类率分别为 96.19% 和 88.94%。论文还显示该攻击能绕过此前被认为可加大对抗样本构造难度的防御策略;作者已向 MetaMind、Amazon 和 Google 披露,实验仅使用自己账号下的模型,未造成损害。

Nicolas Papernot 等研究者在论文中称首次实用演示了针对远程托管机器学习模型的黑盒攻击,攻击者无需知道模型结构和训练数据,唯一能力是查询目标模型对选定输入给出的标签。攻击分两步:先用合成输入询问目标模型获取标签,借助基于 Jacobian 的数据增强训练替代模型;再在替代模型上构造对抗样本,利用迁移性使目标模型误分类。在 MetaMind 托管的 DNN 上,84.24% 的对抗样本被误分类;用逻辑回归替代模型攻击 Amazon 和 Google 托管的模型,误分类率分别为 96.19% 和 88.94%。论文还显示该攻击能绕过此前被认为可加大对抗样本构造难度的防御策略;作者已向 MetaMind、Amazon 和 Google 披露,实验仅使用自己账号下的模型,未造成损害。

推荐理由论文展示攻击者只需查询输出标签就能训练替代模型并迁移对抗样本,提供远程机器学习服务的团队可据此评估自身暴露面。

相关热点

0 个事件 · 2 条新闻提到

提到这篇论文的新闻

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者称首次实际演示:攻击者仅凭查询返回的标签即可控制远程托管的 DNN。

    核心问题:在攻击者对模型内部和训练数据一无所知、只能查询并获得类别标签的条件下,能否实际构造出让远程托管 DNN 误分类的对抗样本。

    • 场景与重要性:DNN 分类器易受对抗样本攻击(如恶意软件被判为良性、交通标志被误识别),作者认为这威胁依赖 ML 做决策的远程系统。
    • 现有方法不足:已有对抗样本攻击要么需要 DNN 架构与参数的细节知识,要么需要独立收集的同分布标注训练集来训练辅助模型,作者称这限制了其对真实攻击者的适用性。
    • 核心观察:对抗样本具有跨架构迁移性;若能用目标模型当 oracle 给合成数据打标签,就能在没有任何真实训练集的情况下训练出决策边界相近的本地替代模型。
    • 论文提出:一套黑盒攻击策略——用 Jacobian-based Dataset Augmentation 合成数据训练替代 DNN,再在替代模型上构造对抗样本攻击目标;并对 MetaMind、Amazon、Google 托管的真实模型做了作者所称"首个正确盲化"的评测。
    • 威胁模型(Section 3):
      • 目标:产生最小扰动的对抗样本,使 oracle 将其误分类到任意非正确类别(输出完整性攻击)。
      • 知识:对 DNN 架构(层数、类型、大小)和训练数据均不知情,即 black box。
      • 能力:唯一能力是对任意选定输入查询 oracle 并观察其返回的类别标签(argmax 标签,不含概率)。
      • 受害系统:第三方托管的远程多分类 DNN(实验中包括 MetaMind、Amazon、Google 的自动训练分类器)。
  2. 有哪些相关研究?

    论文把已有工作分为白盒对抗样本、替代模型攻击和模型窃取三类,并逐一指出其假设更强。

    白盒/强假设对抗样本攻击

    • Szegedy et al. [14] 与 Goodfellow et al. [4]——提出并解释对抗样本现象,给出 fast gradient sign 构造方法;论文指出这些工作评估扰动时需要 DNN 架构与参数的细节知识或独立收集的训练集。
    • Papernot et al. [9]——基于对抗显著性图的 source-target 误分类攻击,本文将其作为两种构造算法之一直接实现。

    替代模型与黑盒 evasion 攻击(论文在附录 C 集中批评)

    • Xu et al. [18]——用遗传算法 evade 恶意软件检测;论文指出它需要访问分类器输出的概率、代价高(6 天找到 500 个 evading 变体),且作者认为不太可能扩展到 DNN。
    • Srndic et al. [12]——训练替代模型寻找 evading 输入;论文指出其依赖昂贵的标注数据、只在随机森林和 SVM 上评估,并假设已知手工设计的高层特征。
    • Biggio et al. [2]、Huang et al. [5]、Barreno et al. [1]——早期 test-time evasion 与对抗机器学习安全工作,论文将其列为需要内部知识或训练集假设的一类。

    模型窃取

    • Tramèr et al. [15]——通过方程求解从 BigML 和 Amazon 恢复模型参数;论文指出其目标(精确提取参数)与本文不同、难以扩展到 DNN(恢复 2,225 参数需 108,200 次查询,而本文用 2,000 次查询训练超过 100,000 参数的替代 DNN)。

    防御与物理攻击

    • 防御:对抗训练 [4, 14, 17]、defensive distillation [10]、nearest neighbor 等梯度掩码思路;本文第 8 节将其作为评测对象。
    • Kurakin et al. [6]、Sharif et al. [11]——物理世界对抗样本,作为动机引用。

    基线与基准:攻击构造基线为 Goodfellow(fast gradient sign)与 Papernot(显著性图)两种算法;防御基线为对抗训练和 defensive distillation;数据集为 MNIST [7] 与 GTSRB [13]。

    作者定位:本文同时满足"只需标签、查询次数有限、适用于多种分类器类型"三个性质,作者称此前工作 [4, 14, 12, 15, 18] 未能同时提供这三点。

  3. 论文如何解决这个问题?

    用 oracle 打标签的合成数据迭代训练本地替代模型,再在替代模型上构造对抗样本并依靠迁移性攻击目标。

    整体思路:攻击者把目标模型当作只返回标签的 oracle,用 Jacobian-based Dataset Augmentation 合成训练数据,迭代训练一个本地替代模型(substitute)逼近 oracle 的决策边界,然后在替代模型上用已知白盒算法构造对抗样本,依靠跨模型迁移性使 oracle 误分类。

    问题形式化

    • 攻击目标是求最小扰动使 oracle 误分类:x̃∗ = x̃ + argmin{δ : Õ(x̃+δ) ≠ Õ(x̃)},其中 Õ(x̃) = argmaxj Oj(x̃) 是 oracle 返回的标签。
    • 黑盒条件下无法对非凸目标求梯度,因此用替代模型 F 近似 O,对 F 做梯度攻击。

    替代模型训练(Algorithm 1)

    1. 初始集合:收集很小的初始集 S0(如 MNIST 每类 10 张共 100–150 张,或手写数字 100 张),论文称不必来自 oracle 的训练分布。
    2. 架构选择:根据任务类型选架构(图像用卷积网络);第 6 节实验称架构类型对攻击成功率影响有限。
    3. 迭代训练:每个 substitute epoch ρ 执行——用 oracle 给当前集合打标签 → 从头训练替代 DNN → 做 Jacobian-based 数据增强。
    4. 数据增强:沿替代模型输出对输入最敏感的方向合成新点,Sρ+1 = {x̃ + λ · sgn(JF[Õ(x̃)]) : x̃ ∈ Sρ} ∪ Sρ,λ 为步长(正文主要用 λ=0.1)。作者称该启发式是为了用少量查询逼近 oracle 决策边界,而非追求替代模型精度。

    对抗样本构造

    • Goodfellow 算法(fast gradient sign):δ = ε · sgn(∇x̃ c(F, x̃, y)),参数 ε 控制扰动幅度,适合快速大量构造但扰动较大。
    • Papernot 算法:按对抗显著性值排序挑选输入分量扰动,参数为最大 distortion Υ 和输入变化 ε,扰动更小但计算更贵。

    校准与改进(Section 6)

    • 周期步长(PSS):每 τ 个 epoch 将 λ 乘以 −1,作者称可改善替代模型对 oracle 的近似。
    • Reservoir sampling(RS):ρ>σ 后每次只从已有集合随机选 κ 个样本做增强,把查询数从 n·2^ρ 降到 n·2^σ+κ·(ρ−σ),用于规避配额或检测。

    成功判定

    • success rate:对抗样本被替代模型误分类的比例;transferability:这些样本被 oracle 误分类的比例(主指标)。
    • 附录 B 用 chi-square 假设检验分析替代模型与 oracle 的代价梯度符号矩阵相关性,作为迁移性的直觉解释;作者称形式化处理留作未来工作。
  4. 论文做了哪些实验?

    攻击 MetaMind/Amazon/Google 托管模型与本地 oracle,迁移率 64.24%–96.19%,并评测了两种防御。

    实验设置

    • 目标模型:MetaMind API 自动训练的 DNN(MNIST,准确率 94.97%);Amazon Machine Learning(MNIST,准确率 92.17%,论文称文档表明是 multinomial logistic regression);Google Cloud Prediction(MNIST,准确率 92%,所用技术论文未找到);本地训练的 GTSRB oracle(DNN B);本地 MNIST oracle(DNN A);本地 LR/SVM/DT/kNN oracle;防御评测用本地 distilled oracle 与对抗训练 oracle。
    • 替代模型:DNN 架构 A–M(附录 A,Table 13/Figure 13)与 logistic regression(LR)替代。
    • 数据集:MNIST(60,000 训练 / 10,000 测试);GTSRB(43 类交通标志,本地划分 35,000 训练 / 4,000 验证 / 10,000 测试)。
    • 指标:success rate(替代模型误分类率)、transferability(oracle 误分类率)、label match rate(替代与 oracle 标签一致率)。
    • 构造设置:对抗样本从 10,000 张 MNIST 测试集生成;MetaMind 攻击用 6 个 substitute epoch、λ=0.1、每 epoch 训练 10 次(lr 10⁻²、momentum 0.9);初始集为 150 张 MNIST 测试样本或 100 张手写数字。
    • 评审方式:以 oracle 返回标签是否变化判定误分类,无 LLM 或人工评审;论文未报告重复次数。

    主结果

    据摘要、Table 3 与 Figure 5、7(ε=0.3,Goodfellow 构造):

    表格较宽,可左右滑动

    目标 oracle替代模型查询数误分类率
    MetaMind DNNDNN A(MNIST 初始集)6,40084.24%
    MetaMind DNNDNN A(手写初始集)6,40078.72%
    AmazonLR(ρ=3)80096.19%
    AmazonDNN(ρ=3)80087.44%
    GoogleLR(ρ=3)80088.94%
    GoogleDNN(ρ=3)80084.50%
    GTSRB 本地 oracleDNN C/D/E(ρ=6)论文未在 Figure 7 注明64.24%–69.03%
    • 作者称手写初始集与 MNIST 初始集的迁移率相近(除 ε=0.2 外均更低),说明攻击不依赖 oracle 训练数据。
    • 作者称 Amazon 模型易被攻击是因为 LR 这类浅模型难以学出鲁棒分类器;Google 所用技术论文未找到。
    • Table 3 最后一行:PSS+RS 把查询从 6,400 降到 2,000,Amazon DNN 替代误分类率仅从 96.78% 降到 95.68%,Google LR 替代为 97.72%(高于未改进的 92.05%)。

    替代模型校准(Section 6,本地 MNIST oracle)

    • 架构影响:Table 1 显示 9 种替代架构(A、F–M)在 ε=0.4、ρ=6 时迁移率 43.48%–75.74%;去掉所有卷积层下降最多,激活函数换 sigmoid 影响不大;Figure 8 中渐近迁移率 72.24%–80.21%(A 为 oracle 副本,作基线)。
    • epoch 数:ε≤0.3 时增加 epoch 迁移率提升 +3% 到 +9%,ε≥0.4 时反而略降不到 1%。
    • 步长 λ:λ=0.3 相比 0.1 降低迁移率(ε=0.25 时 10.82% 对 22.35%;ε=0.5 时 82.07% 对 85.22%)。
    • 构造算法对比:固定 L1 范数下两算法迁移率相近;Papernot 算法中 distortion Υ 从 7.14% 升到 28.57%,平均迁移率从 14.70% 升到 55.53%;ε 从 1 降到 0.7 迁移率约降一半(Figure 9、10)。

    泛化到其他分类器(Section 7)

    • 标签一致率:DNN/LR 替代模型对 DNN、LR、SVM、kNN oracle 在 ρ=10 后一致率 77%–83%,DT oracle 例外(作者称可能因其非连续性);LR 替代在 ρ=3(800 次查询)即达渐近。
    • 改进效果(Table 2,ρ=9):DNN 替代对 DNN oracle 一致率从 78.01%(vanilla)升到 89.28%(PSS),加 RS 后 82.90%;DT oracle 各变体均较低(38.44%–62.75%)。

    防御评测(Section 8)

    • 对抗训练(Table 4,本地 oracle):训练 ε=0.15 时黑盒攻击(S→O)成功率最高 71.25%(攻击 ε=0.4);训练 ε=0.3 时 S→O 仅 1.31%–10.30%,作者称此时黑盒攻击不再有效。作者结论:对小扰动的鲁棒化属于 gradient masking 可被绕过,对更大有限扰动的鲁棒化能阻止该攻击。
    • Defensive distillation(Figure 12,本地 distilled oracle):白盒直接攻击被蒸馏(T=5/10/100)防住,但用替代模型的黑盒攻击在各种温度下仍成功;作者解释是替代模型未蒸馏、仍有所需梯度。

    其他消融与分析

    • 替代模型精度:MetaMind 攻击中两个替代 DNN 在 MNIST 测试集上分别为 81.20% 和 67.00%(Figure 4)。
    • GTSRB 替代 D 精度 60.12% 低于 C/E 的 71.42%,但迁移率相当或更高,作者称替代精度与迁移率无强相关。
    • 附录 B:替代 DNN 与 oracle 梯度符号矩阵的 χ² 分数 61,403(A)到 88,813(G),P 值低于 10⁻⁵,作者称二者高度相关;随机矩阵对 χ² 为 596、P=0.99。
  5. 有什么可以进一步探索的点?

    作者指出对有限扰动的鲁棒化可挡住攻击,迁移性的形式化分析留作未来工作。

    作者指出的局限与后续方向

    • 对有限扰动的鲁棒化可阻止攻击(Section 8):作者称使模型对更大、有限扰动鲁棒(如 ε=0.3 的对抗训练)能防止该黑盒攻击,并认为防御有限扰动比防御无穷小扰动是更有前景的未来方向。
    • 迁移性解释只是直觉(附录 B):作者称对迁移性的统计检验只提供直觉,"形式化处理留作未来工作"。
    • 假设检验方法单一(附录 B):作者称只选了基于 chi-square 的简单检验,其他假设检验技术的研究留作未来工作。
    • 防御评测受限(Section 8):远程 API 未实现 defensive distillation 也不提供相关原语,作者称"被迫"在本地训练的 oracle 上评估该防御;对抗训练在 Google API 上只能近似实现(不能每步注入对抗样本),正确实现需本地训练。

    实验覆盖范围

    • 被攻击的远程服务为 MetaMind、Amazon、Google 三家,均针对 MNIST 分类;本地 oracle 覆盖 MNIST 与 GTSRB 两个图像数据集。
    • 目标分类器类型共 5 种:DNN、logistic regression、SVM、decision tree、nearest neighbor(Section 7)。
    • 替代模型为 DNN(架构 A–M)与 LR 两类;攻击构造只用 Goodfellow 与 Papernot 两种算法,论文注明也可用其他算法但未实验。
    • 防御评测覆盖对抗训练与 defensive distillation 两种 proactive 防御;reactive(检测类)防御未做实验,作者称攻击可通过多用户分摊查询而难以检测。
    • 论文未报告实验重复次数与方差;Google 模型所用 ML 技术论文未找到;Figure 7 各柱对应的替代架构与查询数未在图注中写明。
  6. 总结一下论文的主要内容

    作者称提出并验证了仅凭标签查询即可攻击远程托管模型的黑盒对抗样本方法。

    一篇关于黑盒对抗样本攻击的论文(ASIA CCS '17),作者称首次实际演示攻击者在不了解模型架构、参数和训练数据的情况下控制远程托管 DNN。

    • 问题:已有对抗样本攻击假设攻击者知道模型内部或拥有同分布训练集;本文假设攻击者只能查询 oracle 并观察返回的类别标签。
    • 方法:用目标模型给合成数据打标签,迭代训练本地替代模型(DNN 或 LR),核心是基于 Jacobian 的数据增强沿输出敏感方向扩增样本;再在替代模型上用 Goodfellow 或 Papernot 算法构造对抗样本,依靠迁移性使目标误分类;辅以周期步长和 reservoir sampling 降低查询数。
    • 主要结果:
      • MetaMind 远程 DNN 误分类 84.24% 的对抗样本(MNIST 初始集、ε=0.3)。
      • Amazon 与 Google 托管模型分别误分类 96.19% 与 88.94%(LR 替代、800 次查询、ε=0.3,Table 3)。
      • 本地 GTSRB oracle 在 ε=0.3 时迁移率 64.24%–69.03%(Figure 7)。
      • 攻击泛化到 LR、SVM、DT、kNN 目标,替代模型与 oracle 标签一致率 77%–83%(DT 例外)。
      • 黑盒攻击绕过 defensive distillation 和小扰动(ε=0.15)的对抗训练(成功率最高 71.25%),但被 ε=0.3 的对抗训练挡住(Table 4)。
    • 作者结论:该攻击放松了以往对攻击者能力的强假设,能 evade 作者称为 gradient masking 的一类防御;作者认为防御有限扰动比防御无穷小扰动更有前景,迁移性的形式化分析留作未来工作。作者已向 MetaMind、Amazon、Google 披露攻击,且实验只针对自己账号创建的模型。

相关论文

共同使用 GTSRB
共同使用 MNIST
再看 3 篇
共同使用 MNIST
阅读原文AsiaCCS 2017