跳到正文
原文

GRAPHITE:为计算机视觉系统的机器学习攻击生成自动物理样本

GRAPHITE: Generating Automatic Physical Examples for Machine-Learning Attacks on Computer Vision Systems

arXiv· arXiv:2002.07088· EuroS&P 2022· Ryan Feng, Neal Mangaokar, Jiefeng Chen, Earlence Fernandes, Somesh Jha, Atul PrakashUniversity of Michigan, Ann Arbor; University of Wisconsin, Madison本站收录· 23 天前· 原文发表攻击

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出 GRAPHITE 框架,在 hard-label 黑盒下自动生成小面积、抗变换的物理对抗扰动,GTSRB 上平均 77.8% transform-robustness、126K 查询。

威胁模型攻击者目标是对图像分类器做定向(可改非定向)误分类,扰动以贴纸形式施加在物理物体上。

问题
真实世界对抗攻击需同时满足三点:自动限定扰动区域以便做成贴纸、对视角光照等物理变换鲁棒、在只能拿到 top-1 标签的 hard-label 黑盒下工作;作者称现有方法无法同时满足。
方法
作者提出 GRAPHITE:把 mask 大小与 transform-robustness(EoT)写成联合优化,白盒用 EoT PGD 扩展 C&W l0;黑盒拆成 mask 生成(热力图估计+粗/细粒度削减)与 RGF 扰动 boosting 两步。
实验与结果
GTSRB 全部 1,806 个受害-目标对上平均 77.8% transform-robustness、mask 占 16.63%、126K 查询;物理贴纸与 drive-by 测试成功率最高 97.5%;对 PatchGuard 防御的 CIFAR-10 模型攻击平均 68% TR。
局限与可以继续做的
作者指出 gamma 校正难以模拟阳光眩光和打印误差(尤其蓝色),Turn Left Ahead 物理攻击户外成功率仅 0%;对防御的深入评估、对抗训练与查询检测防御的可行性均留作未来工作。
实验设置GTSRB-Net、Wide ResNet 34-10 等 · GTSRB、LISA 等 · transform-robustness、mask size (l0) 等
威胁模型
攻击者目标是对图像分类器做定向(可改非定向)误分类,扰动以贴纸形式施加在物理物体上。知识为 black-box hard-label:仅能获取模型 top-1 预测标签,无 logits/概率;白盒变体需梯度。能力:查询模型、在受害物体边界内放置任意形状扰动;受害系统为 GTSRB-Net、Wide ResNet 34-10、PatchGuard 防御模型及 OpenALPR。
被测模型
GTSRB-NetWide ResNet 34-10PatchGuardAutomated License Plate Recognition (ALPR) system
基准
GTSRBLISACIFAR-10
指标
transform-robustnessmask size (l0)query countattack success rateLevenshtein distance
AI 导读研究者提出 GRAPHITE 框架,可自动生成能做成贴纸的物理对抗样本,并在黑盒硬标签场景下攻击计算机视觉模型。该方法基于对变换取期望的 transform-robustness 指标,自动生成小尺寸掩码并用无梯度优化求解,可在变换鲁棒性、扰动大小和查询次数之间权衡。在 GTSRB 模型的硬标签黑盒设置中,作者称对全部 1,806 个受害-目标类别对都找到了攻击,平均变换鲁棒性 77.8%,扰动占受害图像 16.63%,每对约 126K 次查询。仅数字攻击时,92.2% 的类别对可用平均 566 次查询找到小尺寸 patch 攻击。论文还称能用修改图像小区域的扰动攻破针对 patch 攻击的防御 PatchGuard。

研究者提出 GRAPHITE 框架,可自动生成能做成贴纸的物理对抗样本,并在黑盒硬标签场景下攻击计算机视觉模型。该方法基于对变换取期望的 transform-robustness 指标,自动生成小尺寸掩码并用无梯度优化求解,可在变换鲁棒性、扰动大小和查询次数之间权衡。在 GTSRB 模型的硬标签黑盒设置中,作者称对全部 1,806 个受害-目标类别对都找到了攻击,平均变换鲁棒性 77.8%,扰动占受害图像 16.63%,每对约 126K 次查询。仅数字攻击时,92.2% 的类别对可用平均 566 次查询找到小尺寸 patch 攻击。论文还称能用修改图像小区域的扰动攻破针对 patch 攻击的防御 PatchGuard。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    如何自动生成小面积、抗物理变换、且只需 hard-label 黑盒访问的真实世界对抗攻击。

    核心问题:如何让攻击者在真实世界条件下自动构造可打印成贴纸的对抗扰动,同时只需要目标模型的 top-1 标签输出。

    • 场景与动机:ML 模型已进入汽车、无人机、机器人等网络物理系统的感知管线,作者认为评估攻击者在真实场景下的攻击难易度对安全测试和防御设计重要。
    • 现有方法不足:作者称已有 patch 攻击限于预定义形状、需搜索位置和大小;RP2 的 mask 需人工试验;C&W l0 只面向数字白盒;现有 hard-label 攻击是数字攻击且需数万到数十万查询,三者没有同时满足。
    • 核心观察:作者认为 transform-robustness(基于 EoT 的度量)是足够平滑的函数,可在无梯度情况下用 gradient-free 优化;并据此把攻击写成 mask 大小与 transform-robustness 的联合优化。
    • 论文提出:GRAPHITE 框架,含白盒实例(扩展 C&W l0 + EoT PGD)和 hard-label 黑盒实例(mask 生成 + 扰动 boosting 两阶段),可在 mask 大小、transform-robustness、查询数之间做权衡。
    • 威胁模型:
      • 目标:定向攻击(论文称可容易改为非定向),使模型把受害物体误判为目标类。
      • 知识:black-box hard-label——只有最终 top-1 决策,无 logits;白盒变体假设梯度可访问。
      • 能力:查询模型;在受害物体边界内施加任意形状扰动并打印成贴纸;作者称攻击者应能在查询预算受限时工作。
      • 受害系统:GTSRB 交通标志分类器、CIFAR-10 分类器、PatchGuard 防御模型、OpenALPR 车牌识别系统。
  2. 有哪些相关研究?

    相关工作分四类:patch 攻击、物理攻击、hard-label 黑盒攻击、迁移与 soft-label 攻击,作者称均不同时满足三个要求。

    自动化限制扰动大小

    • Brown 等 [17] 的 Adversarial Patch 及后续目标检测 patch 攻击 [23][24]、soft-label patch 攻击 [25][26]:把扰动限制在小块,但形状固定,需在多个位置上推理;作者称这些方法形状静态、且多为白盒或 soft-label。
    • RP2 [18]:物理白盒贴纸攻击,引入 mask 概念;作者指出其 mask 生成需基于 l1 近似的人工试验,难以规模化。
    • C&W l0 攻击 [12]:交替移除像素与 C&W l2 攻击以优化 l0;作者指出它面向数字白盒,不满足物理鲁棒与 hard-label 要求。

    物理攻击

    • Athalye 等 [16] 提出 EoT(Expectation over Transformation),3D 打印扰动物体;Eykholt 等 RP2 [18]、Sharif 等 [19] 用贴纸或配饰做物理攻击;Kurakin 等 [30] 打印扰动图像。作者称这些物理攻击均在白盒设定,且 mask 未与噪声联合优化。

    黑盒 hard-label 攻击

    • OPT-attack [20]:把目标改写为到决策边界的距离,用 RGF 优化并二分搜索边界;Sign-Opt [27]、HopSkipJump [28]、Brendel 等 [21]、Ilyas 等 [31] 同属决策型攻击。作者称这些是数字攻击,需数万到数十万查询,且本文 5.1 节实验显示直接加 EoT 效果差。

    其他黑盒攻击

    • 迁移攻击 [34]:训练替代模型生成白盒样本再迁移;作者引 [35] 称定向样本常迁移失败,且需相似训练集。
    • Soft-label/score-based 攻击(ZOO [36]、Narodytska 等 [37]):需要 softmax 输出;本文威胁模型只允许 top-1 标签。

    基线与基准:白盒对比基线为 Patch-PGD(64×64 方块、测四角与中心,[29][39]);黑盒基线为作者构造的 0 and OPT、0 and OPT w/ EoT、0 and Boosting 三种(Table 1、Table 3)。数据集为 GTSRB(Stop 标志替换为 LISA 的美国 Stop 标志)与 CIFAR-10。

    作者定位:作者称据其所知,本文首次把自动空间约束、物理变换鲁棒、black-box hard-label 三个要求结合在一个框架中。

  3. 论文如何解决这个问题?

    把 mask 大小与 transform-robustness 写成联合优化;白盒用 EoT PGD 交替优化,黑盒拆成 mask 生成与 RGF boosting 两步。

    GRAPHITE 把物理攻击形式化为联合优化:argminδ,M λ · ||M||0 − 𝔼t∼ T[F(t(x+M·δ)) = ytar],即在最小化 mask 的 l0 大小的同时最大化 transform-robustness(对采样变换下攻击成功率的期望)。作者证明受限 mask 大小的最优求解是 NP-complete(附录 A,归约自 Set Cover),因此采用启发式交替求解。

    通用流程(Algorithm 1)

    • 交替优化:初始化扰动和梯度后,迭代执行"选像素→移除→攻击剩余像素",直到停止条件;l0 不可微,无法直接用梯度下降或 OPT。
    • 白盒实例(Algorithm 3):把 C&W l0 的内部攻击换成 EoT PGD,按 g_i·δ_i 最小的 z 个 p×p patch 移除,停止条件为找不到 transform-robustness ≥ trmin(实验设 80%)的攻击。

    黑盒两阶段近似(Algorithm 4)

    • 拆分动机:作者称三个基线(0+OPT、0+OPT w/ EoT、0+Boosting)实验表明 hard-label 下联合优化 mask 与扰动困难:无梯度时像素排序不可靠。
    • Step 1 mask 生成:固定扰动为 δtar = xtar − x(把目标图像叠进 mask),求满足 transform-robustness ≥ trlo 的最小 mask。
    • Step 2 扰动 boosting:在 mask 内用 RGF 直接最大化 transform-robustness;作者实测该目标近似连续(最大观测局部 Lipschitz 常数 0.056,Figure 2)。

    Mask 生成三阶段(Algorithm 5)

    • Heatmap estimation:对每个与受害物体重叠的 patch(32×32 噪声用 4×4 方块),测移除它后 transform-robustness 的变化,按目标类 transform-robustness 排序;作者称单像素太小无信号,victim-based 热力图效果次优。
    • Coarse reduction:二分搜索排序列表中的 pivot,使 pivot 之后 patch 的并集 transform-robustness ≥ trhi(85%),节省查询。
    • Fine reduction:贪心逐个评估 pivot 后的 patch,若移除改善目标函数(含 trlo=65% 下限约束)则移除;可选 mmax 上限,达不到则增大 λ 重试。

    Boosting 与变换

    • RGF 优化:ĝ = (TR(M, δ+β u) − TR(M, δ))/β · u,用 q=10 个高斯随机方向估计梯度,β=1、步长 η=500、boosting 查询预算 20K(Table 5)。
    • 变换集合(附录 B):透视变换(y 轴旋转 ±50°、焦距 3 ft)、随机裁剪与偏移(±3.125%)、gamma 校正(γ 在 (1,3.5) 与 (1,1/3.5))、高斯模糊(核 [1,3,5,7]),n=100 个采样变换估计 transform-robustness。
    • 实现细节:扰动在 32×32 空间生成后上采样到 244×244 输入;假设物体边界已知(作者注可用分割网络自动获得);物理实验中扰动限制在受害物体边界内。
  4. 论文做了哪些实验?

    GTSRB 1,806 对上平均 77.8% TR、126K 查询;物理贴纸与 drive-by 验证;PatchGuard 被攻破;含权衡与消融。

    实验设置

    • 被测模型:GTSRB-Net(RP2 的分类器,GTSRB 上测试准确率 97.656%,Stop 标志换为 LISA 的美国标志);CIFAR-10 用 Wide ResNet 34-10;防御评测用 PatchGuard 的 CIFAR-10 BagNet;附录 G 攻击 OpenALPR 2.3.0(作为完整黑盒)。
    • 数据集:GTSRB 数字实验覆盖全部 1,806 个受害-目标类对(43 类);白盒与基线用 10 类子集(90 对);CIFAR-10 用 500 个随机受害-目标对;初始化用互联网图片和自摄 Stop 标志,非训练集图片。
    • 基线:白盒为 Patch-PGD(64×64 方块,四角+中心,100 transforms、200 步、步长 4/255);黑盒为 0 and OPT、0 and OPT w/ EoT、0 and Boosting(Table 1)。
    • 指标:transform-robustness(n=100 采样变换下的攻击成功率)、mask size(32×32=1024 像素中的 l0)、查询数;物理实验为攻击成功率。
    • 超参数:trlo=65%、trhi=85%、λ=5、n=100、q=10、β=1、η=500、boosting 预算 20K(Table 5);物理测试用 YOLOv3 裁剪标志。
    • 物理协议:贴纸贴在 30"×30" Stop 标志上,14 个位置各 5 张(5–40 ft、0°–45°),室外/室内开灯/室内关灯三种光照,每攻击共 210 张;drive-by 每 10 帧分析一次。

    主结果

    黑盒 GRAPHITE 数字结果(据 Table 3、Table 6):

    表格较宽,可左右滑动

    方法成功率/范围TR (%)查询数Mask 像素数
    `0 and OPT90/901.52±4.26919.82k±605.24k244.36±307.11
    `0 and OPT w/ EoT81/9080.01±0.111958.67k±1317.49k601.90±190.91
    `0 and Boosting81/9097.89±3.615.50k±9.17k990.72±56.78
    GRAPHITE(Stop 受害)43 目标80.8±7.02133k±8.92k116±38.0
    GRAPHITE(全部 1,806 对)全部77.8±17.5126k±18.9k170.3±122
    • 作者称三个基线分别暴露问题:OPT 几乎无 transform-robustness;加 EoT 后查询翻倍且 mask 覆盖近 59% 图像、留有明显目标图像痕迹;Boosting 的 RGF 梯度会变为零导致提前退出、mask 覆盖近 97%。
    • 作者称 GRAPHITE 在全部 1,806 对上找到攻击,平均 mask 占图像 16.6%;Table 7 显示三角形标志受害的攻击效果差,作者解释为形状差异难以克服。
    • 白盒结果(Table 2,90 对):GRAPHITE 平均 TR 77.53%、84 个样本 >80% TR、平均推理 40,475.6 次;Patch-PGD 平均 TR 10.1556%、仅 4 个样本 >80%、100,000 次推理。

    物理实验

    • 定点场测(Table 8):Speed Limit 30 km/hr 攻击在三种光照下物理鲁棒性分别为 100%(室外)、92.9%(室内关灯)、94.3%(室内开灯);Pedestrians 攻击为 100%、97.1%、85.7%;平均 131k 查询;干净 Stop 标志基线准确率每种光照至少 95.7%。
    • Drive-by(Table 9):Speed Limit 30 km/hr 攻击 40 帧中 97.5% 成功,Pedestrians 攻击 39 帧中 82.1% 成功。
    • 负面案例(Table 15、附录 F):Turn Left Ahead 攻击室外物理鲁棒性仅 0%(室内两种光照均 55.7%),drive-by 42 帧中 19%;作者归因于 gamma 校正无法模拟阳光眩光和蓝色打印误差,数字压暗图像后成功率从 0% 升至 52.9%。

    对 PatchGuard 的攻击

    • 设置:CIFAR-10 BagNet 实现的 PatchGuard,100 个随机受害-目标对,变换适配 32×32(旋转 ±10°、去光照变化、模糊核 [0,3])。
    • 结果:平均 transform-robustness 68%、155.8k 查询、平均 mask 193.81 像素;其中 33 个样本 mask 小于 102 像素(10%)且 TR 77%;引言称最少可只改 1% 像素。
    • 作者解读:GRAPHITE 生成任意形状(可分散为多块)的扰动,可影响多个感受野特征,作者认为这使 PatchGuard 基本无效;作者提出可能的改进方向是 mask 前 n 个区域,但指出 n 难以确定且误报风险上升。

    其他消融与分析

    • 变换数 n(Figure 3a,90 对):n 从 10 到 100,mask 减小、TR 升高、查询单调增加。
    • 随机热力图(Table 10,1,806 对):查询从 126k 降到 62.1k,TR 从 77.8% 降到 76.4%,mask 从 170.3 升到 175.9 像素。
    • Min query 设置(Table 10):随机热力图+1 个变换,平均 572±105 查询、TR 19.9±21.2%;1,665/1,806 对 TR>0%,这些对平均 566.253 查询、mask 107.897 像素(10.5%)。
    • mmax 选项(Figure 3b):mmax 增大则 TR 升、查询降;trlo 调整(Figure 3c):trlo 升高则 TR 升、mask 与查询增加。
    • 去物体边界限制(Table 11):TR 从 77.8% 升至 86.7%,mask 从 170.3 降至 147.1,查询从 126k 升至 149k。
    • 多轮交替(6.3.5,90 对两轮):mask 从 172.0 降至 138.9(19.3% 改善),TR 从 75.3% 降至 74.2%,查询从 129.5k 升至 213.3k(增 64.7%)。
    • ALPR(附录 G、Table 12):车牌框贴纸攻击,平均 12,950 查询;Washington 车牌物理成功率 82.5%(数字 TR 80%),Michigan 车牌 67.5%(数字 TR 86%),共评估 700 余张物理图像。
  5. 有什么可以进一步探索的点?

    作者列出防御评估、变换建模等未来方向;实验覆盖 GTSRB/CIFAR-10 数字与物理测试及 PatchGuard。

    作者指出的局限与后续方向

    • 防御评估留作未来(7.1.1):作者称需要未来研究深入评估防御,并对采用改进防御的模型做自适应 GRAPHITE 攻击的实验评估。
    • 对抗训练未探索(7.1.2 与第 8 节):作者计划探索用 GRAPHITE 做对抗训练以防御鲁棒物理扰动,称这是开放问题。
    • 查询检测防御存疑(7.1.2):作者指出 GRAPHITE 的变换采样天然产生 query blinding 效果,而已有工作表明 query blinding 会削弱此类防御;深入分析留作未来工作。
    • 变换建模的局限(7.2、附录 F):gamma 校正难以模拟阳光眩光与打印误差(尤其蓝色,RGB 极值不受 gamma 影响);作者认为更好的物理建模与打印误差建模可提升鲁棒性,点光源建模需要超出当前数据的表面属性与天气信息。
    • 三角形标志攻击效果差(6.2,Table 7 讨论):受害与目标形状差异大时攻击质量下降,作者提出把目标缩放进受害标志内可能缓解。

    实验覆盖范围

    • 被测模型为 GTSRB-Net、Wide ResNet 34-10(CIFAR-10)、PatchGuard BagNet、OpenALPR 2.3.0,共 4 个系统。
    • 数字评测覆盖 GTSRB 全部 1,806 个受害-目标对、CIFAR-10 500 个随机对;白盒与黑盒基线用 10 类子集 90 对。
    • 物理评测为 2 个 GTSRB 攻击的定点场测(各 210 张)与 drive-by(40 帧、39 帧),另有 Turn Left Ahead 攻击(Table 15)和 2 个车牌的 ALPR 场测。
    • 防御评测仅 PatchGuard 一种、100 个随机对;论文未报告对自适应攻击者改进防御后的实测。
    • 论文未报告每个数字实验的重复次数;物理场测每条件 5 张照片。
  6. 总结一下论文的主要内容

    GRAPHITE 在 hard-label 黑盒下自动生成贴纸式物理攻击,GTSRB 上 77.8% TR、126K 查询,并攻破 PatchGuard。

    一篇关于真实世界对抗攻击的论文,提出 GRAPHITE 框架,解决攻击者如何自动生成可打印成贴纸、对视角光照鲁棒、且只需 top-1 标签的 hard-label 黑盒攻击的问题。

    • 方法:把攻击写成 mask 大小与 transform-robustness(EoT)的联合优化(作者证明 NP-complete);白盒用 EoT PGD 扩展 C&W l0;黑盒拆为 mask 生成(目标热力图排序 + 二分粗削减 + 贪心细削减)与 RGF 扰动 boosting 两步,利用 transform-robustness 近似连续的性质做无梯度优化。
    • 数字结果:GTSRB 全部 1,806 个受害-目标对上平均 77.8% transform-robustness、mask 占 16.63%、126K 查询(Table 6);min query 设置下 1,665 个非零 TR 样本平均仅 566 查询、mask 占 10.5%。
    • 物理验证:Speed Limit 30 km/hr 贴纸攻击在室外场测 100% 成功、drive-by 97.5%(40 帧);但 Turn Left Ahead 攻击室外仅 0%,作者归因于蓝色打印与阳光眩光建模误差。
    • 防御评测:对 PatchGuard 的 CIFAR-10 模型,100 对上平均 68% TR,作者称任意形状扰动可绕过其小感受野假设。
    • 作者结论:作者认为 hard-label 物理攻击是攻击者最少模型访问即可实施的实际威胁,应成为防御的第一阶段目标;后续计划探索对抗训练与更深入的防御评估。

相关论文

共同使用 LISA
共同使用 GTSRB
再看 3 篇
共同使用 GTSRB
阅读原文EuroS&P 2022