跳到正文
原文

对深度学习模型的鲁棒物理世界攻击

Robust Physical-World Attacks on Deep Learning Models

arXiv· arXiv:1707.08945· Kevin Eykholt, Ivan Evtimov, Earlence Fernandes, Bo Li, Amir Rahmati, Chaowei Xiao, Atul Prakash, Tadayoshi Kohno, Dawn SongUniversity of Michigan, Ann Arbor; University of Washington; University of California, Berkeley; Samsung Research America; Stony Brook University本站收录· 23 天前· 原文发表入选 攻击精选关注度44

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出 RP2 算法生成物理世界对抗扰动,以黑白贴纸攻击真实停车标志,在行车视频帧上取得 84.8%(LISA-CNN)和 87.5%(GTSRB-CNN)的定向攻击成功率。

威胁模型白盒攻击:攻击者掌握目标分类器的网络结构与权重(作者认为可通过模型提取攻击近似获得),无法控制车辆系统,但可物理修改路牌等物体;攻击为定向攻击,受害系统是基于 DNN 的路牌分类器及 Inception-v3。

问题
DNN 分类器易被对抗样本误导,而数字域扰动在物理世界的距离、角度、光照变化和打印误差下容易失效;路牌识别等安全攸关场景缺乏在真实物理条件下生成与评测鲁棒对抗扰动的方法。
方法
作者提出 RP2:在优化目标中同时对物理与合成变换采样取期望,加入掩码把扰动限制在物体表面并伪装成涂鸦,再加入 NPS 项建模打印色差;评测采用静止实验室测试加行车视频测试的两阶段方法。
实验与结果
在自建 LISA-CNN 与 GTSRB-CNN 上,海报攻击静止与行车测试定向成功率均为 100%;贴纸攻击在 GTSRB-CNN 上静止 80%、行车帧 87.5%;Inception-v3 上微波炉与咖啡杯贴纸攻击定向成功率分别为 90% 与 71.4%。
局限与可以继续做的
作者称实验为白盒设置,黑盒攻击是开放问题;评测时手工裁剪图像,伪随机裁剪下 LISA-CNN 定向成功率降至 70%、GTSRB-CNN 降至 60%;实验未显式控制环境光照。
实验设置LISA-CNN、GTSRB-CNN 等 · LISA、GTSRB · targeted-attack success rate、untargeted attack success rate 等
被测模型
LISA-CNNGTSRB-CNNInception-v3
基准
LISAGTSRB
指标
targeted-attack success rateuntargeted attack success rateclassification confidence
AI 导读和推荐理由华盛顿大学、UC Berkeley 等机构的研究者提出物理对抗攻击算法 RP2,生成打印海报或贴纸形式的扰动,使其在拍摄距离和角度变化下仍然有效,并以路牌分类任务验证。在白盒设置下,在真实 Stop 标志上贴上伪装成涂鸦风格艺术的黑白贴纸后,对 LISA-CNN 的定向攻击成功率在实验室测试中为 100%,在车载路测的视频帧中为 84.8%,使 Stop 标志被识别为限速 45 标志;针对 GTSRB-CNN 的贴纸攻击在静止测试中成功率为 80%,路测中为 87.5%。论文还提出实验室加路测的两阶段评估方法,并展示单张贴纸即可让 Inception-v3 将微波炉误识别为手机(定向成功率 90%),提示未来防御不能依赖物理噪声作为防护手段。

华盛顿大学、UC Berkeley 等机构的研究者提出物理对抗攻击算法 RP2,生成打印海报或贴纸形式的扰动,使其在拍摄距离和角度变化下仍然有效,并以路牌分类任务验证。在白盒设置下,在真实 Stop 标志上贴上伪装成涂鸦风格艺术的黑白贴纸后,对 LISA-CNN 的定向攻击成功率在实验室测试中为 100%,在车载路测的视频帧中为 84.8%,使 Stop 标志被识别为限速 45 标志;针对 GTSRB-CNN 的贴纸攻击在静止测试中成功率为 80%,路测中为 87.5%。论文还提出实验室加路测的两阶段评估方法,并展示单张贴纸即可让 Inception-v3 将微波炉误识别为手机(定向成功率 90%),提示未来防御不能依赖物理噪声作为防护手段。

推荐理由论文用实验室与车载路测展示涂鸦式贴纸扰动在距离角度变化下仍能稳定欺骗路牌分类器,是物理对抗攻击的基础性参考。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    如何生成在距离、角度等物理条件变化下仍能误导 DNN 分类器的鲁棒物理对抗扰动。

    核心问题:数字域对抗样本在物理世界的环境变化(距离、角度、光照、打印误差)下容易失效,如何生成在真实物理条件下仍稳定误导 DNN 分类器的对抗扰动。

    • 场景与动机:DNN 正被用于汽车、无人机、机器人等安全攸关系统的控制链路,作者以路牌分类为目标域,因为路牌视觉简单、环境嘈杂且关系交通安全。
    • 现有方法的不足:作者称数字域算法生成的扰动幅度太小,相机传感器可能无法感知;扰动遍布背景而攻击者无法物理修改背景;打印等制作过程存在色彩还原误差。
    • 核心观察:作者认为物理扰动必须对相机距离与角度的连续变化保持鲁棒,因为车辆会在不同视点连续取帧并可能投票后再决策。
    • 论文的贡献:提出攻击算法 RP2(Robust Physical Perturbations),并提出一套静止实验室测试加行车测试的两阶段评测方法;用黑白贴纸攻击真实停车标志。
    • 威胁模型:
      • 目标:定向攻击,使分类器把被修改物体(如停车标志)判为攻击者指定类别(如 Speed Limit 45)。
      • 知识:white-box,攻击者掌握目标分类器的网络结构与权重;作者认为攻击者可通过模型提取攻击逆向获得近似模型。
      • 能力:不能控制车辆系统,但可以低成本物理修改物体(打印海报、贴贴纸)。
      • 受害系统:基于 DNN 的路牌分类器(LISA-CNN、GTSRB-CNN)及 Inception-v3。
  2. 有哪些相关研究?

    相关工作分数字域对抗样本与物理域对抗样本两类,本文在物理域工作上引入真实物理条件采样。

    数字域对抗样本

    • Goodfellow et al.(2014):提出 fast gradient method,用损失函数的一阶近似构造对抗样本。
    • Carlini & Wagner(2017)、Liu et al.(2016):提出基于优化的定向攻击方法。论文称这些工作增进了对数字对抗样本的理解,而本文考察的是变化环境条件下真实物体上的物理扰动。
    • Papernot et al.(2016):研究数字对抗样本的黑盒迁移性;作者据此认为物理黑盒攻击也可能可行。

    物理域对抗样本

    • Kurakin et al.(2016):打印出的对抗图像经手机相机拍摄后仍被误分类;Athalye & Sutskever(2017):生成对二维合成变换鲁棒的对抗样本。论文指出这些工作不修改物理物体,只是打印数字扰动图像;本文的物体受限海报攻击复现了这类攻击,并额外把扰动限制在标志表面。
    • Athalye et al.(2017,并行工作):3D 打印扰动物体的小尺寸复制品。论文列出三点区别:本文在优化中同时采样物理与合成变换、修改真实尺寸的现有物体、模拟贴近实际用途的测试条件。
    • Sharif et al.(2016):在眼镜框上打印扰动攻击人脸识别,在姿态、距离、光照变化较小的稳定条件下成功;作者认为环境条件可能变化很大,因此选择路牌分类这一不受约束的环境。
    • Lu et al.(2017):对路牌检测器做物理对抗实验,称现有检测器无法被攻击;本文聚焦分类器,攻击检测器超出范围。

    基线与基准:基线为未扰动路牌的分类结果(静止测试中 100% 判为真实类别);数据集为 LISA(取 17 种最常见标志)与 GTSRB(训练、验证、测试集中的德国停车标志被替换为 LISA 的美国停车标志)。作者将本文定位为:在物体本身被物理修改的条件下理解对抗样本,为构建鲁棒视觉模型提供依据。

  3. 论文如何解决这个问题?

    RP2 在优化中采样物理与合成变换、用掩码约束扰动区域并伪装成涂鸦,再用 NPS 项建模打印误差。

    整体思路:把单图对抗扰动优化扩展为对物理条件分布取期望的优化,并用掩码把扰动限制在物体表面、伪装成涂鸦,最终打印成海报或贴纸贴到真实物体上。方法名为 RP2(Robust Physical Perturbations)。

    物理世界挑战分析

    • 环境条件:相机相对路牌的距离与角度连续变化,另有光照、天气、镜头或标志上的污渍。
    • 空间约束:攻击者无法修改背景,背景随视点变化。
    • 不可感知性的物理极限:过小的扰动相机无法感知,取决于传感硬件。
    • 制作误差:打印设备存在色彩还原误差。

    优化目标

    • 从单图优化出发,以 Lagrangian 松弛形式求解:argminδ λ |δ|p + J(fθ(x+δ), y∗),其中 J 为损失函数,y* 为目标类别,λ 控制扰动正则化。
    • 建模图像分布 X^V,同时从真实物理条件采集的实验数据与合成变换(随机裁剪、亮度变化、空间变换)中采样实例 xi;作者认为仅用合成变换可能遗漏物理效应。
    • 最终目标为 argminδ λ |Mx · δ|p + NPS + Exi ∼ XV J(fθ(xi + Ti(Mx · δ)), y∗),其中 Mx 为扰动掩码,Ti 把物体上的变换映射到扰动上。

    掩码与涂鸦伪装

    • 掩码作用:把扰动投影到物体表面区域,提供空间局部性,并使扰动可见但不引人注意;攻击者可将掩码塑造成涂鸦样式,作者称借此把扰动藏进人类心理预期中。
    • 掩码位置选择:作者称实验中发现掩码位置影响攻击效果,假设物体存在分类上的强弱特征区域;先用 L1 正则加全表面掩码得到稀疏扰动以定位脆弱区域,再用 L2 在这些区域上重新计算扰动。

    打印误差建模

    • 在目标函数中加入 NPS(Non-Printability Score) 项(源自 Sharif et al.),度量扰动中颜色与可打印颜色集合的差距,以建模打印机色彩还原误差。

    攻击实现与评测方式

    • 两种攻击形式:物体受限海报打印攻击(扰动覆盖整个标志表面、不含背景)与贴纸攻击(黑白贴纸,伪装成涂鸦或艺术图案)。
    • 优化设置:ADAM 优化器,β1 = 0.9,β2 = 0.999,ε = 10^-8,η ∈ [10^-4, 10^0]。
    • 两阶段评测:静止实验室测试在多个距离/角度配置下拍照;行车测试用手机相机在车上从约 250 ft 外开始录像,车速 0–20 mph,每第 10 帧(k = 10)取样。攻击成功要求同一距离/角度下的干净图像被正确分类,以排除其他因素。
  4. 论文做了哪些实验?

    在 LISA-CNN、GTSRB-CNN 与 Inception-v3 上做海报与贴纸攻击,静止与行车测试定向成功率最高均达 100%。

    实验设置

    • 被测模型:LISA-CNN(三层卷积加一层全连接,LISA 测试集准确率 91%)、GTSRB-CNN(多尺度 CNN,GTSRB 测试集准确率 95.7%,在作者自采 181 张停车标志图像上准确率 99.4%)、Inception-v3(预训练)。
    • 数据集:LISA(取 17 种最常见标志);GTSRB(德国停车标志被替换为 LISA 的美国停车标志图像)。
    • 攻击类型:物体受限海报攻击(Stop→Speed Limit 45,Right Turn 标志的细微攻击)、贴纸攻击(伪装涂鸦、伪装艺术图案;GTSRB-CNN 目标为 Speed Limit 80;Inception-v3 目标为 phone、cash machine)。
    • 指标:定向攻击成功率(要求同配置干净图像被正确分类)、非定向成功率、目标类置信度。
    • 评测协议:静止测试覆盖 5'–40' 距离与 0°–60° 角度(Inception-v3 为 2'–20' 与 8''–32'');行车测试 k = 10 抽帧,基线为两段干净标志视频;另试 k = 15,作者称成功率无明显变化。
    • 基线:未扰动路牌,静止测试与行车基线中均 100% 判为真实类别。

    主结果

    据 Table 1、Table 3 及 4.3–4.5 节,各攻击的定向成功率:

    表格较宽,可左右滑动

    目标模型攻击静止测试行车测试
    LISA-CNN细微海报(Stop)100%100%
    LISA-CNN细微海报(Right Turn)73.33%未报告
    LISA-CNN伪装涂鸦贴纸66.67%未报告
    LISA-CNN伪装艺术贴纸100%84.8%
    GTSRB-CNN伪装艺术贴纸80%87.5%
    Inception-v3微波炉贴纸90%未报告
    Inception-v3咖啡杯贴纸71.4%未报告
    • 海报攻击:作者报告 Stop 标志在全部静止测试配置下被判为 Speed Limit 45,目标类平均置信度 80.51%(Table 2)。
    • Right Turn 例外:15 个距离/角度配置中 4 个未判入目标类,但仍被误分类为 Yield 或 Added Lane;作者假设警告标志外观相似,小扰动足以混淆。
    • 涂鸦贴纸较弱:作者称区域不匹配(region mismatches)可能导致 LOVE-HATE 涂鸦贴纸成功率较低。

    图像裁剪的影响

    • 测了什么:主实验中每张图像在分类前手工裁剪;补充实验用保证大部分标志在画面内的伪随机裁剪评测伪装艺术攻击。
    • 结果:LISA-CNN 平均定向成功率 70%、非定向 90%;GTSRB-CNN 平均定向 60%、非定向 100%。
    • 作者解读:裁剪对定向成功率有一定影响;作者提到其后续工作用改进版 RP2 攻击了无需裁剪的目标检测器。

    其他消融与分析

    • 抽帧间隔:k = 15 与 k = 10 相比,作者称攻击成功率无明显变化。
    • 咖啡杯非定向成功率:100%(定向 71.4%,Table 7)。
    • 光照:实验未显式控制环境光,实验数据涵盖室内到室外光照。

    负面结果与例外

    • Right Turn 细微海报攻击定向成功率 73.33%,低于其他攻击(Table 4)。
    • 伪装涂鸦贴纸静止成功率 66.67%,为路牌攻击中最低(Table 1)。
    • Inception-v3 咖啡杯攻击在 24'' 15◦、28'' 0◦、32'' 0◦、32'' 15◦ 等配置下被判为 Pitcher 等非目标类(Table 7)。
  5. 有什么可以进一步探索的点?

    作者称黑盒攻击是开放问题;实验为白盒、手工裁剪、未控制光照,仅覆盖三个分类器。

    作者指出的局限与后续方向

    • 黑盒设置未验证(Section 5 Discussion):作者称在 black-box 设置下评估 RP2 是一个开放问题。
    • 抽帧选择的影响未知(Section 4.2):作者称自动驾驶车辆可能每隔 j 帧分类一次并投票,帧选择 j 是否影响攻击准确率是开放问题(实验中 j = 10,j = 15 未见明显变化)。
    • 光照未控制(Section 4.2):作者称当前实验未显式控制环境光照。
    • 检测器攻击超出范围(Section 2):作者称攻击检测器超出本文范围,并提到其近期工作已把 RP2 扩展到攻击 YOLO 检测器。

    实验覆盖范围

    • 被测模型为 LISA-CNN、GTSRB-CNN、Inception-v3 共 3 个,均为作者所称的标准架构分类器。
    • 攻击知识设置为 white-box,论文未在黑盒设置下做实验。
    • 物理对象覆盖停车标志、Right Turn 警告标志、微波炉、咖啡杯;行车测试仅在停车标志上进行,车速 0–20 mph,直线无弯道。
    • 分类前图像经手工裁剪;伪随机裁剪作为补充实验,仅用于伪装艺术攻击。
    • 论文未报告每次攻击的优化迭代次数、生成扰动所需时间或成本。
  6. 总结一下论文的主要内容

    RP2 生成的海报与贴纸扰动在多种距离角度下稳定误导路牌分类器,行车视频帧定向成功率最高 100%。

    一篇 CVPR 2018 的物理对抗样本攻击论文,研究如何让打印出的扰动在真实物理条件变化下仍误导 DNN 视觉分类器。

    • 问题:数字域扰动在距离、角度、光照变化和打印误差下易失效,而路牌识别等场景安全攸关。
    • 方法:RP2 在优化中对物理采集数据与合成变换的分布取期望,用掩码把扰动限制在物体表面并伪装成涂鸦,加入 NPS 项建模打印色差;攻击形式为物体受限海报与黑白贴纸;评测采用静止实验室测试加行车测试两阶段方法,威胁模型为 white-box。
    • 主要结果:
      • LISA-CNN 上海报攻击静止与行车测试定向成功率均为 100%,目标类平均置信度 80.51%(Table 2、3)。
      • LISA-CNN 伪装艺术贴纸行车帧成功率 84.8%;GTSRB-CNN 贴纸攻击静止 80%、行车帧 87.5%(Table 1、5)。
      • Inception-v3 上微波炉、咖啡杯贴纸攻击定向成功率分别为 90% 与 71.4%(Table 6、7)。
      • 例外:Right Turn 细微海报攻击 73.33%,伪装涂鸦贴纸 66.67%;伪随机裁剪下 LISA-CNN 与 GTSRB-CNN 定向成功率降至 70% 与 60%。
    • 作者结论:物理世界存在对距离/角度变化鲁棒的对抗样本,未来防御不应依赖物理噪声作为防护;作者称黑盒攻击与检测器攻击留待后续。

相关论文

共同使用 LISA
共同使用 GTSRB
再看 3 篇
共同使用 GTSRB
阅读原文arxiv.org