跳到正文
原文

对摄像头和 LiDAR 都不可见:物理世界攻击下自动驾驶多传感器融合感知的安全性

Invisible for both Camera and LiDAR: Security of Multi-Sensor Fusion based Perception in Autonomous Driving Under Physical-World Attacks

arXiv· arXiv:2106.09249· S&P 2021· Yulong Cao*, Ningfei Wang*, Chaowei Xiao*, Dawei Yang*, Jin Fang, Ruigang Yang, Qi Alfred Chen, Mingyan Liu, Bo LiUniversity of Michigan; University of California, Irvine; NVIDIA Research; Arizona State University; Baidu Research and National Engineering Laboratory of Deep Learning Technology and Application; Inceptio; University of Illinois at Urbana-Champaign本站收录· 21 天前· 原文发表入选 攻击精选关注度41

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出 MSF-ADV,用可 3D 打印的对抗物体同时攻击自动驾驶多传感器融合的相机与 LiDAR,在 4 种 MSF 组合上成功率 91%–100%,仿真中碰撞率 100%。

威胁模型white-box 攻击:攻击者完全了解受害 AD 系统的 MSF 算法,可采集目标路段的相机图像与 LiDAR 点云;攻击目标是通过放置 3D 打印的对抗物体,使受害 AV 无法检测到前方障碍物并撞上它,需同时攻击相机与 LiDAR 两路感知。

问题
量产自动驾驶普遍采用多传感器融合(MSF)感知,其设计假设是相机和 LiDAR 不会被同时攻击。此前研究只单独攻击其中一路,MSF 作为防御策略能提供多少安全保障从未被检验。
方法
作者提出 MSF-ADV:以形状可操控的对抗 3D 物体为攻击载体,通过可微分 LiDAR/相机渲染和 cell 级聚合特征的软 point-inclusion 近似,用 PGD 联合优化物体顶点,使两路感知同时失效。
实验与结果
在 Apollo 与 Autoware.AI 的 4 种 MSF 组合、100 个 KITTI 场景上成功率 91%–100%;3D 打印实物在实车 LiDAR 上 107/108 帧逃逸检测;LGSVL 仿真中 Apollo 对对抗交通锥的碰撞率为 100%(良性为 0%)。
局限与可以继续做的
作者指出未在真实车辆上做端到端物理世界评估(仅仿真与微缩实验),也未评估 DNN-based fusion 的 MSF 算法;所测防御最多把成功率降到 66%,且已知可被自适应攻击绕过。
实验设置A5-L、A2-L 等 · KITTI、LGSVL simulator 等 · attack success rate、LPIPS 等
被测模型
A5-LA2-LA5-CYOLO v3 (Y3)
基准
KITTILGSVL simulatorBaidu ApolloAutoware.AI
指标
attack success rateLPIPS∆lp vertex distancevehicle collision ratebenign detection rate
AI 导读和推荐理由密歇根大学、NVIDIA Research 等机构的研究者在论文中提出 MSF-ADV 攻击,用可 3D 打印的对抗物体同时欺骗自动驾驶的摄像头与 LiDAR 感知,使其无法检测前方障碍物,论文称这是首个针对多传感器融合(MSF)感知安全的研究。攻击从正常物体(如交通锥)的 3D 网格出发,用可微渲染和软点包含近似优化顶点形状,成品看似磨损破损的路障。在攻击者掌握算法的白盒设置下,该方法在 Baidu Apollo 与 Autoware.AI 的 4 种 MSF 组合、3 类物体、各 100 个 KITTI 真实驾驶场景中成功率超过 91%;3D 打印实物在 108 帧中 99.1% 逃逸 LiDAR 检测;生产级仿真中,对抗交通锥使 Apollo 车辆在 100 次运行中碰撞率 100%,正常交通锥为 0%。

密歇根大学、NVIDIA Research 等机构的研究者在论文中提出 MSF-ADV 攻击,用可 3D 打印的对抗物体同时欺骗自动驾驶的摄像头与 LiDAR 感知,使其无法检测前方障碍物,论文称这是首个针对多传感器融合(MSF)感知安全的研究。攻击从正常物体(如交通锥)的 3D 网格出发,用可微渲染和软点包含近似优化顶点形状,成品看似磨损破损的路障。在攻击者掌握算法的白盒设置下,该方法在 Baidu Apollo 与 Autoware.AI 的 4 种 MSF 组合、3 类物体、各 100 个 KITTI 真实驾驶场景中成功率超过 91%;3D 打印实物在 108 帧中 99.1% 逃逸 LiDAR 检测;生产级仿真中,对抗交通锥使 Apollo 车辆在 100 次运行中碰撞率 100%,正常交通锥为 0%。

推荐理由论文给出同时欺骗摄像头与 LiDAR 的可打印对抗物体攻击流程和成功率,多传感器融合的通用防御假设受到实测挑战。

相关热点

1 个事件 · 1 条新闻提到

提到这篇论文的新闻

VicOne测试:被操纵输入可改变机器人行为

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者研究多传感器融合(MSF)自动驾驶感知能否被同时攻击相机与 LiDAR 的单一物理攻击击破。

    核心问题:多传感器融合(MSF)自动驾驶感知的基本安全假设——"不会所有感知源同时被攻击"——是否成立,此前从未被检验。

    • 场景与重要性:量产高等级自动驾驶(Waymo、Pony.ai、Baidu Apollo)普遍采用相机+LiDAR 的 MSF 感知,并被广泛视为针对既有对抗攻击的通用防御策略(§I、§II-A)。感知失效直接影响碰撞避免等安全决策。
    • 现有研究不足:此前的物理世界攻击只针对相机或 LiDAR 单路感知(贴纸、海报、激光照射等),作者指出简单组合这些设计无法攻击 MSF(§III-B)。
    • 核心观察:3D 物体的形状变化既能改变 LiDAR 点云中的点位置,也能改变相机图像的像素值,因此形状操控可作为同时攻击两路的单一攻击向量(§IV-A)。
    • 论文提出:攻击方法 MSF-ADV,将攻击建模为优化问题,生成可 3D 打印的对抗物体(如外观略磨损的交通锥),使受害 AV 检测不到它而撞上(§IV)。
    • 威胁模型(§III-A):
      • 目标:使 MSF 感知漏检前方障碍物导致碰撞,需同时攻击相机与 LiDAR 两路。
      • 知识:white-box,攻击者完全了解受害系统的 MSF 算法(如通过购买/租用受害车型逆向,或直接针对开源系统)。
      • 能力:攻击准备阶段可采集目标路段的相机图像与 LiDAR 点云;部署时把 3D 打印物体放置在路面上。
      • 受害系统:采用相机+LiDAR 融合的 MSF 感知,实验针对 Baidu Apollo 与 Autoware.AI。
  2. 有哪些相关研究?

    相关工作分三组:AD 传感器与感知安全、数字/物理世界对抗攻击、以及作为基线的 GN 与 GA。

    AD 系统与感知安全

    • 传感器层攻击——对相机的 spoofing/jamming [40]、[115],对 LiDAR 的 [10]、[29],以及 RADAR、ultrasonic、IMU 攻击 [40]、[116];作者指出这些工作在传感器层,而本文针对更高层的自动驾驶软件("大脑")。
    • 感知层攻击——相机/LiDAR 目标检测 [5]、[6]、[9]、[10]、[117]、跟踪 [118]、定位 [119]、车道检测 [120]–[122]、红绿灯检测 [123]、端到端 AD [12]、[13];作者指出它们全部只攻击相机或 LiDAR 单路,本文是首个研究 MSF 感知安全的工作(作者称)。
    • MSF 作为防御的假设——[10]、[27]–[29]、[38]–[43] 等将 MSF 视为针对既有攻击的通用防御策略;作者指出此前无人检验这一基本假设是否会失效。

    对抗攻击

    • 数字空间攻击——[12]、[50]–[56]、[66]、[85]、[105]、[124]–[127] 等;作者说明本文关注物理世界攻击向量。
    • 物理世界攻击——贴纸/海报 [5]–[9]、adversarial patch [58]、[59]、EoT 鲁棒合成 [60] 等;作者指出它们未考虑 MSF,且按 §III-B 的分析,盲目组合这些设计因三个独特挑战无法直接达成目标。

    基线与对比设置

    • 基线方法:GN(对顶点加高斯噪声的形状扰动)和 GA(遗传算法,用本文目标函数作适应度但不做可微近似),用于检验本文成功是来自优化设计还是扰动本身(§V-C)。
    • 基准/数据:KITTI 数据集取 100 个真实驾驶场景;端到端评估用 LGSVL 仿真器跑 Baidu Apollo(§V-A、§VI)。

    作者将本文定位为:首个研究 MSF 感知安全、并解决其特有设计挑战(可微渲染两路传感器、可微近似 cell 级聚合特征)的工作(§VIII、§IX,作者称)。

  3. 论文如何解决这个问题?

    MSF-ADV 以形状可操控的 3D 物体为攻击向量,用可微渲染加软 point-inclusion 近似做端到端 PGD 优化。

    MSF-ADV 的整体思路:从正常物体的 3D 网格出发,只移动顶点位置做形状操控,通过可微分渲染同时合成攻击后的相机图像与 LiDAR 点云,再用可微近似打通 LiDAR 的 cell 级聚合特征计算,使整个攻击可用 PGD 端到端优化(§IV-A、§IV-B)。

    问题形式化

    • 优化目标为 minSa Et∼ T[La(t(Sa); Rl, Rc, P, M) + λ · Lr(Sa, S)],其中 La 是让 MSF 算法 M 漏检对抗物体 S^a 的对抗损失,Lr 是提升表面平滑度与可打印性的可实现性损失,T 是 EoT 的 3D 变换集合(Eq. (1)–(5),§IV-B)。
    • 约束 Δ(Sa, S) ≤ ϵ 限制形状变形程度以保证隐蔽性,用 L∞ 距离的 PGD 求解(Eq. (6))。

    攻击向量:对抗 3D 物体

    • 选择形状操控而非纹理操控:形状同时影响两路传感器;作者有意不改纹理,认为改纹理会损害隐蔽性并带来打印问题(§IV-A)。
    • 物体模仿道路上合法出现、外观略磨损的交通物体(如交通锥),可填充重物造成碰撞伤害(§IV-A)。

    可微渲染(§IV-C)

    • LiDAR 侧用可微 ray-casting [71],相机侧用 NMR [72];S^a 定义在 LiDAR 坐标系,用标定矩阵 C 变换到相机坐标系以保证物理一致性。

    预处理近似(§IV-D)

    • 关键观察:Table I 中所有常用 cell 级聚合特征(occupancy、count、height、intensity、density)都可由 point-inclusion 性质闭式导出,而该性质天然不连续、不可微。
    • 提出 soft point-inclusion:用三线性插值估计点对最近 8 个 cell 的包含概率(Eq. (7)),再用 tanh 近似 sign 函数缩小与真值的差距(Eq. (8));Fig. 6 显示 tanh 近似的 count 特征与真值差异几乎不可见(作者称)。
    • 由此可微导出全部特征,如 CNT(cm) = ∑PCi ∈ PC softPI(PCi, cm),occupancy 用 sign(CNT) 并在反向传播中以 sign(x)=x 近似。

    目标函数与鲁棒性设计(§IV-E)

    • 对抗损失:DNN-based fusion 直接最小化 MSF 输出置信度;rule-based fusion 不可微,改为分别最小化 LiDAR 与相机两路网络输出的置信度之和,使物体无论融合规则如何都不出现在融合输出中。
    • 可实现性损失:Laplacian 损失提升表面平滑度,另加一项防止物体生成到路面以下(公式在附录 A)。
    • 隐蔽性:L∞ PGD 约束每顶点移动距离小于 ε。
    • 鲁棒性:EoT 对 S^a 做随机 yaw 旋转(±5°)和地面位置平移,以覆盖受害车接近时的距离与角度变化。
    • 关键参数(Table VIII):µ=100,λ=20,学习率 0.001,PGD 约束 0.02,X 采样范围 (5, 35) m。
  4. 论文做了哪些实验?

    在 4 种 MSF 组合、100 个 KITTI 场景上成功率 91%–100%,实物与仿真验证可现实部署并造成 100% 碰撞。

    实验设置

    • 被测 MSF 组合(§V-A):LiDAR 模型 A5-L(Apollo v5.5)、A2-L(Apollo v2.5)与相机模型 A5-C(Apollo v5.5)、Y3(YOLO v3,Autoware.AI 内置)组成 4 种组合;两系统均为 rule-based fusion。
    • 物体类型:交通锥(0.5×0.5×1.0 m)、长椅(0.6×0.5×1.5 m)、玩具车(0.6×0.7×1.6 m),按组合支持的类型分配,玩具车用于全部 4 种组合。
    • 场景:每种物体从 KITTI 选 100 个真实驾驶场景(每场景一帧),良性物体在其中 100% 可被检测;物体默认放在受害车前 7 m(25 mph 的刹车距离)。
    • 成功判定:当且仅当对抗物体同时未被该组合的 LiDAR 与相机模型检出算成功;作者指出这对具体 rule-based 融合逻辑是成功率下界。
    • 隐蔽性指标:平均每顶点扰动距离 ∆lp 与 LPIPS;用户研究 105 名 Mechanical Turk 参与者。
    • 重复次数:主实验每条件 100 场景;鲁棒性实验每位置区间随机采 20 个位置;仿真 100 次运行。

    主结果

    据 Table II(100 个驾驶场景,ε=2 cm):

    表格较宽,可左右滑动

    MSF 组合物体成功率∆l2 (cm)LPIPS
    A5-L + A5-C交通锥100%3.280.06
    A5-L + A5-C玩具车91%3.460.02
    A5-L + Y3长椅100%3.390.20
    A5-L + Y3玩具车93%3.370.04
    A2-L + A5-C交通锥100%3.430.07
    A2-L + A5-C玩具车96%3.340.17
    A2-L + Y3长椅100%3.300.20
    A2-L + Y3玩具车97%3.250.06
    • 作者称 MSF-ADV 在所有物体类型与组合上成功率至少 91%,交通锥与长椅全部 100%。
    • 作者指出 A5-L + A5-C 成功率最低,认为最新版 Apollo 模型在 4 种组合中最鲁棒。
    • 隐蔽性:平均 ∆l2 约 3.4 cm 即可达到至少 91% 成功率;平均 LPIPS 0.10,作者称与 GAN 图像修复方法的水平相当。

    与基线攻击方法对比(§V-C)

    • 设置:A5-L + A5-C、交通锥;GN 加 σ=2.1 cm 高斯噪声,GA 种群 50、每场景生成 2000 个候选(本文方法为 1000 次迭代)。
    • 结果(Table IV):GN 成功率 8%(∆l2 3.35 cm),GA 成功率 9%(∆l2 1.84 cm),本文方法 100%(∆l2 3.28 cm)。
    • 作者解读:高成功率来自优化设计而非扰动本身;Fig. 7 显示 GA 2000 次试验的适应度下降本文方法 133 次即可达到,作者称效率为 15 倍。

    鲁棒性、实物与仿真

    • 位置鲁棒性(Table V,A5-L+A5-C、交通锥):X 距离 5–35 m 三个区间内,加 EoT 后平均成功率 95.5%–96.6%,不加 EoT 为 79.2%–80.3%;作者称 EoT 平均提升 20.5%。
    • 实车 LiDAR 实验(§V-E1):3D 打印 75 cm 对抗立方体(针对 A2-L 生成),Velodyne HDL-64E 实车采集,对抗立方体在 108 帧中仅 0.9%(1 帧)被检出,良性立方体 99 帧中 84.8%(84 帧)被检出。
    • 微缩实验(§V-E2,Table VI):1:6.67 比例交通锥,iPhone 8 Plus 相机 + VLP-16 LiDAR,20 个随机位置;A5-L+A5-C 上良性检出率 95%(19/20),攻击成功率 90%(18/20);对 A2-L+A5-C 的迁移攻击成功率 85%(17/20)。
    • 端到端仿真(§VI):LGSVL + Apollo v5.0,车速 30 km/h,各 100 次运行;对抗交通锥碰撞率 100%,良性为 0%;作者称日志显示物体在融合前的每一帧都逃逸了两路检测。

    防御评测(§VII-B1)

    • 输入变换(Fig. 12,A5-L+A5-C、交通锥):bit-depth reduction、median smoothing、JPEG compression、autoencoder reformation 四种;median smoothing 最有效,在不影响良性检出率的情况下把攻击成功率降到 66%;作者指出这些方法已知可被自适应攻击绕过。
    • 数据增强 AUG(Table VII,A5-L+Y3、长椅):攻击成功率从 100% 降到 69%,良性检出率保持 100%,但测试集 mAP 从 44% 降到 32%。
    • 对抗训练(Y3,2 步 PGD 近似):900 epoch 后成功率仍达 95%;作者认为 2 步 PGD 不足以生成有效对抗样本,并计划未来系统研究。

    其他消融与分析

    • 隐蔽性参数 ε(Table III,A5-L+A5-C、交通锥):ε=1.0 时成功率 93%(∆l2 1.51 cm),ε=0.5 时 76%(∆l2 0.54 cm)。
    • 参数敏感性(Table IX,20 个场景):对 µ 最敏感(µ=10 时 75%、µ=1000 时 60%,默认 100 时 100%);λ=200 时降到 65%;PGD 初始点 0.1 时降到 45%。
    • 可打印性(Table X):生成物体 100% 通过 PreForm 与水密性检查;Laplacian 损失将自相交率从 88.73% 降到 14.43%、曲率从 1.68 降到 0.69,不影响成功率;QECD 单独使用会把成功率降到 90%。
    • 迁移性(§V-B):玩具车在 4 种组合间迁移攻击平均成功率约 75%(作者报告)。
    • 用户研究(附录 B,Fig. 13,n=105):对抗交通锥被认为"是合法交通锥"的比例与良性锥相近(约 60%),被选为"形状最异常"的比例始终最低。
  5. 有什么可以进一步探索的点?

    作者列出缺真实车辆端到端评估、未测 DNN-based fusion 等局限,并计划研究更有效防御。

    作者指出的局限与后续方向

    • 未做真实车辆端到端物理世界评估(§VII-A):因成本与安全考虑未在真实 AV 上做端到端攻击评估,仅以生产级仿真器作为替代。
    • 未评估 DNN-based fusion(§VII-A):实验针对 rule-based fusion,对 DNN-based MSF 算法的有效性尚不清楚;作者说明这不是方法本身的限制(设计对两种融合通用),留作未来工作。
    • 防御研究的后续方向(§VII-B1):探索 MSF-ADV 自适应攻击下输入变换防御的有效性;借鉴 median smoothing 的成功探索其他输入变换;设计更高效的对抗训练;探索 certified robustness 向 3D 空间与物理世界攻击的扩展。
    • 融合更多感知源(§VII-B2):如不同位置的多相机/多 LiDAR、引入 RADAR;作者指出这不能从根本上击败攻击(RADAR 点云也可能受形状操控影响、其检测算法仍是 DNN),留待系统探索。

    实验覆盖范围

    • 被测 MSF 组合为 4 种,来自 2 个开源全栈 AD 系统(Baidu Apollo、Autoware.AI),均为 rule-based fusion(§V-A)。
    • 主实验每种物体 100 个 KITTI 场景;鲁棒性每区间 20 个位置;微缩实验 20 个位置;仿真每条件 100 次运行(§V、§VI)。
    • 物理世界实验包括:实车仅 LiDAR 侧(HDL-64E,针对 A2-L 的 75 cm 立方体),相机+LiDAR 双侧为 1:6.67 微缩设置(§V-E)。
    • 防御评测覆盖 4 种输入变换、数据增强(仅 Y3)、2 步 PGD 对抗训练(仅 Y3);未评估 certified robustness,作者说明其现有设计面向 2D 数字空间扰动(§VII-B1)。
    • 论文未报告攻击生成的耗时或硬件成本细节(仅 Table VIII 给出优化参数)。
  6. 总结一下论文的主要内容

    作者称首个 MSF 感知安全研究:3D 打印对抗物体同时骗过相机与 LiDAR,仿真碰撞率 100%。

    这是一篇自动驾驶感知安全论文,作者称其为首个针对多传感器融合(MSF)感知的安全研究,直接挑战"不会所有感知源同时被攻击"这一 MSF 基本设计假设。

    • 问题:量产 AD 系统普遍用相机+LiDAR 融合感知并视其为通用防御,但此前攻击只针对单路传感器,MSF 能提供多少安全保障未知。
    • 方法:MSF-ADV 以形状可操控的 3D 打印物体(如外观略磨损的交通锥)为攻击向量,通过可微 LiDAR/相机渲染和 cell 级聚合特征的软 point-inclusion 近似(tanh 近似 sign),用 PGD 在 L∞ 约束下联合优化顶点,使两路感知同时漏检;EoT 提升对不同距离角度的鲁棒性。
    • 主结果:在 Apollo 与 Autoware.AI 的 4 种 MSF 组合、100 个 KITTI 场景上,三种物体成功率 91%–100%,平均顶点扰动约 3.4 cm(Table II);基线 GN 与 GA 在相同扰动量级下仅 8%–9%(Table IV)。
    • 实物与端到端:3D 打印立方体在实车 LiDAR 上 107/108 帧逃逸检测;微缩实验中交通锥对 A5-L+A5-C 成功率 90%(18/20);LGSVL 仿真中 Apollo 对对抗交通锥 100 次运行碰撞率 100%,良性为 0%。
    • 防御:所测防御中 median smoothing 最多把成功率降到 66%,数据增强降到 69%(mAP 从 44% 降到 32%);作者指出这些防御已知可被自适应攻击绕过。
    • 作者结论:MSF 作为防御策略的安全保障有限,希望工作推动社区发展有效防御;局限包括未做真实车辆端到端评估、未测 DNN-based fusion。

相关论文

共同使用 KITTI
阅读原文S&P 2021