LiDAR-SHIELD:面向 LiDAR 3D 感知模型的全 Docker 化对抗鲁棒性评估框架
LiDAR-SHIELD: A Fully Dockerized Adversarial Robustness Assessment Framework for LiDAR-Based 3D Perception Models
作者提出 LiDAR-SHIELD,一个 Docker 化的 LiDAR 3D 感知对抗鲁棒性评估框架,经三个 HTTP 端点接入任意模型,支持分割与检测两类任务的白盒/黑盒攻击评测。
- LiDAR 3D 感知模型部署前需做对抗压力测试,但现有攻击实现分散在各自代码库、绑定特定架构,通用对抗工具箱又不支持点云输入,缺乏同时覆盖分割与检测的统一可复现评估工具。
- LiDAR-SHIELD 采用服务化设计:目标模型留在原生环境,通过 /info、/forward、/gradient 三个 HTTP 端点与评估引擎通信;接入新模型或数据集只需一个 loader 或 adapter。框架按任务集成攻击:分割用 PGD 与 Square Attack,检测用点扰动、点删除、点注入与 LiDAttack。
- 在 KITTI、CARLA、SemanticKITTI、SemanticPOSS 上评测了 SECOND、PointPillars、LENet、CENet、FIDNet。点扰动对 PointPillars 影响最大(KITTI 上 mAP ratio 降至 10.59%);黑盒 Square Attack 将 LENet 在 SemanticKITTI 上的 mIoU 从 64.70 降至 19.50;LiDAttack 将 SECOND 在 KITTI 上的 mAP 从 70.43 降至 52.51。
- 论文未专门讨论局限。实验覆盖:检测仅测 SECOND 与 PointPillars,分割主干对比仅 LENet、CENet、FIDNet;黑盒攻击各只在一个模型-数据集组合上评测;论文未报告样本量、重复次数与统计检验。
- 威胁模型
- 框架支持两类威胁模型:white-box 攻击经 /gradient 端点获取输入梯度(如 PGD、点扰动/删除/注入),black-box 攻击仅经 /forward 端点访问模型输出(如 Square Attack、LiDAttack);受害系统为 LiDAR 3D 语义分割与 3D 目标检测模型。
- 被测模型
- SECONDPointPillarsLENetCENetFIDNet
- 基准
- KITTICARLASemanticKITTISemanticPOSS
- 指标
- mAPmAP ratioChamfer DistancemIoU
研究者发布 LiDAR-SHIELD,一个面向基于 LiDAR 的 3D 感知模型的全 Docker 化对抗鲁棒性评估框架,代码开源于 https://github.com/alexandrosgk/LiDAR-shield。针对现有对抗攻击实现分散在各仓库、绑定特定架构且需手动重建环境的问题,该框架不把目标模型装进工具包,而是通过 /info、/forward、/gradient 三个轻量 HTTP 端点暴露任意模型,接入新模型或数据集只需一个 loader 函数或适配器。框架通过同一引擎服务协议同时支持 3D 语义分割与 3D 目标检测,集成任务感知的攻击套件,分割任务包括 PGD 和 Square Attack,检测任务包括点扰动、点删除、点注入和 LiDAttack,可在真实部署前对异构 LiDAR 骨干网络系统性地暴露边界情况与漏洞,适用于自动驾驶和机器人场景。
深度解读
这篇论文试图解决什么问题?
作者称现有 LiDAR 对抗攻击实现分散、绑定特定架构,缺乏同时覆盖分割与检测的统一可复现评估工具。
核心问题:如何在不做手工环境重建和模型适配的情况下,对 LiDAR 3D 感知模型(分割与检测)做系统的对抗鲁棒性评估。
- 场景与动机:LiDAR 是自动驾驶与机器人的主要传感方式,3D 目标检测与 3D 语义分割是两类核心任务;作者认为部署前必须对模型做对抗输入的压力测试,以暴露干净基准无法暴露的 corner cases 与漏洞。
- 现有方法的不足:作者称通用对抗工具箱(ART、Foolbox、CleverHans、secml)采用 library-centric 集成模式,需把目标模型装进工具箱代码库,且不支持 LiDAR 点云输入;LiDAR 层面的工作或只覆盖单一任务、或针对自然腐蚀(Robo3D)、或攻击代码与特定架构耦合,复用需手工重建环境和编写 glue code。
- 核心观察:检测与分割共享同一上游 LiDAR 测量,输入空间的扰动可同时危及两类任务,因此可以用同一套引擎-服务协议统一评估。
- 论文提出的方案:LiDAR-SHIELD,一个统一、完全 Docker 化的对抗鲁棒性评估框架,通过三个 HTTP 端点(/info、/forward、/gradient)接入任意模型,集成任务感知的攻击套件(分割:PGD、Square Attack;检测:点扰动、点删除、点注入、LiDAttack)。
- 威胁模型(框架支持的攻击设定):
- 攻击者目标:降低分割 mIoU 或检测 mAP,即最大化任务损失。
- 知识:white-box(经 /gradient 获取输入梯度)与 black-box(仅经 /forward 获取预测输出)两档。
- 能力:对 range-view 张量加 ℓp 有界扰动(分割),或对点云做坐标扰动、删除、注入(检测),受 ϵ 预算或 Chamfer 距离约束。
- 受害系统:LiDAR 3D 语义分割模型与 3D 目标检测模型。
有哪些相关研究?
相关工作分三组:LiDAR 对抗攻击、LiDAR 感知模型族、鲁棒性工具箱与基准;作者称无现有工具统一覆盖两类任务。
LiDAR 感知上的对抗攻击
- 白盒数字扰动可抑制 3D 检测或引入定位误差 [19],对抗样本可跨 LiDAR 架构迁移 [18];分割管线在数字扰动下的脆弱性也有研究 [20], [33]。
- 点云层面:删除点即可欺骗 3D 模型 [21],原始点云上的可迁移扰动 [22];Zhang et al. [31] 系统研究了 LiDAR 3D 检测器的对抗鲁棒性,Chen et al. [29] 提出黑盒攻击 LiDAttack。
- 作者指出这些攻击实现不提供同时覆盖检测与分割的可复用评估基础设施。
LiDAR 感知模型
- 分割:RangeNet++ [8]、CENet [9]、FIDNet [10]、LENet [11] 代表不同的稠密场景理解设计点。
- 检测:PointPillars [3]、VoxelNet [5]、SECOND [4]、CenterPoint [6] 代表 pillar-based、voxel-based、center-based 管线;作者认为这种异构性需要能容纳任意主干的服务抽象。
鲁棒性工具箱与基准
- 通用工具箱 ART [25]、Foolbox [26]、CleverHans [27]、secml [35] 要求把目标模型嵌入其代码库,作者指出它们不提供 LiDAR 点云输入或 3D 感知输出的原生支持。
- Ji et al. [32] 基准化了点云识别的对抗鲁棒性,但针对分类而非检测与分割;Zhang et al. [31] 的基准只覆盖检测;Robo3D [30] 覆盖检测与分割但针对自然腐蚀而非对抗攻击。
基线与基准:本文不提出新攻击,而是集成现有攻击作为内置套件——分割用 PGD [13](白盒)与 Square Attack [17](黑盒),检测用点扰动/删除/注入(白盒,遵循 [19], [21], [22])与 LiDAttack [29](黑盒);评测数据集为 KITTI、CARLA、SemanticKITTI、SemanticPOSS。
作者将本文定位为:填补"无统一、Docker 化、同时覆盖 LiDAR 分割与检测的对抗评估工具"这一空白。
论文如何解决这个问题?
服务化架构:模型留在原生环境,经三个 HTTP 端点与评估引擎通信,攻击按任务实例化。
整体思路是把鲁棒性评估分解为三个 Docker 化组件,用两个契约(data contract、model contract)把数据集差异和模型差异隔离在系统边界,使 LiDAR-SHIELD 的评估引擎保持任务感知但模型无关。
架构与组件
- User Client / Data Adapter:负责加载 LiDAR 样本与标注、打包成 task-tagged 请求;所有 benchmark 相关逻辑(文件布局、标定、标注解析)留在此层,接入新数据集只需实现该 adapter。
- Assessment Engine:方法核心,负责选择攻击、维护扰动状态、协调 clean/adversarial 前向、执行威胁模型控制逻辑;攻击行为只实现一次,跨模型复用。
- Model Service:封装目标网络的构建、checkpoint 加载、任务损失定义与前/后处理;接入新主干只需实现 load_model(device),返回 (model, criterion, info, device)。
接口契约
- data contract:规定 adapter 输出的样本载荷格式,引擎不直接解析原始数据集文件。
- model contract:三个端点——/info 返回模型与任务元数据,/forward 返回任务原生预测,/gradient 返回白盒攻击所需的输入梯度;论文称任一主干实现这三个调用即可被攻击,无需导入其代码库。
引擎工作流
- 每个模型会话查询一次 /info 获取元数据,实例化任务处理路径。
- 对样本 (x, y) 经 /forward 得到干净参考预测,按所选威胁模型实例化攻击并迭代生成对抗输入 xadv。
- 对抗样本经同一服务边界执行,收集任务原生输出用于评估;black-box 模式只用 /forward,white-box 模式额外调用 /gradient,编排层不变。
分割攻击套件
- 对投影后的 range-view 张量 Y 加扰动:Yadv = Y + Δ, |Δ|p ≤ ϵ,目标是最大化分割损失。
- PGD(白盒):经 /gradient 迭代,p ∈ {2, ∞},含投影与范数特定的梯度归一化。
- Square Attack(黑盒):仅经 /forward,在 ℓ∞ 约束下对输入张量的随机方形区域做 query-efficient 随机搜索。
检测攻击套件
- 点扰动(白盒):Padv = {pi + δi},约束每点位移 ∥δ_i∥2 ≤ ϵ,用 PGD 最大化检测损失。
- 点删除(白盒):按检测损失梯度的 ℓ2 范数给点打分,按 saliency 降序贪心删除。
- 点注入(白盒):注入点集 Z,Padv = P ∪ Z,在 saliency 最高处初始化、Chamfer 距离约束下只优化 Z。
- LiDAttack(黑盒):仅用 /forward,以遗传算法加模拟退火搜索点云修改。
关键参数
- 检测白盒:点扰动 ϵ ∈ {5, 7, 10} cm、40 次迭代、步长 α = ϵ/30;点删除 10 次迭代、删除率 {0.5, 1.0, 1.5}%;点注入 300 个点、ϵ ∈ {0.3, 0.5, 0.7} m。
- 检测黑盒:LiDAttack 优化 K = 20 个点、目标框 0.5 m 边际内、每目标最多 1000 次前向查询。
- 分割白盒:PGD ℓ2 ϵ ∈ {3, 6, 9}、ℓ∞ ϵ ∈ {0.1, 0.3, 0.5},T = 40、α = ϵ/T;黑盒 Square Attack:ℓ∞ ϵ = 0.3、1000 次查询、一次随机重启、初始扰动概率 pinit = 0.4。
论文做了哪些实验?
在 4 个数据集、5 个模型上评测内置攻击:点扰动对 PointPillars 影响最大,黑盒攻击也降低了分割与检测性能。
实验设置
- 被测模型:检测为 SECOND(voxel-based)与 PointPillars(pillar-based);分割为 LENet、CENet、FIDNet 三个预训练 range-view 模型。
- 数据集:检测用 KITTI(64 线真实 LiDAR,结果取 moderate 难度)与 CARLA 模拟数据(Town06、3,000 帧、10 Hz、64 线);分割用 SemanticKITTI(range-view 64×1024)与 SemanticPOSS(40×1800)。
- 攻击配置:见第 3 问参数;黑盒攻击各只在一个组合上评测——LiDAttack 在 KITTI 上攻击 SECOND,Square Attack 在 SemanticKITTI 上攻击 LENet。
- 指标:检测用绝对 mAP、mAP ratio(mAPadv/mAPclean × 100,越低退化越强)与对称 Chamfer Distance(CD,越低几何保真越好);分割用 mIoU。
- 样本量与重复次数:论文未报告各实验的样本数、重复次数或统计检验。
主结果
Table II 给出检测的 mAP ratio(%)与 CD,下表仅列 mAP ratio:
表格较宽,可左右滑动
数据集 检测器 点扰动 ϵ=5cm ϵ=7cm ϵ=10cm 点删除 0.5% 1.0% 1.5% 点注入 ϵ=0.3m 0.5m 0.7m KITTI SECOND 90.91 83.10 65.48 83.15 74.18 67.98 71.73 65.28 71.12 KITTI PointPillars 33.02 19.56 10.59 80.25 62.07 57.40 87.85 75.83 76.76 CARLA SECOND 89.06 82.80 73.21 95.28 91.77 85.32 87.72 78.46 77.24 CARLA PointPillars 22.82 13.87 3.46 89.97 85.23 80.02 95.93 93.90 89.72 (据 Table II;CD 随扰动预算增大而升高,此处从略)
- 作者称点扰动造成的退化最强,mAP ratio 随位移预算持续下降,对 PointPillars 影响尤其大;作者认为 voxel-based 稀疏卷积检测器对坐标级扰动不如 pillar-based 编码敏感。
- 作者称点删除的退化更平缓;点注入退化中等且 CD 更低。
- 例外:KITTI 上增大注入半径不总是增强攻击——SECOND mAP ratio 在 ϵ=0.5 m 时降至 65.28%、ϵ=0.7 m 时回升到 71.12%,PointPillars 类似;作者认为过大的预算会把注入点移出最有影响的区域。
分割鲁棒性(Table III、Table V)
- LENet 在 SemanticKITTI:mIoU 从 64.7 降至 ℓ2 ϵ=9 时的 41.7、ℓ∞ ϵ=0.5 时的 34.7;SemanticPOSS 上从 52.7 降至 ℓ2 的 34.4、ℓ∞ 的 28.8(Table III)。
- 主干对比(SemanticKITTI,ℓ2 ϵ=6,Table V):LENet 64.70→46.90,CENet 61.70→44.30,FIDNet 60.80→44.10;作者称三者均在攻击下退化。
黑盒攻击(Table IV)
- Square Attack 分割:LENet 在 SemanticKITTI 上 mIoU 从 64.70 降至 19.50;作者称这确认了无梯度访问下的脆弱性。
- LiDAttack 检测:SECOND 在 KITTI 上 mAP 从 70.43 降至 52.51,作者称相对下降约 25%。
其他消融与分析
- 论文未报告除扰动预算扫描(Table II、III 内的 ϵ 与删除率取值)之外的消融实验。
有什么可以进一步探索的点?
论文未专门讨论局限;实验覆盖 5 个模型、4 个数据集,黑盒攻击各只测一个组合,未报告样本量与重复次数。
作者指出的局限与后续方向
- 论文未专门讨论局限,也没有独立的 Limitations 或 Future Work 小节;Conclusion 仅总结框架能力与实验结论。
实验覆盖范围
- 被测模型:检测为 SECOND、PointPillars 共 2 个;分割主干对比(Table V)为 LENet、CENet、FIDNet 共 3 个;分割的预算扫描(Table III)与黑盒 Square Attack 只在 LENet 上进行。
- 数据集:检测用 KITTI(moderate 难度)与 CARLA(Town06、3,000 帧);分割用 SemanticKITTI 与 SemanticPOSS。
- 黑盒攻击覆盖:LiDAttack 只在 KITTI 上攻击 SECOND,Square Attack 只在 SemanticKITTI 上攻击 LENet(Table IV),各为一个模型-数据集组合。
- 攻击覆盖:内置套件为分割的 PGD、Square Attack 与检测的点扰动、点删除、点注入、LiDAttack(Table I);论文引言提到传感器层面的物理攻击存在,但实验只包含数字扰动。
- 论文未报告:各实验的样本量、重复次数、统计显著性检验,以及攻击的实际耗时或查询开销(仅给出 LiDAttack 每目标最多 1000 次查询、Square Attack 1000 次查询的预算上限)。
总结一下论文的主要内容
LiDAR-SHIELD 用三个 HTTP 端点把对抗评估与目标模型解耦,一套引擎覆盖分割与检测的白盒/黑盒攻击评测。
LiDAR-SHIELD 是一个完全 Docker 化的 LiDAR 3D 感知对抗鲁棒性评估框架,面向自动驾驶与机器人部署前的压力测试场景。
- 问题:作者称现有攻击实现分散、绑定特定架构与依赖栈,通用工具箱不支持点云输入,缺乏同时覆盖 3D 语义分割与 3D 目标检测的统一可复现工具。
- 方法:服务化设计——目标模型留在原生环境,经 /info、/forward、/gradient 三个 HTTP 端点与评估引擎通信;接入新模型或数据集只需一个 loader 或 adapter。攻击按任务实例化:分割在 range-view 张量上做 PGD(白盒)与 Square Attack(黑盒),检测在点云上做点扰动、点删除、点注入(白盒)与 LiDAttack(黑盒)。
- 主要结果:
- 点扰动对 PointPillars 影响最大:KITTI 上 mAP ratio 在 ϵ=10 cm 时降至 10.59%,CARLA 上降至 3.46%;SECOND 同期保留 65.48% 与 73.21%(Table II)。
- 黑盒攻击有效:Square Attack 将 LENet 在 SemanticKITTI 上的 mIoU 从 64.70 降至 19.50;LiDAttack 将 SECOND 在 KITTI 上的 mAP 从 70.43 降至 52.51(Table IV)。
- 分割主干对比(SemanticKITTI,ℓ2 ϵ=6):LENet、CENet、FIDNet 的 mIoU 分别从 64.70、61.70、60.80 降至 46.90、44.30、44.10(Table V)。
- 例外:KITTI 上点注入预算从 0.5 m 增至 0.7 m 时攻击反而减弱(SECOND mAP ratio 65.28%→71.12%)。
- 作者结论:作者称实验在 SemanticKITTI、SemanticPOSS、KITTI、CARLA 上确认集成攻击能暴露异构 LiDAR 主干的漏洞;代码已公开。