对抗性跟踪:针对自动驾驶车辆目标跟踪图像传感器的攻击
Adversarial Tracking: Attacks on Image Sensors for Object Tracking in Autonomous Vehicles
作者评估了针对 YOLOv3/YOLOv4 检测器的 image-specific 与 image-agnostic 攻击对四种 TBD 跟踪器的影响,作者称仅扰动检测器即可使 YOLOv3 跟踪器 HOTA 从 53.45–56.19% 降至 14.85–17.03%。
攻击者向相机输入图像添加 l∞ 范数约束(ϵ=8)的对抗扰动,只攻击 TBD 系统中的目标检测器,不访问跟踪模块内部;分 image-specific(逐帧生成扰动)与 image-agnostic(单个 UAP 应用于所有帧)两种;受害系统为 CARLA 仿真中 YOLOv3/YOLOv4 搭配 SORT、Deep SORT、Strong SORT、OC-SORT 的 vision-only 跟踪系统。
- 自动驾驶的 Tracking-By-Detection 系统依赖神经网络检测器,而检测器易受对抗扰动影响;作者认为检测准确率 alone 不能完全刻画攻击对下游轨迹估计的影响,需要在跟踪层面系统评估。
- 在 CARLA 仿真器生成的 7 地图数据集上,对 YOLOv3/YOLOv4 检测器施加 l∞ 约束的 image-specific 攻击(逐帧迭代)和 image-agnostic 攻击(单个 UAP),配 SORT、Deep SORT、Strong SORT、OC-SORT 四种跟踪器,用 MOTA、HOTA、IDF1 衡量跟踪质量。
- image-specific 攻击下 YOLOv3 跟踪器 MOTA 最差降至 -772.60%,HOTA 降至 14.85–17.03%;YOLOv4 更鲁棒但 HOTA 仍降至 25.06–26.86%;UAP 也能降低 MOTA,作者称仅扰动检测器足以破坏 TBD 跟踪。
- 作者指出示例中误检多为 bird、chair 类,车辆类过滤可拦截部分误检,剩余误差来源未分解,针对车辆类别的扰动留作后续比较;实验仅在 CARLA 仿真环境、两种检测器和 ϵ=8 下进行,论文未报告真实物理场景与自适应防御评测。
- 被测模型
- YOLOv3YOLOv4SORTDeep SORTStrong SORTOC-SORT
- 基准
- CARLA simulator(7 个地图,作者开源的 CARLA 跟踪数据集)
- 指标
- MOTAHOTAIDF1
论文在 CARLA 模拟器中评估了针对自动驾驶目标跟踪系统的对抗攻击,测试 YOLOv3 与 YOLOv4 检测器分别搭配 SORT、Deep SORT、Strong SORT、OC-SORT 的组合,并用 MOTA、HOTA、IDF1 衡量跟踪质量。图像特定攻击使 YOLOv3 跟踪器的 HOTA 从 53.45-56.19% 降至 14.85-17.03%,最差情况 MOTA 达 -772.60%;YOLOv4 跟踪器更稳健,HOTA 仍降至 25.06-26.86%。图像无关攻击只需单个通用对抗扰动(UAP)即可降低跟踪精度,无需为每帧单独生成扰动。
深度解读
这篇论文试图解决什么问题?
作者要回答:只扰动 TBD 系统中的目标检测器,会在多大程度上破坏自动驾驶的多目标跟踪。
核心问题:针对检测器的对抗扰动如何影响 Tracking-By-Detection(TBD)系统的跟踪质量,检测准确率 alone 无法完全刻画这一影响。
- 场景与重要性:自动驾驶中基于相机的多目标跟踪(MOT)估计周围物体的位置与身份;TBD 系统把神经检测器与运动预测、数据关联组合,其跟踪性能依赖检测器准确性,而检测器易受对抗攻击(引言)。
- 现有认识不足:检测错误不一定直接转化为跟踪错误,因为数据关联阶段可能拒绝不一致的检测;但持续的检测错误会使轨迹碎片化(Fig. 1)。作者认为需要在跟踪层面做系统评估。
- 核心假设:作者想验证传统统计跟踪组件(Kalman 滤波、Hungarian 算法)能否缓解对抗攻击的影响(第 III、IV 节)。
- 论文贡献:作者开源了基于 CARLA 的数据集生成框架;建立了 SOT(正文写作 SOT,引用 [9] 为 SORT)、Deep-SORT、Strong-SORT、OC-SORT 与 YOLOv3、YOLOv4、YOLOX 组合的跟踪基准;评估了 image-specific 与 image-agnostic 两类攻击(引言贡献列表)。
- 威胁模型:
- 目标:使检测器对扰动图像产生不同的检测假设集合,从而破坏跟踪(式 (7))。
- 知识:攻击针对检测器(YOLOv3/YOLOv4),需计算相对输入图像的梯度;detector-only 攻击不需要访问内部跟踪模型(第 II-C 节)。
- 能力:对输入图像加 l∞ 范数约束(ϵ=8)的扰动;image-specific 逐帧生成,image-agnostic 用单个 UAP 覆盖所有帧。
- 受害系统:CARLA 仿真中 vision-only 的 TBD 跟踪系统(四种跟踪器 × 两种检测器)。
有哪些相关研究?
相关工作分 MOT 方法、跟踪评测指标、对抗攻击三类;本文定位是只攻击检测器、在跟踪层面系统评测。
多目标跟踪方法
- Sun 等(2020)与 Krebs 等(2017)——分别综述了基于 TBD 框架的多行人跟踪和深度学习目标跟踪方法,是本文引用的背景综述。
- SORT(2016)、Deep SORT(2017)、Strong SORT(2023)、OC-SORT(2023)——本文评测的四个实时在线跟踪器;SORT 用 Kalman 滤波做状态预测,Deep SORT 增加 CNN 外观特征,OC-SORT 不依赖额外神经网络。
跟踪评测指标
- MOTA(Bernardin 和 Stiefelhagen, 2008)——综合 FP、FN、IDSW 的 CLEAR MOT 指标。
- IDF1(Ristani 等, 2016)——衡量预测身份与真值身份的一致性。
- HOTA(Luiten 等, 2020)——平衡检测精度(DetA)与关联精度(AssA)。
对跟踪系统的对抗攻击
- Jia 等(ICLR 2020)——论文称这是 2019 年提出的首个针对 MOT 模型的对抗攻击,攻击了以 YOLOv3 为检测器的 TBD 方法。
- Wiyatno 和 Xu(CVPR 2019)——针对 GOTURN 式单目标跟踪的物理对抗纹理;Lin 等(2021)——攻击 FairMOT 及行人跟踪器的外观与距离线索以切换 tracklet。
- Liu 等(ICASSP 2022)——攻击关联方法,改变物体标签证据以破坏关联;论文指出与这类方法不同,detector-only 攻击只改图像输入、不动跟踪模块。
对检测器的攻击与防御
- 论文称 YOLOX 与 CenterNet 是自动驾驶中常用的两种检测器,都对对抗攻击脆弱(引用 Zhou 等 CVPR 2023 的 F&F attack、Pang 等 2024)。
- Erkuş 和 Purutçuoğlu(2021)——时序异常检测可作为识别对抗扰动的潜在防御思路。
基线与基准:本文没有对比其他攻击方法作为基线;评测基准是作者自建的 CARLA 数据集(7 个地图)与 MOTA、IDF1、HOTA 三指标,对照为无攻击(No Attack)设置。
定位:作者把本文与攻击关联、攻击 tracklet 的工作区分开,强调本文只扰动检测器输入,并在跟踪层面(而非仅检测层面)系统刻画攻击影响。
论文如何解决这个问题?
在 CARLA 数据集上对 YOLOv3/YOLOv4 施加两类 PGD 式扰动,再用四种 TBD 跟踪器跑跟踪,用 MOTA/HOTA/IDF1 衡量。
整体思路:固定 TBD 跟踪管线不变,只攻击其中的目标检测器——用梯度上升生成增大检测置信度、缩小预测框的扰动,观察下游跟踪指标的下降。方法分 image-specific attack 与 image-agnostic attack(UAP) 两种。
问题设定与形式化
- 检测假设:输入图像 x,检测器输出 N 个候选检测 H = {h1, ..., hN},每个 hi = (bi, ci, pi) 包含边界框、置信度和 K 类类别概率(式 (5))。
- 攻击目标:生成扰动 δ ∈ [−1,1]^{whc},使扰动图像 x′ = x + δ 的检测输出不同,即 H(x′) ≠ H(x)(式 (7))。
- 对抗损失:Ladv(x) = ∑i=1N σ(ci)σ(pi) / ∑i=1N [σ(biw)σ(bih)]2(式 (10)),含义是增大所有候选框的置信度并缩小预测框尺寸,从而增加检测数量;最大化该损失产生错误框,最小化则抑制检测。
Image-Specific Attack
- 更新方式:PGD 式迭代 δ_{t+1} ← Proj_{∞,ϵ}(δ_t + α_t·sign(∇_x L_adv(x + δ_t)))(式 (8)),Proj 把扰动约束在 l∞ 半径 ϵ 内,学习率逐迭代衰减。
- 超参数:攻击强度 ϵ = 8,学习率衰减 k = 0.99;逐帧更新,每帧迭代 1 步,7 个地图各跑连续 300 帧(第 IV-A 节)。
Image-Agnostic Attack(UAP)
- 更新方式:对样本图像集 X_S 中每张图计算对抗梯度并累积更新,得到可应用于多帧的单个通用扰动(式 (9));论文称用更小的学习率以提升跨图像迁移性。
- 超参数:在 Map 02 上训练 100 次迭代(作者称 Map 02 在所有地图上泛化最好),学习率 α = 0.001,衰减 k = 0.98,ϵ = 8(第 IV-B 节)。
跟踪管线与评测方式
- TBD 组件:检测器输出经 Kalman 滤波状态预测(匀速模型,状态含框中心、尺度、长宽比及速度,式 (1))、可选 CNN 外观特征(Deep SORT)、Mahalanobis 距离 + Hungarian 算法做数据关联(第 II-A 节)。
- 被测组合:SORT、Deep SORT、Strong SORT、OC-SORT 四种跟踪器 × YOLOv3、YOLOv4 两种检测器;引言贡献列表还提到 YOLOX,但第 IV 节实验只报告 YOLOv3 与 YOLOv4。
- 指标:MOTA(惩罚 FP、FN、IDSW,式 (2))、IDF1(身份一致性,式 (3))、HOTA(DetA 与 AssA 的几何平均,式 (4));论文说明 MOTA 强调检测与身份错误、IDF1 关注身份一致性、HOTA 平衡检测与关联。
- 环境:CARLA 仿真器,7 个地图;数据集生成框架与攻击代码作者已开源(引言脚注)。
论文做了哪些实验?
两类攻击 × 两种检测器 × 四种跟踪器,image-specific 攻击下 YOLOv3 的 MOTA 最差到 -772.60%。
实验设置
- 被测模型:检测器 YOLOv3、YOLOv4;跟踪器 SORT、Deep SORT、Strong SORT、OC-SORT(两两组合共 8 种)。
- 数据集:作者用 CARLA 仿真器生成的自动驾驶数据集,共 7 个地图。
- 攻击设置:image-specific 攻击 ϵ=8、k=0.99,每帧 1 步、每地图 300 帧;image-agnostic 攻击在 Map 02 上训练 UAP,100 次迭代、α=0.001、k=0.98、ϵ=8。
- 指标:MOTA、HOTA、IDF1,均为跟踪层面指标;对照为 No Attack。
- 评审方式:指标按定义自动计算,论文未使用人工或 LLM 评审。
- 重复次数:论文未报告重复实验或方差。
主结果
据 Fig. 3(MOTA,image-specific 攻击)与 Fig. 4(MOTA,image-agnostic 攻击):
表格较宽,可左右滑动
检测器 跟踪器 No Attack Image-Specific Image-Agnostic YOLOv3 OC-SORT 61.10% -482.66% 45.45% YOLOv3 Strong-SORT 61.43% -772.60% 47.18% YOLOv3 Deep-SORT 57.24% -692.26% 43.28% YOLOv3 SORT 62.63% -525.81% 46.85% YOLOv4 OC-SORT 65.36% 17.07% 14.26% YOLOv4 Strong-SORT 63.25% 0.94% 16.95% YOLOv4 Deep-SORT 65.27% -6.30% 10.98% YOLOv4 SORT 60.43% 19.19% 14.70% - 作者称 image-specific 攻击通过产生大量小误检框使 MOTA 大幅下降,YOLOv3 的 MOTA 因大量 FP 降为负值;YOLOv4 产生更少但更大的误检框,相对更鲁棒(Fig. 3 图注)。
- 作者称 UAP 总体不如 image-specific 攻击有效,但仍能降低 MOTA;对 YOLOv3 的降幅小于 image-specific 攻击,而若干 YOLOv4 组合在 UAP 下 MOTA 降幅更大,作者称相对效果取决于检测器(第 IV-B 节)。
- 按 Fig. 4 的读数,YOLOv4 各跟踪器在 UAP 下的 MOTA(10.98–16.95%)低于 image-specific 攻击下除 Deep-SORT 外的取值,与"UAP 总体较弱"的概括存在例外。
HOTA 与 IDF1(附录 Fig. 5、Fig. 6)
- HOTA:YOLOv3 从 No Attack 的 53.45–56.19% 降至 image-specific 攻击下的 14.85–17.03%、image-agnostic 下的 40.58–43.45%;YOLOv4 从 56.31–59.49% 降至 21.96–26.86%(image-specific)和 24.11–26.32%(image-agnostic)(Fig. 5)。
- IDF1:YOLOv3 从 69.30–74.31% 降至 9.95–14.09%(image-specific)和 55.20–62.43%(image-agnostic);YOLOv4 从 73.37–75.78% 降至 30.20–34.46%(image-specific)和 32.95–34.78%(image-agnostic)(Fig. 6)。
- 作者称 HOTA 与 IDF1 的下降是轨迹关联与身份保持退化的证据(第 IV-A、IV-B 节)。
误检类别分析
- 测了什么:观察攻击后误检框的类别(Fig. 4(a)(b),正文指为示例图)。
- 结果:YOLOv3 示例中误检 predominantly 标为 bird,YOLOv4 示例中 predominantly 标为 chair。
- 作者解读:车辆类过滤可以拒绝许多此类误检框,但 MOTA 损失说明下游跟踪未被完全保护;作者同时指出这些示例不能确定剩余误差中有多少来自漏检车辆或被接受的错误轨迹。
其他消融与分析
- 迭代步数:作者称增加每帧优化迭代次数可提升 image-specific 攻击效果,因为初始帧误检较少、跟踪基本不受影响;论文未给出具体迭代数与对应数字(第 IV-A 节)。
- 检测器对比:YOLOv3 产生许多小误检框,YOLOv4 产生更少但更大的误检框,作者据此称 YOLOv4 相对更鲁棒(Fig. 3 图注)。
- UAP 训练地图:选择 Map 02 训练 UAP,作者称其在所有地图上泛化最好;论文未给出各地图泛化对比的数字(第 IV-B 节)。
- 跟踪器对比(无攻击):作者称同一检测器下 OC-SORT 无需额外神经网络的特征提取即达到与 Strong SORT 相当的跟踪精度(第 V 节)。
有什么可以进一步探索的点?
作者指出误检类别与剩余误差来源未分解,并提出车辆定向扰动作为后续比较;实验仅覆盖仿真环境。
作者指出的局限与后续方向
- 误差来源未分解(第 IV-B 节):作者指出误检示例不能确定剩余误差有多少来自漏检车辆或被接受的错误轨迹。
- 后续方向:车辆定向扰动(第 IV-B 节):作者称针对车辆类别的扰动(vehicle-targeted perturbations)会是有用的进一步比较。
- 论文没有单独的 Limitations 小节,以上两条出自结果讨论中作者明写的不足与后续工作。
实验覆盖范围
- 被测组合:检测器为 YOLOv3、YOLOv4 共 2 个;跟踪器为 SORT、Deep SORT、Strong SORT、OC-SORT 共 4 个;引言贡献列表提到 YOLOX,但第 IV 节实验未报告其结果。
- 环境:仅 CARLA 仿真器,7 个地图;image-specific 攻击每地图跑连续 300 帧,每帧 1 步迭代。
- 攻击参数:ϵ=8;UAP 在 Map 02 上训练 100 次迭代;论文未报告其他 ϵ 取值或迭代预算的扫描实验。
- 防御评测:论文只在相关工作里提到时序异常检测作为潜在防御思路,实验中未实现或评测任何防御;正文提到车辆类过滤可拒绝部分误检,但未给出过滤后的跟踪指标。
- 未报告项:论文未报告重复次数、置信区间或统计检验;未报告攻击的查询次数与耗时。
总结一下论文的主要内容
CARLA 仿真中仅扰动检测器即可破坏四种 TBD 跟踪器,YOLOv3 的 MOTA 最差降至 -772.60%。
一篇针对自动驾驶视觉跟踪的对抗攻击评测论文,关注 Tracking-By-Detection(TBD)系统在检测器被扰动时的跟踪层面表现。
- 问题:TBD 系统的跟踪性能依赖神经检测器,而检测错误不一定直接等于跟踪错误;作者认为需要在跟踪层面系统刻画对抗攻击的影响。
- 方法:在自建的 CARLA 数据集(7 个地图)上,对 YOLOv3/YOLOv4 施加 l∞ 约束(ϵ=8)的 image-specific 攻击(逐帧 PGD 式迭代)和 image-agnostic 攻击(Map 02 上训练 100 次的单个 UAP),配 SORT、Deep SORT、Strong SORT、OC-SORT 四种跟踪器,用 MOTA、HOTA、IDF1 评测。
- 主结果:image-specific 攻击下,YOLOv3 跟踪器 MOTA 从 57.24–62.63% 降至 -482.66% 至 -772.60%,HOTA 从 53.45–56.19% 降至 14.85–17.03%,IDF1 最低 9.95%(Fig. 3、5、6)。
- 检测器差异:YOLOv4 产生更少但更大的误检框,作者称其更鲁棒,但 HOTA 仍降至 21.96–26.86%(Fig. 5)。
- UAP:单个通用扰动也能降低 MOTA(如 YOLOv4+Deep-SORT 从 65.27% 降至 10.98%),作者称其总体弱于 image-specific 攻击,但部分 YOLOv4 组合例外(Fig. 4)。
- 作者结论:仅扰动检测器足以破坏 TBD 跟踪系统;同一检测器下 OC-SORT 不用额外神经网络即与 Strong SORT 相当,作者据此认为改进 Kalman 滤波等传统组件可在不引入新攻击面的情况下提升跟踪精度;后续可比较针对车辆类别的定向扰动。