边缘 VLM 时代物理对抗鲁棒性的统一评测框架

1. 01这篇论文试图解决什么问题？

   边缘 grounding VLM 的物理对抗鲁棒性缺乏系统评测，且与检测器输出形式不同，难以公平对比。

   核心问题：边缘部署的 grounding VLM 对物理对抗补丁的鲁棒性尚未被系统研究，且其输出形式与传统检测器不同，造成公平评测的方法学困难。

   • 场景与重要性：VLM 正从描述场景转向在场景中定位，具身与自动驾驶系统中规划器直接以其输出的框为条件，正确框与错误框以相同形式到达、没有置信度可阈值化（作者称）。紧凑的 sub-4B VLM 已适合嵌入式加速器。
   • 现有不足：作者称已有的物理攻击评测只覆盖检测器（如 PADet-Bench），没有针对可部署在边缘的实时 VLM；干净图像上两个家族都能高准确率定位行人，无法区分鲁棒性。
   • 核心观察：两类模型共享一个判定——框是否落在目标上；补丁的抑制目标压低模型原生输出，使跨架构的鲁棒性可直接比较。
   • 论文提出：统一评测框架，引入以灰块遮挡为条件的指标 cASR，并把失败划分为 omission、substitution、displacement 三种模式，在 11 个模型上做遮挡受控对比。
   • 威胁模型：
     • 目标：训练佩戴在人身上的打印纹理补丁，使模型在真实世界中抑制对该人的检测。
     • 知识：white-box，攻击者完全访问模型，对每个模型独立优化补丁。
     • 能力：优化纹理空间像素；补丁以数字方式施加，"physical" 指威胁模型而非评测介质。
     • 受害系统：边缘部署的闭集检测器、开放词汇检测器与 grounding VLM。

   收起这一问

2. 02有哪些相关研究？

   相关工作覆盖检测器与 grounding VLM、对检测器的对抗攻击、对语言模型与 VLM 的攻击三条线。

   目标检测与 grounding VLM

   • 传统检测器从 CNN（Fast R-CNN、YOLO）发展到 transformer 检测器（DETR 及后续），CNN 与 transformer 都常用于边缘部署；开放词汇能力被引入 CNN（YOLO-World）与 transformer（Grounding DINO）架构。
   • 通用大语言模型走向多模态后出现 grounding 能力（InternVL3、PaliGemma 2、Qwen3-VL 等），多数开放权重 MLLM 参数量大，但也有适合轻量部署的紧凑变体（MiniCPM-V、LFM2.5-VL）。

   对目标检测的对抗攻击

   • 2017 年起出现针对检测器的不可感知扰动攻击（Xie et al.）；后续工作（Brown et al. 2017 的 adversarial patch、Thys et al. 2019 攻击行人检测）研究可存在于真实场景的对抗补丁及其迁移性，并扩展到 RGB 之外及混合模态。
   • 作者指出这些工作的威胁模型一致：攻击者在纹理空间针对模型原生输出优化像素。

   对语言模型与 VLM 的攻击

   • 语言模型上梯度无法作用于离散 token，攻击通过在候选字符串上搜索、以 token 嵌入梯度引导（Wallace et al. 2019；Zou et al. 2023）。
   • VLM 同时暴露于两类脆弱性：CLIP 式编码器可被图中文字误导（Goh et al. 2021）；不可感知扰动可跨模型与提示词迁移（Zhao et al. 2023；Luo et al. 2024）；近期有针对 grounded localization 的训练时后门（数字而非物理）；对 vision-language-action 模型的物理攻击针对动作而非定位。

   基线与基准：本文没有对比基线方法，而是把 6 个检测器与 5 个 VLM 放在同一攻击框架下互相对比；训练用 COCO、PASCAL VOC、AdvT-Shirt-1K，分布外评测用 Waymo Open Dataset。作者定位本文的区别：现有物理攻击评测只覆盖检测器，本文把同一评测扩展到可边缘部署的实时 VLM。

   收起这一问

3. 03论文如何解决这个问题？

   对每个模型 white-box 训练抑制型补丁，用灰块条件化的 cASR 统一度量，并把失败划分为三种模式。

   整体思路：对 11 个模型各自独立训练一个抑制行人检测的对抗补丁，用统一指标 cASR 在遮挡受控的条件下比较跨架构鲁棒性，并把每次失败划分为 omission、substitution、displacement。

   模型与数据

   • 模型选择：3 个闭集检测器（YOLO11s、YOLO26s、RT-DETRv2）、3 个开放词汇检测器（YOLO-World、GDINO-Tiny、GDINO-Base）、5 个参数不超过 4B 的边缘 VLM（MiniCPM-V 4.6、InternVL3-2B、Qwen3-VL-2B、PaliGemma 2-3B、LFM2.5-VL-3B）。
   • 数据：COCO、PASCAL VOC、AdvT-Shirt-1K 手工过滤为恰好含一人的图像，80/20 划分得 1,324 训练、331 验证图像；另有 999 张过滤后的 Waymo 单人图像作分布外集。VLM 输入 448×448，检测器 640×640。

   补丁训练

   • 补丁形式：160×160 方形纹理，置于人物中心，边长 si = a·min(wi, hi)，主实验 a = 0.5，使头与四肢保持可见。
   • 优化设置：500 epoch、学习率 0.01；EOT 施加 [−20°, 20°] 随机旋转与 ±10% 亮度抖动；补丁以数字方式施加。
   • 损失：L = L_s + α L_nps + β L_tv，其中 Ls 抑制输出，Lnps 约束可打印性，Ltv 约束平滑度，α = β = 0.01。
   • 抑制目标按架构取三种形式（Eq. 4）：闭集检测器压低人物置信度 max zk；开放词汇检测器压低区域与 "person" 文本嵌入的相似度；VLM 压低解码目标框起始 token 的似然 log pθ(b|q)。

   输出对齐与读取

   • VLM：提示其以原生 grounding 格式每图输出一个框，统一为 xyxy；格式错误或无效框记为检测失败；贪心解码。
   • 检测器：闭集在置信度阈值 γ = 0.5 读取，开放词汇在 γ = 0.3 读取，作者称这是各家族惯常的工作点。

   cASR 与失败划分

   • cASR：cASR = 1/(|G|)∑_{i ∈ G} f_i，G 为模型在匹配灰色遮挡块下仍能正确定位（IoU ≥ τ = 0.5）的图像集合，fi 表示补丁图像上预测框与真值 IoU < τ；即补丁在灰块幸存者中造成的失败比例，用以分离遮挡效应与基线误差。
   • 失败划分：omission 为无合规框；substitution 为框与补丁足迹 IoU ≥ 0.5；displacement 为框既不达 τ 也不达 0.5。三者互斥且穷尽，合计等于 cASR。

   收起这一问

4. 04论文做了哪些实验？

   11 个模型在 331 张分布内与 999 张 Waymo 图像上评测 cASR 与失败划分，并做四项消融。

   实验设置

   • 被测模型：闭集检测器 YOLO11s、YOLO26s、RT-DETRv2；开放词汇检测器 YOLO-World、GDINO-Tiny、GDINO-Base；VLM MiniCPM-V 4.6、InternVL3-2B、Qwen3-VL-2B、PaliGemma 2-3B、LFM2.5-VL-3B，共 11 个。
   • 数据：分布内验证集 331 张（155 COCO、135 VOC、41 AdvT-Shirt）；分布外 Waymo 999 张单人图像。
   • 指标：clean 检测准确率（IoU ≥ 0.5 记正确）与 cASR（仅在灰块控制集上统计）；失败划分为 omission/substitution/displacement。
   • 判定方式：基于 IoU 阈值的规则判定，τ = 0.5；无 LLM 评审。
   • 默认条件：补丁按训练尺度放置；闭集检测器 γ = 0.5，开放词汇 γ = 0.3；VLM 贪心解码。
   • 样本量与重复：每模型每条件在 331（或 999）张图像上评测一次；论文未报告多次重复。

   主结果

   据 Table 1 与 Table 2（分布内为三个数据集合并的 cASR，Waymo 为分布外）：

   表格较宽，可左右滑动

   模型	家族	分布内 cASR	Waymo cASR	分布内 O/S/D
   YOLO11s	闭集	78.3	86.1	72.8/0.0/5.5
   YOLO26s	闭集	65.3	38.7	62.2/0.0/3.1
   RT-DETRv2	闭集	61.9	80.4	53.5/0.0/8.4
   YOLO-World	开放词汇	18.2	25.3	15.6/0.7/1.8
   GDINO-Tiny	开放词汇	63.6	62.1	49.4/3.4/10.8
   GDINO-Base	开放词汇	54.9	40.2	29.9/10.7/14.3
   MiniCPM-V 4.6	VLM	9.2	9.6	0.7/0.3/8.1
   InternVL3-2B	VLM	57.7	35.4	56.7/0.0/1.0
   Qwen3-VL-2B	VLM	20.1	39.7	0.0/1.5/18.7
   PaliGemma 2-3B	VLM	55.2	15.4	53.4/0.0/1.9
   LFM2.5-VL-3B	VLM	14.3	5.8	0.0/5.2/9.1

   • 作者称 VLM 的 cASR 范围（9.2%–57.7%）与检测器（18.2%–78.3%）大幅重叠，家族内差异超过家族间差异，鲁棒性更多是单个模型的属性。
   • 在 AdvT-Shirt 上（各模型 clean 准确率均 ≥ 95%），InternVL3-2B 与 PaliGemma 2-3B 的 cASR 达 100% 与 97.6%，与 YOLO11s、YOLO26s 的 100% 相当（Table 1）。
   • 干净图像上分布内准确率 83.0%–100.0%；Waymo 上每个模型都下降，MiniCPM-V 4.6 降至 51.1%、InternVL3-2B 降至 27.6%，其 Waymo 灰块控制集分别只有 366 与 305 张。

   失败模式分析

   • omission 与 displacement 对立：gated 输出的 VLM（PaliGemma 2-3B、InternVL3-2B）失败中 96.7% 与 98.3% 为 omission；free-text VLM 中 Qwen3-VL-2B 与 LFM2.5-VL-3B 在所有阈值下 omission 恰为 0，MiniCPM-V 4.6 低于 1%。作者称失败模式与输出格式而非架构家族相关。
   • substitution 跨架构出现：所有闭集检测器与两个 gated VLM 恰为 0；GDINO-Base 10.7%、LFM2.5-VL-3B 5.2% 等非零。作者认为 substitution 与 displacement 输出形式合法的错框，对下游系统可能比 omission 更危险。
   • 同格式不同划分：Qwen3-VL-2B 与 LFM2.5-VL-3B 同为 free-text，但失败率与 displacement/substitution 划分不同，作者称输出格式关联是否出框，不关联失败频率与落点。

   分布偏移（Waymo）

   • 失败模式转变：InternVL3-2B 的 omission 从 56.7% 降至 4.6%、displacement 从 1.0% 升至 29.5%；GDINO-Tiny substitution 从 3.4% 升至 16.6%、displacement 从 10.8% 升至 36.7%；GDINO-Base substitution 从 10.7% 升至 18.0%（Table 2）。
   • cASR 双向变动：InternVL3-2B 的 cASR 从 57.7% 降至 35.4%，但作者称其余下失败大多转为下游不可见的模式。
   • 例外：闭集检测器在 Waymo 上仍以 omission 为主；YOLO-World 也全程保持 omission 主导。

   其他消融与分析

   • 补丁尺度（Figure 4）：a ∈ {0.25, 0.5, 0.75, 1.0}，cASR 大体随尺度上升但非单调，脆弱性排序基本保持。
   • IoU 阈值（Figure 5）：τ 从 0.5 升至 0.9，Qwen3-VL-2B 的 cASR 从 20.1% 升至 95.6% 且 omission 始终为 0；PaliGemma 2-3B 从 55.2% 到 68.6%，InternVL3-2B 从 57.7% 到 62.8%。
   • VLM 提示词（Table 3）：固定补丁换用三个改写提示词，失败率随提示词变化（MiniCPM-V 4.6 在改写提示下 omission 达 7.3%–9.3%），但失败划分保持稳定，Qwen3-VL-2B 在所有提示下 omission 恰为 0。
   • 检测器置信度阈值（Table 4）：γ 升高时每个检测器的 cASR 上升，如 GDINO-Tiny 从 γ = 0.1 的 4.5% 升至 γ = 0.4 的 81.2%。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出数字模拟、white-box、单一抑制目标三类局限；实验覆盖 11 个模型与四个数据集。

   作者指出的局限与后续方向

   • 数字模拟：攻击以数字方式模拟，未在物理环境评测；补丁针对可打印性与姿态鲁棒性优化，但未评测打印补丁或相机采集，未测量物理世界迁移（Limitations）。
   • 仅 white-box：只用 white-box 攻击，假设完全访问模型，不反映真实部署场景；作者称未来工作应评测物理打印补丁的对抗效果并测试 black-box 方法（Limitations）。
   • 单一攻击目标：只测试了抑制目标，作者称未来工作应评测失败模式划分在不同攻击目标下的持续性（Limitations）。

   实验覆盖范围

   • 被测模型共 11 个：6 个检测器与 5 个参数不超过 4B 的 VLM（Section 3.1）。
   • 评测目标仅为行人检测单类任务，每图恰好一人；分布内 331 张验证图像，分布外 999 张 Waymo 图像（Section 3.1、4.1）。
   • 攻击为每模型独立训练的抑制型补丁，500 epoch、EOT 增广；消融覆盖补丁尺度、IoU 阈值、VLM 提示词、检测器置信度阈值四项（附录 A）。
   • 失败判定为基于 IoU 的规则判定，无 LLM 评审；论文未报告人工评估。
   • 论文未报告每个条件的重复运行次数或方差。

   收起这一问

6. 06总结一下论文的主要内容

   统一框架下边缘 VLM 与检测器对物理补丁同样脆弱，失败模式与输出格式相关，分布偏移下转向不可见失败。

   一篇物理对抗鲁棒性评测论文，面向边缘部署的 grounding VLM 与传统目标检测器的公平对比问题。

   • 问题：VLM 正被部署到安全关键的边缘系统，其物理对抗鲁棒性未被系统研究；VLM 输出单个框、无置信度，与检测器输出形式不同，作者称这造成公平评测的方法学困难。
   • 方法：对 11 个模型各自 white-box 训练抑制行人检测的对抗补丁（500 epoch、EOT、可打印与平滑约束）；提出 cASR——只在模型于匹配灰块下仍能定位的图像上统计补丁造成的失败；并把失败划分为 omission、substitution、displacement 三类。
   • 主要结果：
     • 分布内 cASR：VLM 为 9.2%（MiniCPM-V 4.6）至 57.7%（InternVL3-2B），检测器为 18.2%（YOLO-World）至 78.3%（YOLO11s），两范围大幅重叠（Table 2）。
     • AdvT-Shirt 上 InternVL3-2B 与 PaliGemma 2-3B 的 cASR 达 100% 与 97.6%，与 YOLO11s、YOLO26s 的 100% 相当（Table 1）。
     • gated 输出的 VLM 96.7%–98.3% 的失败为 omission，free-text VLM 的 omission 为 0 或低于 1%；作者称失败模式与输出格式而非架构家族相关。
     • Waymo 分布外集上，InternVL3-2B 的 omission 从 56.7% 降至 4.6%、displacement 从 1.0% 升至 29.5%，失败转向下游系统不可见的模式。
     • IoU 阈值升至 0.9 时 Qwen3-VL-2B 的 cASR 达 95.6%，omission 始终为 0（Figure 5）。
   • 作者结论：从检测器换成 grounding VLM 并不降低系统对物理攻击的脆弱性；在分布偏移下，VLM 可能以不可见的失败模式失败。作者认为待部署的 grounding 模型应在失败频率与失败可见性两个维度上评测。

   收起这一问

相关论文