STCA：研究者提出针对自动驾驶视频 VLM 的时空一致性对抗攻击

在 black-box 迁移设定下，对自动驾驶视频 VLM 构造同时破坏空间语义与帧间时序连贯的对抗扰动。

• 场景： 作者称 VLM 正接入自动驾驶等敏感系统；驾驶理解依赖物体运动、因果顺序和场景随时间的变化，只欺骗单帧不够。
• 现有不足： 作者称既有 VLM 攻击多均匀扰动整幅图像，黑盒跨架构迁移和视频时序连贯仍少被评估。驾驶指令可同义改写，视角也会随行驶变化。
• 观察： 作者认为现有 VLM 主要按空间–文本对齐训练，而非时序因果推理。作者称把扰动限制在语义或运动区域，可以加强攻击并保持相似度。
• 提出： 提出 STCA，含模态扩展、空间攻击和时序连贯攻击，并在 BDD100K 与 nuScenes 上对三个受害 VLM 做迁移评测。
• 威胁模型：
  • 目标： 诱导不期望响应 y*。评测上，攻击前后文本的词重叠相似度低于 0.5 计为成功。
  • 知识： 对受害 VLM 为 black-box，依赖 white-box surrogate 的可迁移性。空间代理为 TCL，时序代理为 LanguageBind。
  • 能力： 对良性驾驶视频加扰动。空间阶段 ℓ∞ 预算 ε=32/255，时序阶段 ε=16/255。评测时干净输入与对抗输入使用同一提示词。
  • 受害系统： 做驾驶场景描述的 Video-LLaVA-7B、Qwen2.5-VL-7B 与 Dolphins。字幕生成也使用了 Video-LLaVA。

论文第二节按攻击对象分组。除 Table III、Table IV 外，这些工作没有与本文同设定的对照实验。

VLM 上的对抗攻击

• Co-Attack（Zhang 等，2022）： 分开扰动各模态会因模态矛盾而变弱，因而同时攻击图像和文本；对象含 fused 与 aligned VLM，任务为 visual entailment、visual grounding、image-text retrieval。本文作者称这是首先报告该现象的工作。
• AdvCLIP（Zhou 等，2023）： 为 CLIP 等编码器构造下游任务无关的通用对抗补丁。本文作者称其实证限于分类与检索。
• 黑盒与特征层方法： VLAttack（Yin 等，2023）在黑盒下分单模态与多模态两级，并写微调模型会继承视觉编码器的脆弱性。AnyAttack、SGA、AdvDiffVLM、MIE 分别用生成器、集合级图文对、扩散模型和层内特征扰动构造攻击；论文此处是描述，没有同设定数字对照。

视频模型攻击

• Wei 等： 用时序平移提升迁移（2022）；I2V 用白盒图像模型生成对抗视频（2024）；只扰动时序显著区域以减少查询（2023）。
• Kim 等（2023）： 用图像级代理生成视频通用对抗扰动，并用 Breaking Temporal Consistency 降低相邻帧特征相似度及扰动之间的时序相似度。
• 差别： 作者称上述工作针对动作识别，以分类准确率判定成功；本文针对驾驶场景描述，以自然语言输出的语义偏离判定。

自动驾驶场景

• 排版攻击与 PG-Attack： Chung 等（2024）讨论交通场景中的迁移；Fu 等（2024）的 PG-Attack 在黑盒下结合 PMP 与欺骗性文本补丁。本文空间阶段采用 PMP。
• ADvLM 与 CAD： 本文称 Zhang 等（2026）把 ADvLM 明确写成面向自动驾驶 VLM 的第一项攻击，并处理同义提示与多视角时序；转述 CAD（2025）的作者认为此前只有白盒 AD 专用攻击，其工作给出黑盒攻击。
• 投毒与特征伪装： 自然反射后门做训练时投毒（Liu 等，2025）；ADVEDM 在白盒下增删物体（Wang 等，2025）；UCA 批评既有 AD 攻击主要在 logit 层（Kong 等，2025）。作者称这些结果仍按威胁模型拆开，没有同时处理时序动态、攻击者访问和端到端控制序列。

基线与基准

• 基线是 PGD 与 FGSM，加在 TCL 代理上再黑盒迁移（Table III）。基准是 BDD100K 与 nuScenes。Table IV 还列入 nuScenes 上的物理后门、细粒度语义攻击和自然反射后门，攻击类型与本文不同。

作者称，据其所知，本文是在自动驾驶的视频语言模型上处理对抗攻击时序维度的第一项工作。

整体思路是 STCA：先扩展字幕并选出关键帧，再在物体区域内做空间扰动，最后在运动区域内破坏相邻帧连贯，并从白盒代理迁移到黑盒受害 VLM。方法节写三阶段；结论改称 two-stage。

问题设定

驾驶视频为 V=f1,…,fT，输出 y=F(V,Q)，Q 为文本查询。攻击目标是

max_Plog P(y^∗∣ P(V,Q))

即提高不期望响应 y* 的似然。作者用相邻帧联合嵌入的余弦差定义时序语义一致性。相似度超过 τ 的帧才加扰动；τ 的数值未给出。作者把驾驶场景的困难写成同义指令多样，以及视角随行驶变化。

模态扩展

• 多字幕： Gemini 2.5 与 Video-LLaVA 按时间顺序生成语义等价字幕。作者写用语义熵去掉冗余。
• 排序： CLIP 计算帧与字幕的余弦相似度，并对采样帧取平均，保留最相关的三条。算法把这三条文本嵌入再取平均。
• 选帧： 用该平均文本嵌入为每帧打分，只保留对齐程度最高的帧，使扰动不铺满整段视频。

空间攻击

• 帧与掩码： 超参节用 CLIP ViT-B/32，每段选 60 帧。检测器在方法节为 YOLOv8，超参节为 YOLOv8s，置信度 0.25、IoU 0.45。超过阈值 δ 的框内为攻击区，框外不扰动；δ 未另给数值。
• 优化： 使用 Fu 等的 Precision Mask Perturbations，在 TCL 上做 PGD 式更新。ℓ∞ 预算 ε=32/255，步长 α=1/255，T=20，动量衰减 0.9。损失为图文点积取负后最大化。
• 代理： TCL 为 ViT-B/16，12 层、85.8M 参数，基于 ALBEF，文本侧为 BERT-base。多尺度取 0.5、0.75、1.0、1.25、1.5；作者称用于增强迁移。

时序攻击

• 掩码： 输入是空间阶段的对抗视频。运动区为相邻 YOLO 掩码之差的绝对值超过 Tm=0.1 的像素。
• 损失： 代理为 LanguageBind，视频编码器扩展自 CLIP 的 ViT-L/14。Ltext 是视频表示与字幕嵌入的平均余弦相似度；Ltemporal 是相邻帧特征余弦相似度的平均，并按运动权重加权。论文未给出两项的组合系数。作者写最大化 Ltext 会使视频表示远离对应文本。
• 预算： ε=16/255，α=2/255，T=20。方法概述写训练 LanguageBind（原文写作 LanguageBlind）；实验设置写把它当作开源白盒代理。优化不在受害模型上进行。

成功判定

• ASR： 攻击后描述与攻击前描述的词重叠相似度低于 0.5 的视频比例。引言写 Jaccard word-overlap，指标节写 word-overlap similarity。
• SSIM： 比较对抗帧与原帧的结构相似度。
• 查询： 每个受害模型对每段视频用同一提示词查两次，一次干净、一次对抗。论文未使用 LLM 评审模型。

实验设置

• 受害模型： Video-LLaVA-7B（视频与图像编码器对齐 LLaMA）、Qwen2.5-VL-7B、Dolphins（OpenFlamingo，语言骨干 MPT-7B，驾驶视频-文本微调）。
• 数据： BDD100K 选出 1000 段，其中 800 段用于攻击生成与评测；消融用 BDD100K 的 200 段，论文未写明是否含在 800 段内。nuScenes 为 85 个前视场景，每段约 20 秒、约 40 帧；Table II 未另写分母。
• 代理与工具： 空间代理 TCL（ViT-B/16，85.8M）；时序代理 LanguageBind。选帧用 CLIP ViT-B/32，每段 60 帧。检测为 YOLOv8s。字幕由 Gemini 2.5 与 Video-LLaVA 生成。
• 攻击超参： 空间 ε=32/255、α=1/255、T=20、动量 0.9；时序 ε=16/255、α=2/255、T=20；运动阈值 Tm=0.1。
• 基线与指标： PGD、FGSM，在 TCL 上黑盒迁移（Table III，论文未说明数据集）。ASR 为词重叠相似度低于 0.5 的比例；另报 SSIM。无 LLM 评审。
• 协议： 每个模型对每段视频用同一提示词查询两次，以把差异归于扰动。论文未报告重复次数。实现为 NVIDIA A100、Google Colab Pro；Video-LLaVA 为 16 bit，Qwen2.5-VL 为 bfloat16，Dolphins 为 float16，并使用其官方检查点与 LoRA 配置。

主结果

下表数字来自 Table I（BDD100K，800 段）与 Table II（nuScenes）。三行都是代理到受害模型的迁移，受害模型不是 TCL 或 LanguageBind。SSIM 在原表中不按模型拆开。

Swipe horizontally to read the table

模型	BDD100K仅空间	BDD100K空间+时序	nuScenes仅空间	nuScenes空间+时序
Video LLaVA	32.6%	71%	57.6%	83%
Qwen2.5-VL	45%	84.2%	64.7%	96.5%
Dolphin	46.9%	46.2%	37.6%	47.1%
SSIM	0.93	0.82	0.98	0.79

• 作者称空间+时序在所有模型与两个数据集上都高于仅空间攻击。BDD100K 的 Dolphin 一行是空间+时序低于仅空间。
• 作者称 Qwen2.5-VL 更易受攻击，Dolphins 更不易，并认为领域微调可能带来部分韧性；作者称该观察此前未见报道。作者把 nuScenes 上更高的绝对 ASR 归于时序跨度更短。
• 摘要的空间攻击 SSIM 为 0.933，正文把 nuScenes 上 Dolphin 的仅空间 ASR 写成 37%，并把 nuScenes 空间+时序 SSIM 写成 0.89；这三处与上表不一致。作者称 SSIM 仍高，故扰动不易被观察者察觉，并指向 Figure 10。图注只有标题，文本未给出图中读数。

与 PGD、FGSM 及 Table IV 的对照

• Table III 中 PGD 为 47.2%、44.8%、36.2%，FGSM 为 25.2%、35.4%、18.1%，列顺序为 Video-LLaVA、Qwen2.5-VL、Dolphins。论文未说明数据集；本文两行数字与 Table I 相同。作者称二者低于本文框架，并并列写出 71%、84.2% 与 46.9%。按表，Video-LLaVA 的仅空间攻击低于 PGD；作者所写 46.9% 对应 Dolphin 的仅空间格，完整流水线是另一格。
• Table IV 写明 nuScenes。Video-LLaVA 上本文仅空间 57.6%、空间+时序 83%；Wang 等（2026）[32] 为 75%；表中 IN et al.（2024）[38] 的物理后门随触发器从 65.3% 到 89.3%，参考文献 [38] 为 Ni 等。Qwen 行的受害模型写作 Qwen2-VL，数字为 64.7% 与 96.5%，与 Table II 的 Qwen2.5-VL 一行相同；Liu 等自然反射后门为 70.92%。
• 作者称在 Video-LLaVA 与 Qwen2.5 上优于近期方法。Table IV 中 83% 高于 75%，但落在 65.3%–89.3% 内。正文另写 Zhang 等使 Dolphins 分数下降 7.49% 与 3.09%，CAD 比先前方法高 13.43%，Wang 等在图像白盒设定下对 Dolphins 的 ASR 为 86%；这些不是 Table I/II 的设定。

扰动预算与迭代步数

• 在 BDD100K 的 200 段上改变 ε：4/255、8/255、12/255、16/255、32/255，论文写 n=20，未解释 n。作者称三个模型的 ASR 都随预算增大而升高（Figure 11(a)）。文本未给出各点 ASR。
• 固定 ε=16/255、α=2/255，步数为 5、10、20、30、40。作者称攻击强度随迭代步数增加（Figure 11(b)）。文本未给出各点 ASR。

其他消融与分析

• 运动引导掩码相对随机空间扰动：作者称语义破坏比例更高，论文未给数字（第 V.D 节）。
• 作者称可迁移性主要来自运动引导的时序扰动；论文未报告 TCL 或 LanguageBind 自身的 ASR。
• 相关工作写非驾驶场景中 LLaVA 比 Qwen2.5-VL 更容易被 BIM、PGD 与谱攻击攻破；本文 Table I/II 的排序是 Qwen2.5-VL 的 ASR 更高。论文未解释这一差别。

作者指出的局限与后续方向

论文未专门讨论局限。第 V.D 节是结果讨论，第 VI 节复述攻击设置与优于近期工作及仅空间基线的主张，都没有写成本文的不足或后续实验。

实验覆盖范围

• 受害模型为 Video-LLaVA-7B、Qwen2.5-VL-7B 与 Dolphins，共 3 个（第 V.A 节）。
• 数据为 BDD100K 中选出的 1000 段里的 800 段，用于攻击生成与评测；另在 BDD100K 的 200 段上做消融。nuScenes 使用 85 个前视场景，每段约 20 秒、约 40 帧（第 V.A、V.C 节）。
• 攻击是从 TCL 与 LanguageBind 到上述受害模型的 black-box 迁移；Table III 的基线是同一 TCL 代理上的 PGD 与 FGSM（第 V.A–V.B 节）。
• 成功判定是词重叠相似度低于 0.5，并报告 SSIM；每个模型对每段视频用同一提示词查询两次（第 V.A 节）。
• 消融改变 ε 与迭代步数（Figure 11）。论文未报告各点 ASR、优化阶段对受害模型的查询次数、重复次数，以及该词重叠判定与人工判断的一致性，也未报告防御评测。

STCA 对自动驾驶视频 VLM 做黑盒迁移攻击，用物体掩码和帧间运动掩码改变场景描述。

要处理的是单帧空间扰动不覆盖帧间连贯，而驾驶描述依赖运动和事件顺序；受害模型参数不可用，扰动需从白盒代理迁移。

做法分三步。Gemini 2.5 与 Video-LLaVA 生成多字幕，CLIP 选出关键帧。空间阶段以 TCL 为代理，在 YOLOv8 物体区域内做 PGD 式更新，ε=32/255、T=20。时序阶段以 LanguageBind 为代理，只在相邻掩码差超过 0.1 的区域加扰动，ε=16/255、T=20。成功指同一提示词下，攻击前后词重叠相似度低于 0.5。结论把该框架改称为 two-stage。

报告的 ASR 都是代理到受害模型的迁移分数，不是代理自身的分数：

• BDD100K 的 800 段上，空间+时序 ASR 为 Video-LLaVA 71%、Qwen2.5-VL 84.2%、Dolphin 46.2%（Table I）。Dolphin 仅空间为 46.9%，完整流水线未更高。
• nuScenes 上对应为 83%、96.5%、47.1%（Table II）。Table I 的 SSIM 为 0.93 与 0.82，Table II 为 0.98 与 0.79。
• Table III 中 PGD 为 47.2%、44.8%、36.2%，FGSM 为 25.2%、35.4%、18.1%；论文未说明数据集，本文数字与 Table I 相同。Video-LLaVA 仅空间 32.6% 低于 PGD。

作者称时序阶段相对仅空间阶段有增益；Table I 中 Dolphin 并非如此。作者称这些模型仍然容易受到此类攻击，摘要中称仍需对抗防御。作者称 Dolphins 比通用模型更不易受影响，并称据其所知本文是处理该场景时序攻击维度的第一项工作。