STA:一种用于评估多模态强化学习驾驶策略鲁棒性的分裂式时间对抗方法
STA: A Split Temporal Adversary Method for Evaluating Robustness of Multimodal RL-based Driving Policies
作者提出STA攻击,在CARLA Town02对PPO策略碰撞率35.6%(ADV为16.8%),攻击次数少17.8%,并泛化到VLM策略(62%)。
black-box威胁模型:攻击者能观察受害策略的输出动作,但看不到其动作分布或参数;攻击者通过延迟选定模态的观测制造跨模态时间不一致,预算有限(B=30),目标是诱发碰撞等失效。
- 多模态强化学习驾驶策略依赖跨模态时间对齐,作者认为时间不一致是核心脆弱点;现有攻击在通用性、真实性和自适应性上不足,难以系统评估这一脆弱性。
- 提出Split Temporal Adversary(STA):用历史缓冲区把选定模态的当前观测替换为n步延迟观测实现统一时间扰动,再用分离决策机制在预算约束下联合优化攻击时机与模态选择,PPO训练。
- CARLA Town02实验中,STA对PPO碰撞率35.6%(最强基线ADV为16.8%)且攻击次数少17.8%;对DARRL反而ADV更强(32.2%对18.6%);对VLM策略碰撞率达62%。
- 作者列出的后续方向:更受限的black-box查询设置、可学习的延迟策略、扩展到LiDAR等更多模态、真实世界与多智能体环境。实验仅覆盖CARLA Town02密集车流、固定晴朗天气、4个受害策略。
- 被测模型
- PPOSACDARRLVLM-based driving policy [1]
- 基准
- CARLA 0.9.13 Town02 dense traffic
- 指标
- CR (collision rate)ANA (average number of attacks)
论文提出针对多模态强化学习驾驶策略的时间对抗攻击方法 STA(Split Temporal Adversary),利用跨模态时间不一致这一脆弱点诱导决策失败。该方法将多模态时间攻击建模为统一决策过程,在策略感知与预算受限的现实设定下,通过历史状态延迟观测、免去模态特定噪声,并联合优化攻击时机与模态选择,同时借助受害策略的干净动作识别敏感决策模式;论文还给出诱导分布偏移的理论分析与模态选择原则。在 CARLA 模拟器实验中,STA 对 PPO 造成的碰撞率超过最强基线的两倍,攻击尝试次数减少 17.8%,并能泛化到基于 VLM 的驾驶策略。作者称这些结果表明时间一致性是关键脆弱点,时间鲁棒性对自动驾驶安全至关重要。
深度解读
这篇论文试图解决什么问题?
作者认为多模态RL驾驶策略的跨模态时间不一致是核心脆弱点,现有攻击难以系统评估,提出STA。
如何系统评估多模态强化学习(MRL)驾驶策略在跨模态时间不一致下的鲁棒性。
- 问题场景:作者认为MRL驾驶策略的有效性依赖异构传感器观测的时间对齐,任何错位、延迟抖动或异步都会污染融合表示、损害决策可靠性,因此时间不一致本身构成核心脆弱性。
- 现有方法的不足(按论文说法):多数攻击依赖特定模态的扰动(如图像噪声、LiDAR点扰动),缺乏统一形式化;忽略受害策略反馈,威胁模型不真实;时间扰动方法用随机模态选择或固定注入调度,缺乏对攻击时机和模态选择的自适应优化。
- 核心观察:同步机制只校验时间戳头是否在容差τ内(R-RTM),不校验语义内容,攻击者可让同步器配对不同时间步的观测,造成语义相对时间错位(S-RTM),且∆sem可任意大(Section III-A)。
- 论文提出:Split Temporal Adversary(STA),把多模态时间攻击形式化为统一决策过程,在policy-aware和预算约束下联合优化攻击时机与模态选择,并给出分布偏移的理论分析。作者称STA是首个在真实攻击约束下统一跨异构模态时间扰动并自适应优化攻击时机与模态选择的对抗框架。
- 威胁模型:
- 目标:诱发安全关键失效(如碰撞)。
- 知识:black-box——攻击者可观察受害策略的输出动作,但看不到其动作分布或参数(Section VI-A)。
- 能力:通过历史缓冲区把选定模态的当前观测替换为n步延迟观测;延迟在horizon n内有界;攻击预算有限(B=30)。
- 受害系统:CARLA中固定的多模态RL驾驶策略(PPO、SAC、DARRL)及一个VLM-based驾驶策略,评估期间策略冻结。
有哪些相关研究?
相关工作分三组:DRL对抗攻击、多模态驾驶鲁棒性、时间攻击;作者称STA填补自适应policy-aware预算约束时间攻击的空白。
对深度强化学习的对抗攻击
- Huang等[8]——早期工作,在Atari环境中小观测扰动即可降低策略表现;后续工作[9][10][24]用policy-sensitive目标提升攻击效果,如[10]通过policy-sensitive targeting把成功率提升18.7%。
- [25]–[27]——把攻击者-受害者交互建模为序贯决策过程。论文指出这些DRL攻击逐步独立扰动观测,忽略长期时间依赖且假设可访问所有模态;考虑时间相关扰动的工作[28][29]仍限于单模态。
多模态驾驶策略的鲁棒性
- [4][5]——单模态扰动可经融合网络传播并降低下游策略表现。
- [11][13]–[15]——把对抗驾驶形式化为约束优化或强化学习问题以诱发不安全行为;[30]–[32]提出鲁棒性评估与认证方法。论文指出这些工作主要关注空间或场景级扰动,未显式考虑跨异构模态的时间不一致。
时间攻击与时延脆弱性
- Chronos [18]——作者称其首先展示软件诱导的时序延迟可降低感知与规划;DejaVu [16]——单帧延迟使camera-LiDAR检测mAP降低88.5%,但论文指出其未评估对驾驶决策的下游影响。
- SlowPerception [37]——达到97%碰撞率,但论文指出其延迟调度是预先确定的而非自适应优化;[36]——最优攻击调度研究为自适应调度提供理论基础。论文指出现有时间攻击多为开环、固定或启发式延迟,缺乏policy awareness和预算约束。
基线与基准:实验对比Clean、RTA(随机时间攻击[37])、RTAM(全模态随机时间攻击[16])、ADV(PGD-based自适应攻击者[26]),在CARLA 0.9.13 Town02密集车流上评测。
定位:作者称现有工作都没有解决自适应、policy-aware、预算约束下联合选择攻击时机与延迟模态的时间攻击优化,STA直接填补这一空白。
论文如何解决这个问题?
STA含两个机制:统一多模态时间扰动(历史缓冲区延迟替换)和分离多模态对抗决策(PPO优化触发与模态选择)。
整体思路:把多模态时间攻击建模为单智能体POMDP,Split Temporal Adversary(STA) 在预算约束下学习何时攻击、攻击哪个模态,扰动方式统一为"用历史观测替换当前观测"。
问题设定
- 攻击者-受害者交互建模为POMDP M = ⟨ S, O, A, T, R, γ ⟩,受害者是环境的一部分,攻击者学习策略最大化折扣回报。
- 假设:驾驶策略在评估期间固定;时间延迟在horizon n内有界;所有传感器以固定同步速率运行;攻击预算B有限。
统一多模态时间扰动机制
- 历史缓冲区:维护环形缓冲区Ht存储最近n个完整多模态观测元组,各模态共享同一时间仓库,无需模态特定缓冲区。
- 延迟替换:攻击触发时,对选定模态m,用n步前的历史观测替换当前观测,即 õt(m) = ot−n(m);不引入加性噪声或模态特定变换,攻击效果仅来自融合层的跨模态时间错位。
- 固定延迟:采用固定n步延迟(取缓冲区中最旧条目),论文称这提供稳定、可复现的扰动强度;延迟观测本身是合法传感器读数,保持模态内语义一致性。
分离多模态对抗决策机制
- Policy-aware观测:对抗观测为ôt = (ot, uclean_t, bt),其中uclean_t是受害策略的干净动作(估计其局部决策倾向),bt是剩余预算。
- 分离动作空间:动作at = (atrig_t, amod_t),触发分支决定是否在atrig_t > 0且bt > 0时攻击,模态分支在{1, 2}中选择目标模态;论文称该分解让两个决策独立优化。
- 预算与奖励:每次攻击预算减1;奖励稀疏,碰撞发生(含攻击后T步窗口内)得Rc,否则为0。
- 门控优化目标:Ladv = Ltrig + 1(ãtrig_t = 1)Lmod,模态选择器仅在攻击执行时更新,处理分离动作空间的信用分配问题。
优化与流程
- 用PPO优化对抗策略(训练800,000步),受害策略冻结;采用轨迹裁剪策略(沿用Fan等[21]):预算耗尽即截断episode,若最后一次攻击导致碰撞则立即终止并存轨迹,否则环境继续至多T步捕捉延迟效应。
理论分析(Section V)
- 分布偏移下界(Proposition V.A):k步延迟下,扰动分布与名义分布的总变差至少为被攻击模态分布间的期望散度。
- 扰动传播界(Proposition V.B):L-Lipschitz策略下动作偏差不超过L乘以观测偏差,加性度量下仅被攻击模态贡献。
- 模态选择原则(Corollary V.A):局部敏感度‖Jm‖和时间变化越大的模态越具影响力;作者认为数值模态常因直接影响控制信号而更敏感。
论文做了哪些实验?
CARLA Town02上STA对PPO碰撞率35.6%(ADV 16.8%)且攻击少17.8%;对DARRL反而ADV更强;VLM策略上62%。
实验设置
- 受害策略:PPO(训练440,000步)、SAC(235,000步)、DARRL(作者在CARLA中的复现[22]),均在干净观测上训练并冻结;另有[1]的VLM-based驾驶策略。
- 环境:CARLA 0.9.13,Town02,密集车流,固定晴朗天气;受害者接收RGB图像加速度和路点状态,输出连续转向和油门。
- 威胁模型:black-box,攻击者可观察受害者输出动作但看不到动作分布或参数。
- STA训练:PPO训练800,000步;默认延迟horizon n=10,历史缓冲区长度10,攻击预算B=30,episode最长50步。
- 基线:Clean、RTA(随机时间步对随机模态固定n步延迟[37])、RTAM(对两种模态都加随机延迟[16])、ADV(PGD扰动并自适应决定攻击时机[26])。
- 指标与重复:CR(碰撞率,碰撞终止episode的百分比)和ANA(每episode平均攻击次数);5个独立种子各50个评估episode,报告种子间均值和方差。
主结果
Table I(Town02密集车流,CR % / ANA,5种子均值±方差):
表格较宽,可左右滑动
Method PPO CR PPO ANA SAC CR SAC ANA DARRL CR DARRL ANA Clean 6.8 0 2.8 0 2.8 0 RTA 4.0 29.524 4.0 29.820 4.4 29.760 RTAM 12.0 28.864 5.2 29.660 6.8 29.532 ADV 16.8 29.396 16.8 29.532 32.2 28.932 STA 35.6 24.168 18.2 25.628 18.6 26.124 - 作者称STA在PPO和SAC上是最强攻击且干预更少:PPO上CR从ADV的16.8%升至35.6%,ANA从29.396降至24.168(少17.8%);SAC上优势较小(18.2%对16.8%)。
- 例外:DARRL对ADV(32.2%)比对STA(18.6%)更脆弱;作者据此认为对空间扰动的鲁棒不代表对时间不一致的鲁棒,评估应覆盖两种威胁模型。
- 随机时间基线几乎耗尽预算但效果差,作者认为这支持policy-aware攻击时机与模态选择的价值。
VLM-based驾驶策略评测
- 设置:同一Town02配置(B=30, n=10),STA延迟图像帧;文本指令在episode初始化时固定,不被攻击。
- 结果(Table II):Clean、RTA、RTAM、ADV条件下CR为0–2%(Clean 2.00%、RTA 0.00%、RTAM 2.00%、ADV 2.00%),STA达62.00% CR、ANA 26.98。
- 作者解读:作者认为policy-aware时间扰动可暴露超出常规RL策略的失效模式,同时指出跨更多VLM架构的评估留作未来工作。
其他消融与分析
- 论文未报告单独的消融或参数分析实验;Section V的理论结果(分布偏移下界、Lipschitz传播界、模态选择原则)未配实验验证。
- 负面结果:RTA在PPO上CR(4.0%)低于Clean(6.8%),VLM策略上RTA为0.00%也低于Clean的2.00%,论文未解释。
有什么可以进一步探索的点?
作者列出四个未来方向;实验仅覆盖CARLA Town02单一场景、4个受害策略,未报告消融。
作者指出的局限与后续方向
- 探索更受限的black-box设置、有限的查询访问(Section VII)。
- 自适应、可学习的延迟策略(当前为固定n步延迟)(Section VII)。
- 扩展到更丰富的传感器模态,如LiDAR、雷达、GPS(Section VII)。
- 研究STA在真实世界和多智能体驾驶环境中的适用性(Section VII)。
- 跨更多VLM架构的评估留作未来工作(Section VI-C)。
实验覆盖范围
- 被测受害策略共4个:PPO、SAC、DARRL(作者复现)和一个VLM-based驾驶策略(Section VI-A、VI-C)。
- 环境仅CARLA 0.9.13 Town02密集车流、固定晴朗天气;episode最长50步(Section VI-A)。
- 模态为RGB图像加数值状态(速度、路点);VLM实验中仅图像帧被延迟,文本指令未被攻击(Section VI-A、VI-C)。
- 每个条件为5个种子各50个评估episode;论文未报告消融实验、延迟horizon n或预算B的参数扫描,也未报告攻击成功率以外的安全性指标。
- 理论分析(Section V)未配实验验证;论文未报告与防御方法的对抗评测。
总结一下论文的主要内容
STA把多模态时间攻击统一为延迟替换加分离决策,CARLA上对PPO碰撞率35.6%超最强基线两倍,并泛化到VLM策略。
一篇针对多模态强化学习驾驶策略鲁棒性评估的攻击论文。
- 问题:作者认为MRL驾驶策略依赖跨模态时间对齐,同步机制只校验时间戳不校验语义,时间不一致构成核心脆弱性;现有攻击缺乏统一形式化、policy awareness和自适应优化。
- 方法:STA用历史缓冲区把选定模态的当前观测替换为固定n=10步延迟观测(模态无关、无加性噪声),并用分离决策机制在预算B=30下联合优化攻击触发与模态选择,PPO训练,门控目标处理信用分配;理论上给出分布偏移下界和基于策略Jacobian的模态选择原则。
- 主结果(CARLA Town02,Table I):STA对PPO碰撞率35.6%,最强基线ADV为16.8%,攻击次数少17.8%(ANA 24.168对29.396);对SAC为18.2%对16.8%。
- 例外:DARRL对ADV(32.2%)比对STA(18.6%)更脆弱,作者据此认为空间扰动鲁棒性不代表时间鲁棒性。
- 泛化:VLM-based驾驶策略上STA达62.00%碰撞率,各基线仅0–2%(Table II)。
- 作者结论:破坏跨模态同步对齐是关键脆弱性,时间鲁棒性对安全自动驾驶必不可少;未来方向包括更受限查询设置、可学习延迟、更多模态和真实世界评估。