Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2601.12672· Qimao Chen, Fang Li, Shaoqing Xu, Zhiyi Lai, Zixun Xie, Yuechen Luo, Shengyin Jiang, Hanbing Li, Long Chen, Bing Wang, Yi Zhang, Zhi-Xin Yang·Indexed by this site · Originally published

VILTA: Incorporating VLM into closed-loop training to improve driving policy robustness

VILTA: A VLM-in-the-Loop Adversary for Enhancing Driving Policy Robustness

Quick read

Defenses

Based on 论文 PDF （AI 生成）; refer to the original

VILTA用Gemini-2.5-Flash在训练环内编辑邻车轨迹；Town01–03挑战之和CR为1.03。

Questions
自动驾驶数据以常规场景为主，安全关键的长尾工况稀缺，策略在罕见危险事件上不足。现有生成常不进入训练，闭环方法依赖规则、重采样或离线模型；两阶段VLM只产出描述，轨迹多样性受下游算法上限约束。
Methods
VILTA把未微调的Gemini-2.5-Flash放进闭环训练：读BEV与邻车状态，按相对位置选定危险机动，编辑规则融合的初始轨迹，再经B样条、sigmoid融合和LQR得到可执行轨迹，并与常规场景交替训练ego策略。
Experiments and results
CARLA于Town02用SAC训练。Town01–03挑战场景之和，VILTA的RC为2.38、CR为1.03。Town05挑战场景不如CAT。nuScenes挑战Success Rate为0.65。常规场景合计CR最低，但有分城反例。
Limitations and future work
作者指出验证限于仿真，性能与所用VLM绑定，当前只做单车对抗，威胁初筛用预定义规则，并计划扩展到端到端驾驶。实验覆盖CARLA Town01–05与改造后的nuScenes；论文未报告每镇评测回合数和nuScenes样本量。
Experimental setupCARLA、nuScenes · Route Completion (RC)、Total Distance (TD) et al.
Benchmarks
CARLAnuScenes
Metrics
Route Completion (RC)Total Distance (TD)Crash Rate (CR)Collisions Per Kilometer (CPM)Collision Speed (CS)Average Speed (AS)Off-Road RateSuccess Rate
AI summaryVILTA directly incorporates a VLM into the closed-loop training of autonomous driving agents, generating challenging scenarios by finely editing the future trajectories of surrounding agents. Compared with a two-stage framework where the VLM only generates scenario descriptions and a downstream model then generates dangerous trajectories, this direct editing approach is not constrained by the upper bound of the downstream algorithm's generalization capability and can produce more diverse and novel scenarios. The authors state that this method significantly improves the safety and robustness of the resulting driving policies, especially in critical long-tail events.

VILTA directly incorporates a VLM into the closed-loop training of autonomous driving agents, generating challenging scenarios by finely editing the future trajectories of surrounding agents. Compared with a two-stage framework where the VLM only generates scenario descriptions and a downstream model then generates dangerous trajectories, this direct editing approach is not constrained by the upper bound of the downstream algorithm's generalization capability and can produce more diverse and novel scenarios. The authors state that this method significantly improves the safety and robustness of the resulting driving policies, especially in critical long-tail events.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    长尾工况稀缺，两阶段生成受下游上限约束，VILTA让VLM在训练环内直接编辑邻车轨迹。

    自动驾驶的长尾工况使策略在罕见危险事件上不足。

    • 场景：作者称真实驾驶数据大多是常规、平稳工况，corner case很少；模型处理名义条件较好，应对罕见危险事件的能力不足，并称这阻碍自动驾驶的广泛部署。
    • 现有不足：安全关键场景生成常不把生成结果用于训练。闭环学习仍依赖规则启发式、重采样和从离线数据学到的生成模型，作者称缺少创造多样场景的泛化能力。两阶段VLM先产出高层场景描述，再交给单独的下游模型生成危险轨迹，作者称最终多样性受下游算法泛化上限约束。
    • 假设：作者假设大模型编辑原始信息时可以保留底层结构，因此可把规则给出的正常轨迹改得更难，同时保留总体运动趋势，而不从零生成。
    • 提出的方法：VILTA把VLM放进自动驾驶智能体的闭环训练，理解动态环境并直接编辑周围车辆的未来轨迹，与策略学习一起形成既合理又有挑战的课程。作者称这能提升策略通过长尾事件的安全性与鲁棒性。

  2. What related research exists?

    相关工作分为安全关键场景生成与闭环学习；作者称VILTA由VLM直接构造轨迹，而非两阶段生成。

    安全关键场景生成

    • 数据与规则：Ding等（2023）从方法角度综述仿真中的安全关键场景生成。数据驱动方法（Wheeler、Kochenderfer与Robbel 2015；Wu等 2020）受真实数据不平衡影响；基于知识的方法（Xu等 2025a）使用预定义规则，作者称这限制多样性与可泛化性。
    • 对抗生成：Kuutti、Fallah与Bowden（2020）能产生多样场景，作者称未能利用真实驾驶数据。
    • 基础模型的两阶段做法：ChatScene（Zhang、Xu与Li 2024）把语言指令转成场景，CrashAgent（Li等 2025）把事故报告转成仿真。作者称这类方法通常先由基础模型描述场景、再由下游模块生成，未能充分利用基础模型的泛化，且可能低效。引言还把Mei等（2025）、Sheng等（2025）、Zhang等（2025）列入先写高层文本、再调整下游生成先验的工作。

    闭环学习

    • CAT与SDM：CAT（Zhang等 2023）用真实世界数据做闭环对抗框架；SDM（Niu等 2023）把车辆交互建成Stackelberg博弈。Parker-Holder等（2022）被引为用环境设计产生演化课程、以增强强化学习鲁棒性。
    • CurricuVLM：Sheng等（2025）用VLM分析自动驾驶车辆的弱点并做个性化课程，但仍是两阶段，用VLM的理解能力指导从已有数据集重采样。作者以此与本文对照。

    基线与评测环境

    • 主对比：VLM-RL（Huang等 2024b）把VLM与强化学习结合起来，从图像观测和CLIP语言特征生成奖励；CAT用预训练运动预测模型动态生成安全关键场景再训练。环境为CARLA。补充实验把nuScenes改成仿真，对照BC、PPO和BC+PPO。

    作者称VILTA打破两阶段范式，让VLM同时使用理解与生成能力直接构造复杂场景，以提高挑战的多样性与新颖性。

  3. How does the paper address this problem?

    未微调的Gemini-2.5-Flash在环内同时做场景理解与轨迹编辑，再经平滑、融合和LQR后处理。

    VILTA把未微调的Gemini-2.5-Flash放进闭环：环境给出场景，VLM一次完成理解与轨迹编辑，后处理后再控制risky agent。

    闭环目标

    驾驶写成部分可观测马尔可夫决策过程（POMDP）：智能体看不到真实状态，只收到观测。训练在名义场景S_N与复杂场景S_C之间交替。式1的目标是，在场景交替的转移T(s'|s,a,S)下，选择策略π以最大化期望折扣回报。

    场景表示与机动选择

    • BEV与选车：场景先做成鸟瞰表示。在预定义圆形危险区内，选离ego最近的车作为生成关键场景的agent。论文未给出危险区半径。
    • 机动规则：按行驶方向、车道和纵横向位置指定危险机动（Table 1）。同向同车道前方为Sudden-brake，后方为Overtake；不同车道左侧为Cut-in-left，右侧为Cut-in-right；对向为Lane-encroachment或U-turn。
    • 路口：VLM判断ego是否在路口；若是，后续编辑允许更大灵活性。

    理解与轨迹编辑

    • 单次输出：VLM同时做场景理解与轨迹编辑，输出风险等级、风险类别、是否路口、分析和编辑轨迹。补充材料第9节给出简化输入说明和一条完整输出样例。
    • VLE而非从零生成：作者称按标准Vision-Language-Action从零生成的未来轨迹缺少挑战性，依据放在Sec 5.4。因此采用Vision-Language-Editing：不从零生成，而是编辑规则方法给出的初始轨迹。作者类比图像编辑中改变风格、保留结构，并假设编辑原始信息可以保留底层结构。
    • 初始轨迹T_base：CTRV模型轨迹与地图路点线性融合（Algorithm 1）。第i点为(1−i/N)·T_model[i]+(i/N)·T_map[i]，前期更受CTRV影响，后期更受地图路点影响。作者称这给VLM一个稳定基础，使其集中于编辑。

    后处理

    正文写编辑模块本身不保证运动学可行。三步处理T_edit：B样条平滑得T_B；用sigmoid权重与T_base融合，wi=1/(1+exp(M(2i−N)/N))，T_curve[i]=w_i·T_base[i]+(1−w_i)·T_B[i]，前期权重偏向T_base以保持连续、避免急转，随后转向平滑轨迹；LQR按车辆运动学执行T_curve，得到T_final。N为轨迹长度，M为权重因子，论文未给出二者取值。

    训练闭环与奖励

    • 闭合方式：强化学习环境执行risky agent的编辑轨迹，并训练ego。Figure 2给出这一环。
    • 奖励：R_total=αR_style+βR_follow−γP_safety。R_style是速度、车道中心、航向和稳定性四项的乘积；R_follow鼓励与前车保持随速度变化的距离；P_safety在与最近周围车辆的距离低于安全阈值时增大。α、β、γ未在正文给出数值。
    • 实现：主实验用Stable-Baselines3中的SAC，总步数1,000,000，折扣因子0.98（补充材料Table 4）。nuScenes实验改用PPO。作者把直接轨迹编辑称为有针对性的生成方式；论文未报告VLM查询次数或耗时。

  4. What experiments did the paper conduct?

    Town01–03挑战场景三城之和VILTA的RC为2.38、CR为1.03；Town05挑战场景多项低于CAT。

    实验设置

    • 地图与车辆：CARLA。主结果在Town02训练，用训练结束的final checkpoint评测Town01、Town02、Town03；Table 6扩到Town04、Town05。每张地图20辆autopilot，其中1辆按Sec 4.2标为risky agent。ego在随机起终点之间走A*最短路。
    • 策略与状态：主实验为SAC。状态含自车BEV语义图、转向、油门、速度和未来15个路点；动作是二维连续量，转向在[-1,1]，另一维为正油门、负刹车。补充材料写主实验约1.5天、单张NVIDIA H20、约24 GB显存。
    • 场景混合：主对比默认x2，即每2个常规场景插入1个挑战场景，论文亦称1:2。常规场景中周围车辆由标准autopilot控制；挑战场景中由VILTA编辑模块动态控制，执行针对ego的危险机动。
    • 基线：VLM-RL与CAT。VLM-RL按官方实现复现，测试用final checkpoint，而不是原文的best checkpoint。CAT从MetaDrive改到CARLA：收集1000个场景，每段10秒、150帧，用DenseTNT预测未来2秒轨迹；强化学习部分与VILTA同为SAC，以及相同的状态、动作、奖励和超参数。
    • 指标与重复：RC、TD（m）、CR、CPM、CS（km/h）、AS（km/h）。Table 2、Table 3、Table 6为3个随机种子的均值±标准差。VLM为不微调的Gemini-2.5-Flash。论文未报告每个城镇的评测回合数，也未报告VLM调用次数。

    主结果

    Table 2的Total行是Town01–03对应指标之和，不是三城平均。据Table 2：

    | 方法 | 场景 | RC之和 | CR之和 | CPM之和 | AS之和 | | VLM-RL | Challenging | 2.10 | 1.44 | 51.74 | 63.64 | | CAT | Challenging | 1.90 | 1.70 | 67.5 | 66.43 | | VILTA | Challenging | 2.38 | 1.03 | 48.62 | 64.98 | | VLM-RL | Normal | 2.54 | 0.76 | 18.01 | 68.65 | | CAT | Normal | 2.64 | 0.86 | 4.67 | 66.98 | | VILTA | Normal | 2.70 | 0.63 | 14.43 | 65.13 |

    • 作者对挑战场景的解读：作者称VILTA在该节所测城镇上都更好；合计路线完成率超过VLM-RL和CAT 13.3%和25.3%，碰撞率降低28.5%和39.4%。合计CS为11.81，低于15.18和17.67；作者称平均速度相对CAT只低2.2%，安全性提高没有以效率为代价。合计TD为10827.90，高于9966.38和10318.29。
    • 分城镇并不处处同向：Town01–03挑战场景中，VILTA的RC和CR在三城都高于或低于基线的对应方向；但Town03 Challenging的CS为7.89±2.92，高于CAT的7.41±0.08。常规场景的合计RC、TD、CR与作者“三项最好”的说法一致；Town02 Normal的CR为0.27±0.15，高于VLM-RL的0.23±0.06；Town03 Normal的RC为0.87±0.04，低于CAT的0.90±0.01，CPM为11.00±0.75，高于CAT的0.75±0。
    • 遗忘：作者称挑战与常规交替能缓解灾难性遗忘。效率上，作者称常规场景只比VLM-RL低5.1%。

    消融（Table 3）

    比较去掉后处理、去掉跟车奖励、去掉VLE，以及改变挑战场景插入频率。论文未写明地图；x2行与Table 2中Town02的VILTA行相同。均为3个种子。

    • 组件：作者称后处理使挑战场景RC提高5.5%、CPM降低3.3%；加入Following Reward使RC提高4.1%、CPM降低6.0%。挑战场景原始值为：w/o PP是0.73±0.03 / 0.60±0 / 18.75±2.09，w/o FR是0.74±0.19 / 0.60±0.26 / 19.28±8.34，w/o VLE是0.75±0.04 / 0.53±0.06 / 18.50±1.04，x2是0.77±0.05 / 0.50±0.10 / 18.13±7.36（RC/CR/CPM）。作者称去掉VLE后各项下降；Normal的RC点估计同为0.91。作者称VLE与后处理使轨迹运动学可行，交替训练因此不破坏仿真的物理一致性。
    • 频率：x4、x8、x16表示每4、8、16个常规场景插入1个挑战场景。作者称过疏（1:16）或过密（1:2）都会变差，每8个常规插入1个挑战的折中最好，并称主实验的x2仍可再调。挑战场景RC为x2 0.77±0.05、x4 0.85±0.03、x8 0.87±0.01、x16 0.85±0.08；CR的最低点估计在x4（0.27±0.06），不是x8（0.30±0.10）。

    轨迹经验分析（Figure 3）

    • 管线：Figure 3a–f展示编辑过程。黄车为risky agent，白车为ego。顺序是道路与历史、T_base、T_edit、B样条T_B、sigmoid融合的T_curve、LQR得到的T_final。正文未列出图中坐标数值。
    • 100个样本：作者称Figure 3g–h中T_final的终点分布比T_base更散；Figure 3i对长度、平均速度、最大曲率和终点做t-SNE，作者称T_final的二维分布更宽，不用VLE直接生成的T_gen在分布多样性上与编辑轨迹相近。作者称Figure 3j中直接生成轨迹到ego的最小距离与原始轨迹相当，因而只增加多样性、不增加挑战；编辑轨迹最小距离更小，加速度和转角更极端、分布更宽（Figure 3k–l）。正文未给出箱线数值。

    Town04–05与nuScenes

    • Town05是反例：Table 6仍在Town02训练、3个种子，论文未另作解读。Town05 Challenging中CAT的RC为0.86±0.05、CR为0.27±0.06、TD为3235.73±184.63，VILTA为0.76±0.05、0.43±0.06、2554.14±209.03；CPM和CS也是CAT更低。Town04 Normal中VILTA的RC为1±0、CR为0±0。
    • 五城之和与nuScenes：Table 6 Total为五城之和。挑战场景VILTA的RC为3.91、CR为1.76，CR低于VLM-RL的2.24和CAT的2.27；CS为23.66，高于VLM-RL的21.10。常规场景VILTA的RC为4.46，低于CAT的4.53；CR为1.03，CAT为1.02；CPM为17.81，CAT为70.05，VLM-RL为21.62。nuScenes把离线日志改成仿真，去掉非车辆，周围车按记录轨迹行驶、不与ego交互；指定一辆risky agent并编辑其未来轨迹。ego用PPO，常规:挑战为4:1，展开3秒动作，对照周围车真值未来轨迹。挑战场景VILTA的Crash / Off-Road / Success为0.34 / 0.01 / 0.65，BC+PPO为0.36 / 0.02 / 0.62，BC为0.38 / 0.11 / 0.51（Table 5）。常规场景VILTA的Success为0.93，高于BC的0.88，但Crash为0.05，高于BC的0.01。作者称挑战场景上更好，且常规场景未出现灾难性遗忘。论文未报告样本量与重复次数。

    其他消融与分析

    • Normal的w/o PP、w/o FR、w/o VLE、x2：RC/CR/CPM为0.89±0.05/0.20±0.10/2.24±0.50，0.80±0.05/0.37±0.06/4.88±0.22，0.91±0.07/0.31±0.06/2.60±0.88，0.91±0.08/0.27±0.15/2.47±2.47（Table 3）。
    • Normal频率：x4的RC为0.94±0.05、CPM为1.30±0.85；x8的CR为0.23±0.15、CPM为2.30±1.62；x16的CR为0.17±0.06、CPM为1.60±0.88（Table 3）。
    • 挑战场景CPM：x4为11.21±14.89，x8为5.33±2.27，x16为5.56±3.12（Table 3）。
    • Town01 Challenging：VILTA的RC/CR/CPM为0.93±0.09/0.13±0.15/0.67±0.63，CAT为0.70±0.06/0.50±0.10/2.49±0.79（Table 2）。
    • Town02 Challenging的CR：VILTA 0.50±0.10，VLM-RL 0.57±0.06，CAT 0.73±0.06（Table 2）。
    • nuScenes常规Off-Road：VILTA 0.02，BC+PPO 0.05，BC 0.11，PPO 0.17（Table 5）。

  5. What are some points that can be further explored?

    作者指出验证限于仿真、依赖所用VLM、只做单车对抗，并计划做实车与端到端扩展。

    作者指出的局限与后续方向

    • 仿真到现实：验证限于仿真，需要未来的真实世界测试以弥合sim-to-real差距（第6节）。
    • 所用VLM：框架表现与底层VLM的能力绑定，作者认为值得研究方法特定的偏差（第6节）。
    • 单车对抗：当前实现聚焦单智能体对抗场景，而真实关键事件可能涉及多个参与者（第6节）。
    • 规则选威胁：威胁的初始识别依赖预定义规则，作者提出未来可以做更动态的、基于学习的威胁发现（第6节）。
    • 端到端：作者计划把框架扩展到端到端自动驾驶，考察它对集成感知–规划架构鲁棒性的作用（第6节）。

    实验覆盖范围

    • CARLA主实验与Table 6在Town02上用SAC训练，以final checkpoint评测Town01–Town05；每图20辆autopilot、1辆risky agent，3个随机种子。主对比基线为VLM-RL与CAT，默认交替为x2。
    • 指标为RC、TD、CR、CPM、CS、AS。消融包含后处理、跟车奖励、VLE，以及x2、x4、x8、x16，Table 3为3个种子。论文未在消融节写明地图。
    • 轨迹分析使用100个随机样本，特征包括长度、平均速度、最大曲率和终点，并用t-SNE。正文未给出Figure 3j–l的箱线数值。
    • nuScenes实验用PPO，常规:挑战为4:1，对照BC、PPO、BC+PPO，指标为Crash Rate、Off-Road Rate、Success Rate，动作为3秒展开。论文未报告评测样本量、重复次数和VLM调用次数。
    • 场景编辑使用不微调的Gemini-2.5-Flash。CAT适配使用作者在CARLA收集的1000个场景和DenseTNT。论文未报告每个城镇的评测回合数。

  6. Summarize the main content of the paper

    VILTA在闭环中编辑邻车轨迹以训练驾驶策略；作者称危险场景更安全且常规性能不下降。

    VILTA是一个把视觉语言模型放进自动驾驶闭环训练的框架，用来应对长尾危险场景不足。

    • 问题：真实数据以常规工况为主，罕见危险事件少。离线生成往往不进入训练，已有闭环方法又依赖规则、重采样或离线生成模型；两阶段VLM只负责描述，轨迹多样性受下游模型限制。
    • 做法：未微调的Gemini-2.5-Flash读取BEV和车辆状态，按相对位置选定危险机动，编辑CTRV与地图路点融合得到的初始轨迹，再经B样条、sigmoid融合和LQR交给模拟器中的risky agent。ego在挑战场景与常规场景之间交替，用强化学习更新。
    • 主结果：CARLA中于Town02训练，在Town01–03评测，3个种子。三城挑战场景指标之和，VILTA的RC为2.38、CR为1.03，CR低于VLM-RL的1.44和CAT的1.70（Table 2）。作者称路线完成率分别高13.3%和25.3%，碰撞率分别低28.5%和39.4%。
    • 不是每一格都同向：Town03挑战场景中CAT的碰撞速度更低。Town05挑战场景中CAT的RC为0.86±0.05、CR为0.27±0.06，VILTA为0.76±0.05和0.43±0.06（Table 6）。常规场景的三城合计CR最低，但Town02 Normal的CR高于VLM-RL。
    • 其他结果：作者称100个样本中，编辑轨迹比直接生成更难，依据是到ego的最小距离更小、加速度和转角更极端（Figure 3）。nuScenes挑战场景中VILTA的Success Rate为0.65、Crash Rate为0.34（Table 5）。消融里x8的挑战场景RC为0.87±0.01，高于主实验所用x2的0.77±0.05（Table 3）。
    • 作者结论：作者称把VLM直接接入训练能提高危险情境下的策略鲁棒性，且不降低常规工况表现。第6节同时写明验证仍在仿真、只对抗单车、初筛威胁用规则，并计划扩展到端到端驾驶。
Read originalarxiv.org