VILTA：将 VLM 纳入闭环训练以提升驾驶策略鲁棒性

自动驾驶的长尾工况使策略在罕见危险事件上不足。

• 场景：作者称真实驾驶数据大多是常规、平稳工况，corner case很少；模型处理名义条件较好，应对罕见危险事件的能力不足，并称这阻碍自动驾驶的广泛部署。
• 现有不足：安全关键场景生成常不把生成结果用于训练。闭环学习仍依赖规则启发式、重采样和从离线数据学到的生成模型，作者称缺少创造多样场景的泛化能力。两阶段VLM先产出高层场景描述，再交给单独的下游模型生成危险轨迹，作者称最终多样性受下游算法泛化上限约束。
• 假设：作者假设大模型编辑原始信息时可以保留底层结构，因此可把规则给出的正常轨迹改得更难，同时保留总体运动趋势，而不从零生成。
• 提出的方法：VILTA把VLM放进自动驾驶智能体的闭环训练，理解动态环境并直接编辑周围车辆的未来轨迹，与策略学习一起形成既合理又有挑战的课程。作者称这能提升策略通过长尾事件的安全性与鲁棒性。

安全关键场景生成

• 数据与规则：Ding等（2023）从方法角度综述仿真中的安全关键场景生成。数据驱动方法（Wheeler、Kochenderfer与Robbel 2015；Wu等 2020）受真实数据不平衡影响；基于知识的方法（Xu等 2025a）使用预定义规则，作者称这限制多样性与可泛化性。
• 对抗生成：Kuutti、Fallah与Bowden（2020）能产生多样场景，作者称未能利用真实驾驶数据。
• 基础模型的两阶段做法：ChatScene（Zhang、Xu与Li 2024）把语言指令转成场景，CrashAgent（Li等 2025）把事故报告转成仿真。作者称这类方法通常先由基础模型描述场景、再由下游模块生成，未能充分利用基础模型的泛化，且可能低效。引言还把Mei等（2025）、Sheng等（2025）、Zhang等（2025）列入先写高层文本、再调整下游生成先验的工作。

闭环学习

• CAT与SDM：CAT（Zhang等 2023）用真实世界数据做闭环对抗框架；SDM（Niu等 2023）把车辆交互建成Stackelberg博弈。Parker-Holder等（2022）被引为用环境设计产生演化课程、以增强强化学习鲁棒性。
• CurricuVLM：Sheng等（2025）用VLM分析自动驾驶车辆的弱点并做个性化课程，但仍是两阶段，用VLM的理解能力指导从已有数据集重采样。作者以此与本文对照。

基线与评测环境

• 主对比：VLM-RL（Huang等 2024b）把VLM与强化学习结合起来，从图像观测和CLIP语言特征生成奖励；CAT用预训练运动预测模型动态生成安全关键场景再训练。环境为CARLA。补充实验把nuScenes改成仿真，对照BC、PPO和BC+PPO。

作者称VILTA打破两阶段范式，让VLM同时使用理解与生成能力直接构造复杂场景，以提高挑战的多样性与新颖性。

VILTA把未微调的Gemini-2.5-Flash放进闭环：环境给出场景，VLM一次完成理解与轨迹编辑，后处理后再控制risky agent。

闭环目标

驾驶写成部分可观测马尔可夫决策过程（POMDP）：智能体看不到真实状态，只收到观测。训练在名义场景S_N与复杂场景S_C之间交替。式1的目标是，在场景交替的转移T(s'|s,a,S)下，选择策略π以最大化期望折扣回报。

场景表示与机动选择

• BEV与选车：场景先做成鸟瞰表示。在预定义圆形危险区内，选离ego最近的车作为生成关键场景的agent。论文未给出危险区半径。
• 机动规则：按行驶方向、车道和纵横向位置指定危险机动（Table 1）。同向同车道前方为Sudden-brake，后方为Overtake；不同车道左侧为Cut-in-left，右侧为Cut-in-right；对向为Lane-encroachment或U-turn。
• 路口：VLM判断ego是否在路口；若是，后续编辑允许更大灵活性。

理解与轨迹编辑

• 单次输出：VLM同时做场景理解与轨迹编辑，输出风险等级、风险类别、是否路口、分析和编辑轨迹。补充材料第9节给出简化输入说明和一条完整输出样例。
• VLE而非从零生成：作者称按标准Vision-Language-Action从零生成的未来轨迹缺少挑战性，依据放在Sec 5.4。因此采用Vision-Language-Editing：不从零生成，而是编辑规则方法给出的初始轨迹。作者类比图像编辑中改变风格、保留结构，并假设编辑原始信息可以保留底层结构。
• 初始轨迹T_base：CTRV模型轨迹与地图路点线性融合（Algorithm 1）。第i点为(1−i/N)·T_model[i]+(i/N)·T_map[i]，前期更受CTRV影响，后期更受地图路点影响。作者称这给VLM一个稳定基础，使其集中于编辑。

后处理

正文写编辑模块本身不保证运动学可行。三步处理T_edit：B样条平滑得T_B；用sigmoid权重与T_base融合，w_i=1/(1+exp(M(2i−N)/N))，T_curve[i]=w_i·T_base[i]+(1−w_i)·T_B[i]，前期权重偏向T_base以保持连续、避免急转，随后转向平滑轨迹；LQR按车辆运动学执行T_curve，得到T_final。N为轨迹长度，M为权重因子，论文未给出二者取值。

训练闭环与奖励

• 闭合方式：强化学习环境执行risky agent的编辑轨迹，并训练ego。Figure 2给出这一环。
• 奖励：R_total=αR_style+βR_follow−γP_safety。R_style是速度、车道中心、航向和稳定性四项的乘积；R_follow鼓励与前车保持随速度变化的距离；P_safety在与最近周围车辆的距离低于安全阈值时增大。α、β、γ未在正文给出数值。
• 实现：主实验用Stable-Baselines3中的SAC，总步数1,000,000，折扣因子0.98（补充材料Table 4）。nuScenes实验改用PPO。作者把直接轨迹编辑称为有针对性的生成方式；论文未报告VLM查询次数或耗时。

实验设置

• 地图与车辆：CARLA。主结果在Town02训练，用训练结束的final checkpoint评测Town01、Town02、Town03；Table 6扩到Town04、Town05。每张地图20辆autopilot，其中1辆按Sec 4.2标为risky agent。ego在随机起终点之间走A*最短路。
• 策略与状态：主实验为SAC。状态含自车BEV语义图、转向、油门、速度和未来15个路点；动作是二维连续量，转向在[-1,1]，另一维为正油门、负刹车。补充材料写主实验约1.5天、单张NVIDIA H20、约24 GB显存。
• 场景混合：主对比默认x2，即每2个常规场景插入1个挑战场景，论文亦称1:2。常规场景中周围车辆由标准autopilot控制；挑战场景中由VILTA编辑模块动态控制，执行针对ego的危险机动。
• 基线：VLM-RL与CAT。VLM-RL按官方实现复现，测试用final checkpoint，而不是原文的best checkpoint。CAT从MetaDrive改到CARLA：收集1000个场景，每段10秒、150帧，用DenseTNT预测未来2秒轨迹；强化学习部分与VILTA同为SAC，以及相同的状态、动作、奖励和超参数。
• 指标与重复：RC、TD（m）、CR、CPM、CS（km/h）、AS（km/h）。Table 2、Table 3、Table 6为3个随机种子的均值±标准差。VLM为不微调的Gemini-2.5-Flash。论文未报告每个城镇的评测回合数，也未报告VLM调用次数。

主结果

Table 2的Total行是Town01–03对应指标之和，不是三城平均。据Table 2：

| 方法 | 场景 | RC之和 | CR之和 | CPM之和 | AS之和 | | VLM-RL | Challenging | 2.10 | 1.44 | 51.74 | 63.64 | | CAT | Challenging | 1.90 | 1.70 | 67.5 | 66.43 | | VILTA | Challenging | 2.38 | 1.03 | 48.62 | 64.98 | | VLM-RL | Normal | 2.54 | 0.76 | 18.01 | 68.65 | | CAT | Normal | 2.64 | 0.86 | 4.67 | 66.98 | | VILTA | Normal | 2.70 | 0.63 | 14.43 | 65.13 |

• 作者对挑战场景的解读：作者称VILTA在该节所测城镇上都更好；合计路线完成率超过VLM-RL和CAT 13.3%和25.3%，碰撞率降低28.5%和39.4%。合计CS为11.81，低于15.18和17.67；作者称平均速度相对CAT只低2.2%，安全性提高没有以效率为代价。合计TD为10827.90，高于9966.38和10318.29。
• 分城镇并不处处同向：Town01–03挑战场景中，VILTA的RC和CR在三城都高于或低于基线的对应方向；但Town03 Challenging的CS为7.89±2.92，高于CAT的7.41±0.08。常规场景的合计RC、TD、CR与作者“三项最好”的说法一致；Town02 Normal的CR为0.27±0.15，高于VLM-RL的0.23±0.06；Town03 Normal的RC为0.87±0.04，低于CAT的0.90±0.01，CPM为11.00±0.75，高于CAT的0.75±0。
• 遗忘：作者称挑战与常规交替能缓解灾难性遗忘。效率上，作者称常规场景只比VLM-RL低5.1%。

消融（Table 3）

比较去掉后处理、去掉跟车奖励、去掉VLE，以及改变挑战场景插入频率。论文未写明地图；x2行与Table 2中Town02的VILTA行相同。均为3个种子。

• 组件：作者称后处理使挑战场景RC提高5.5%、CPM降低3.3%；加入Following Reward使RC提高4.1%、CPM降低6.0%。挑战场景原始值为：w/o PP是0.73±0.03 / 0.60±0 / 18.75±2.09，w/o FR是0.74±0.19 / 0.60±0.26 / 19.28±8.34，w/o VLE是0.75±0.04 / 0.53±0.06 / 18.50±1.04，x2是0.77±0.05 / 0.50±0.10 / 18.13±7.36（RC/CR/CPM）。作者称去掉VLE后各项下降；Normal的RC点估计同为0.91。作者称VLE与后处理使轨迹运动学可行，交替训练因此不破坏仿真的物理一致性。
• 频率：x4、x8、x16表示每4、8、16个常规场景插入1个挑战场景。作者称过疏（1:16）或过密（1:2）都会变差，每8个常规插入1个挑战的折中最好，并称主实验的x2仍可再调。挑战场景RC为x2 0.77±0.05、x4 0.85±0.03、x8 0.87±0.01、x16 0.85±0.08；CR的最低点估计在x4（0.27±0.06），不是x8（0.30±0.10）。

轨迹经验分析（Figure 3）

• 管线：Figure 3a–f展示编辑过程。黄车为risky agent，白车为ego。顺序是道路与历史、T_base、T_edit、B样条T_B、sigmoid融合的T_curve、LQR得到的T_final。正文未列出图中坐标数值。
• 100个样本：作者称Figure 3g–h中T_final的终点分布比T_base更散；Figure 3i对长度、平均速度、最大曲率和终点做t-SNE，作者称T_final的二维分布更宽，不用VLE直接生成的T_gen在分布多样性上与编辑轨迹相近。作者称Figure 3j中直接生成轨迹到ego的最小距离与原始轨迹相当，因而只增加多样性、不增加挑战；编辑轨迹最小距离更小，加速度和转角更极端、分布更宽（Figure 3k–l）。正文未给出箱线数值。

Town04–05与nuScenes

• Town05是反例：Table 6仍在Town02训练、3个种子，论文未另作解读。Town05 Challenging中CAT的RC为0.86±0.05、CR为0.27±0.06、TD为3235.73±184.63，VILTA为0.76±0.05、0.43±0.06、2554.14±209.03；CPM和CS也是CAT更低。Town04 Normal中VILTA的RC为1±0、CR为0±0。
• 五城之和与nuScenes：Table 6 Total为五城之和。挑战场景VILTA的RC为3.91、CR为1.76，CR低于VLM-RL的2.24和CAT的2.27；CS为23.66，高于VLM-RL的21.10。常规场景VILTA的RC为4.46，低于CAT的4.53；CR为1.03，CAT为1.02；CPM为17.81，CAT为70.05，VLM-RL为21.62。nuScenes把离线日志改成仿真，去掉非车辆，周围车按记录轨迹行驶、不与ego交互；指定一辆risky agent并编辑其未来轨迹。ego用PPO，常规:挑战为4:1，展开3秒动作，对照周围车真值未来轨迹。挑战场景VILTA的Crash / Off-Road / Success为0.34 / 0.01 / 0.65，BC+PPO为0.36 / 0.02 / 0.62，BC为0.38 / 0.11 / 0.51（Table 5）。常规场景VILTA的Success为0.93，高于BC的0.88，但Crash为0.05，高于BC的0.01。作者称挑战场景上更好，且常规场景未出现灾难性遗忘。论文未报告样本量与重复次数。

其他消融与分析

• Normal的w/o PP、w/o FR、w/o VLE、x2：RC/CR/CPM为0.89±0.05/0.20±0.10/2.24±0.50，0.80±0.05/0.37±0.06/4.88±0.22，0.91±0.07/0.31±0.06/2.60±0.88，0.91±0.08/0.27±0.15/2.47±2.47（Table 3）。
• Normal频率：x4的RC为0.94±0.05、CPM为1.30±0.85；x8的CR为0.23±0.15、CPM为2.30±1.62；x16的CR为0.17±0.06、CPM为1.60±0.88（Table 3）。
• 挑战场景CPM：x4为11.21±14.89，x8为5.33±2.27，x16为5.56±3.12（Table 3）。
• Town01 Challenging：VILTA的RC/CR/CPM为0.93±0.09/0.13±0.15/0.67±0.63，CAT为0.70±0.06/0.50±0.10/2.49±0.79（Table 2）。
• Town02 Challenging的CR：VILTA 0.50±0.10，VLM-RL 0.57±0.06，CAT 0.73±0.06（Table 2）。
• nuScenes常规Off-Road：VILTA 0.02，BC+PPO 0.05，BC 0.11，PPO 0.17（Table 5）。

作者指出的局限与后续方向

• 仿真到现实：验证限于仿真，需要未来的真实世界测试以弥合sim-to-real差距（第6节）。
• 所用VLM：框架表现与底层VLM的能力绑定，作者认为值得研究方法特定的偏差（第6节）。
• 单车对抗：当前实现聚焦单智能体对抗场景，而真实关键事件可能涉及多个参与者（第6节）。
• 规则选威胁：威胁的初始识别依赖预定义规则，作者提出未来可以做更动态的、基于学习的威胁发现（第6节）。
• 端到端：作者计划把框架扩展到端到端自动驾驶，考察它对集成感知–规划架构鲁棒性的作用（第6节）。

实验覆盖范围

• CARLA主实验与Table 6在Town02上用SAC训练，以final checkpoint评测Town01–Town05；每图20辆autopilot、1辆risky agent，3个随机种子。主对比基线为VLM-RL与CAT，默认交替为x2。
• 指标为RC、TD、CR、CPM、CS、AS。消融包含后处理、跟车奖励、VLE，以及x2、x4、x8、x16，Table 3为3个种子。论文未在消融节写明地图。
• 轨迹分析使用100个随机样本，特征包括长度、平均速度、最大曲率和终点，并用t-SNE。正文未给出Figure 3j–l的箱线数值。
• nuScenes实验用PPO，常规:挑战为4:1，对照BC、PPO、BC+PPO，指标为Crash Rate、Off-Road Rate、Success Rate，动作为3秒展开。论文未报告评测样本量、重复次数和VLM调用次数。
• 场景编辑使用不微调的Gemini-2.5-Flash。CAT适配使用作者在CARLA收集的1000个场景和DenseTNT。论文未报告每个城镇的评测回合数。

VILTA是一个把视觉语言模型放进自动驾驶闭环训练的框架，用来应对长尾危险场景不足。

• 问题：真实数据以常规工况为主，罕见危险事件少。离线生成往往不进入训练，已有闭环方法又依赖规则、重采样或离线生成模型；两阶段VLM只负责描述，轨迹多样性受下游模型限制。
• 做法：未微调的Gemini-2.5-Flash读取BEV和车辆状态，按相对位置选定危险机动，编辑CTRV与地图路点融合得到的初始轨迹，再经B样条、sigmoid融合和LQR交给模拟器中的risky agent。ego在挑战场景与常规场景之间交替，用强化学习更新。
• 主结果：CARLA中于Town02训练，在Town01–03评测，3个种子。三城挑战场景指标之和，VILTA的RC为2.38、CR为1.03，CR低于VLM-RL的1.44和CAT的1.70（Table 2）。作者称路线完成率分别高13.3%和25.3%，碰撞率分别低28.5%和39.4%。
• 不是每一格都同向：Town03挑战场景中CAT的碰撞速度更低。Town05挑战场景中CAT的RC为0.86±0.05、CR为0.27±0.06，VILTA为0.76±0.05和0.43±0.06（Table 6）。常规场景的三城合计CR最低，但Town02 Normal的CR高于VLM-RL。
• 其他结果：作者称100个样本中，编辑轨迹比直接生成更难，依据是到ego的最小距离更小、加速度和转角更极端（Figure 3）。nuScenes挑战场景中VILTA的Success Rate为0.65、Crash Rate为0.34（Table 5）。消融里x8的挑战场景RC为0.87±0.01，高于主实验所用x2的0.77±0.05（Table 3）。
• 作者结论：作者称把VLM直接接入训练能提高危险情境下的策略鲁棒性，且不降低常规工况表现。第6节同时写明验证仍在仿真、只对抗单车、初筛威胁用规则，并计划扩展到端到端驾驶。