NavSafe-∞：在真实感环境中评测闭环驾驶安全

开环轨迹分数无法判断端到端驾驶策略在闭环交互中能否应对安全关键事件。

• 场景与重要性：真实驾驶安全取决于策略如何通过持续交互处理安全关键情形。闭环中，动作会改变未来观测和周围动态；开环在静态日志状态上评分，捕捉不到交互序列和复合误差。作者称现有端到端策略主要在 nuScenes、NAVSIM 等开环基准上评测，社区对其面对安全关键事件的可靠性了解有限（Figure 1）。
• 现有评测的不足：作者称开环排名只松散对应闭环表现。已有闭环基准或存在游戏引擎渲染的域差，或主要报告自有场景的聚合分数；能力类别多按驾驶机动划分，成功标准通常是通用路线完成，而不是真实交通安全事件。
• 核心观察：同一场景下，开环 PDMS 接近的策略在闭环执行后 Driving Score 和安全结果可以分开。作者要考察现有策略能否在长时程闭环中可靠通过一连串安全相关事件，以及开环增益能否变成闭环安全。
• 本文提出的内容：作者提出写真闭环基准 NAVSAFE-∞，含 280 个场景、28 类事件，按真实交通安全分类给出事件级成功与失败标准，并输出 Traffic Crashes、Vulnerable Road User Crashes、Traffic Violations、Traffic Incidents 的类别能力分。同时分析被动演示扰动和开环强化学习微调，并设计可扩展工具箱，用于自定义事件和策略诊断。作者计划开源该基准与工具箱。

论文在第2节按评测基准和策略训练范式分组讨论。

• 开环基准：nuScenes（Caesar et al., 2020）对照录制未来给轨迹打分；NAVSIM（Dauner et al., 2024; Cao et al., 2025）用碰撞与合规类规划分数替代位移误差；WOMD-Reasoning（Li et al., 2025a）和 nuReasoning（Huang et al., 2026b）加入推理问答。作者称策略看不到自身动作的后果，从而隐藏复合误差、失败恢复和反应式交通，且开环排名只松散跟踪闭环表现（Zhao et al., 2026a; Wang et al., 2026b）。
• 闭环基准：基于 CARLA（Dosovitskiy et al., 2017）的 Bench2Drive（Jia et al., 2024）、HiDrive（Xia et al., 2026b）和 Fail2Drive（Gerstenecker et al., 2026）做结构化行为评测，前两者报告分能力结果，但游戏引擎渲染对真实传感器策略留有域差。HUGSIM（Zhou et al., 2026a）、WorldEngine（Li et al., 2026a）和 AlpaSim（NVIDIA et al., 2025）用 3DGS 重建缩小域差；DriveArena（Yang et al., 2025）和 AlpaSim 还用生成式渲染（OmniDreams，Basant et al., 2026）。作者称这些工作主要报告自有场景的聚合分数，能力类别跟随驾驶机动而非真实安全事件，成功通常是通用路线完成。
• 策略范式：模仿学习或监督微调包括 LTF、DiffusionDrive、DrivoR、RAP、SparseDriveV2、GTRS 以及视觉–语言–动作策略（Zhou et al., 2025）；作者称它们都继承行为克隆的协变量偏移。离线强化学习后训练包括 ReCogDrive、MTDrive、AutoVLA，奖励限于日志状态。被动扰动方面，SimScale（Tian et al., 2026）在重建的反应式场景中扰动自车轨迹并与伪专家监督联合训练，BeyondDrive（Wang et al., 2026a）把靠近专家的不安全轨迹当作负样本。世界模型策略包括 DriveLaW、DriveVLA–W0 和 SimWAM。
• 基线与数据来源：主评测对照 Human Driver Reference 和特权规划器 PDM-Closed；开环关联使用 NAVSIM 的 PDMS。事件类型改编自 RoadSafe365（Liu et al., 2026）。渲染对照 DriveArena 和 DreamStream。指标协议沿用 Jia et al. (2024) 与 Caesar et al. (2021) 的闭环评测。

作者将 NAVSAFE-∞ 定位为把写真闭环、基于分类体系的事件、事件特定成功标准和类别级 Ability Score 结合起来的基准。

作者用 NAVSAFE-∞ 把端到端策略放进有界、事件中心的写真闭环场景，按事件合同判定成功，而不是只看路线完成或开环轨迹分数。

问题设定与形式化

• 有界事件：长路线的单一分数会把多个局部交互混在一起，且长路线聚合分方差高（Jia et al., 2024）。每个场景是一类事件的实例，含指定初始场景、相关道路使用者或交通控制，以及终止条件。
• POMDP：沿 Zhao et al. (2026a)，每个事件类型 ℓ 的场景 e 写成有限时程部分可观测马尔可夫决策过程 M_e=(S,A,O,P_e,Ω_κ,ρ_e,R_ℓ,H_e)，含转移、初始状态分布、稀疏终端成功奖励和时程。目标是完成事件特定任务并在整个闭环交互中保持安全执行。
• 观测与状态：场景以 3DGS 重建，发射模型可通过相机内外参切换单目、多目或其他相机组，无需重新采集。动态状态可编辑交通元素并规定周围车辆行为。仿真步中，渲染器由当前自车与参与者状态生成相机观测，策略规划推进仿真并产生下一观测（Figure 3）。

事件分类与成功标准

• 规模与来源：280 个场景、28 类事件，改编自 RoadSafe365，分属 Traffic Crashes（TC）、Vulnerable Road User Crashes（VRUC）、Traffic Violations（TV）、Traffic Incidents（TI）。Figure 2 给出代表事件，附录 A.2 给出其余 16 类；附录 A.1 与 D.2 列出纳入标准及成功与终止规则。
• 事件合同：成功取决于所要求的行为。红灯事件要求在规定时段内停在停止线后；施工区事件要求完成规定绕行且不出现不允许的违规。SR 是在时间预算内满足该类成功标准且无不允许违规的事件百分比。
• 渲染：观测来自 3DGS（NVIDIA, 2026b），再经 DiffusionHarmonizer 细化（附录 C）。仿真在 Isaac Sim 6.0.0 上推进，评测配置中自车遵循运动学自行车模型，图像由 NuRec 服务渲染。

指标

• Driving Score：每个事件的 DS 由 Event Progress 乘以所记录违规的惩罚，再缩放到 [0, 100]，同时奖励事件进度并惩罚不安全或不合规行为。
• 其余全局指标：DE 衡量自车速度相对周围交通；Comfort 衡量加速度、加加速度、横摆角速度和横摆角加速度是否落在预定义界限内。协议沿用既有闭环评测（Jia et al., 2024; Caesar et al., 2021），完整定义在附录 D。
• Ability Score：每个大类的能力分是该类内各事件类型 SR 的无权平均。

两种补救方法的分析设定

• 被动扰动：在日志演示 D_log 之外构造 D_aug，把扰动自车状态 s_aug 的观测与经过核验的专家恢复轨迹 a_aug 配对，最小化联合数据上的模仿损失。作者给出的理由是：D_aug 独立于策略构造，并不直接约束轨迹提议，因此闭环访问是否留在扰动支撑内取决于策略结构。
• 开环 RL 微调：在专家访问的状态上，用冻结日志未来对采样轨迹打一次代理奖励 R′（如 PDMS）。作者称 R′ 直接奖励进度，对安全裕度约束较弱，策略可以提高 R′，同时用裕度换进度。

工具箱与复现协议

• 三项功能：从真实驾驶日志（Caesar et al., 2021; Sun et al., 2020）建 3DGS 交互环境；用资产库插入车辆、弱势道路使用者、交通控制和路侧危险，并指定静态、脚本或反应式行为；把策略诱导状态写入回放档案，再做自车状态或环境状态的反事实干预。
• 评测协议：每条策略在同一 280 个场景上使用固定种子 0、1、1024，报告均值和种子间样本标准差。仿真 10 Hz，相机只在策略消费的时刻渲染；文中重规划为 2 Hz。附录 H 以 DrivoR、半反应交通和 NuRec 为例报告运行资源。作者计划在发表时发布仿真器代码、基准配方、策略适配器和评测配置。

实验设置

• 被测对象：Table 2 列出 Human Driver Reference、特权参考 PDM-Closed，以及学习策略：IL 的 LTF、DiffusionDrive、DrivoR、RAP、SparseDriveV2、GTRS-Dense–V2-99、ReCogDrive–2B–IL、MTDrive–SFT；RLFT 的 ReCogDrive–2B–RL、MTDrive–mtGRPO、AutoVLA；扰动的 DiffusionDrive (SimScale)、DrivoR (SimScale, 134k)、LTF (SimScale)、GTRS-Dense–V2-99 (SimScale)、DiffusionDrive (BeyondDrive)；世界模型 SimWAM。作者称共评测 20 个端到端策略。
• 基准与重复：NAVSAFE-∞ 的 280 个场景、28 类事件。每条策略使用种子 0、1、1024，表中 ± 为三个种子估计的样本标准差。人类参考由三名参与者各在一个指定种子下用游戏手柄完成全部 280 个场景。
• 指标：DS、SR、DE、Comfort，以及 TC、VRUC、TV、TI 的 Ability Score。开环侧使用 NAVSIM 的 PDMS 及其子项。渲染保真度用 FID、FVD、FDπ 和按策略的 FDkπ，对照真实相机帧，FDπ 为五条端到端策略上的平均。
• 失败案例：四类各取一个诊断案例，分别对应规划、打分、预测和推理。扰动与 RLFT 的机制分析见 Figure 7、Figure 8 和附录 F.4、F.5。

主结果

Table 2 中 SR（均值，%）与作者点名的差距如下。人类与特权参考单独列出；学习策略按表中 SR 从高到低取 8 行，已包含表中 SR 最低的 DiffusionDrive。

Swipe horizontally to read the table

策略	SR	DS	出处
Human Driver Reference	100.00	100.00	Table 2
PDM-Closed	81.31	90.17	Table 2
GTRS-Dense–V2-99 (SimScale)	61.79	73.54	Table 2
DrivoR	50.71	64.74	Table 2
GTRS-Dense–V2-99	49.52	64.27	Table 2
SparseDriveV2	48.81	65.26	Table 2
DrivoR (SimScale, 134k)	42.50	57.66	Table 2
DiffusionDrive	20.95	44.77	Table 2

• 开环到闭环：作者称尽管这些策略在 NAVSIM 榜上接近人类水平（Figure 13），闭环安全仍有差距；最强学习策略的 SR 比特权 PDM-Closed 低 19.5 个百分点。没有学习策略在四个能力类上全部领先。
• 同一干预的方向相反：作者称 SimScale 提高 DiffusionDrive 的 SR（Table 2：20.95 到 35.24），但降低 DrivoR 的 SR（50.71 到 42.50）。
• 类别分化：Table 2 中 GTRS-Dense–V2-99 (SimScale) 的 TC、VRUC、TV、TI 分别为 69.33、50.00、64.24、43.33；PDM-Closed 为 88.67、72.50、84.24、57.78。TI 上 MTDrive–mtGRPO 为 52.22，高于其 VRUC 的 16.67。

渲染保真度

• 分布距离：Table 1 中 NAVSAFE-∞ 的 FID、FVD、FDπ 为 4.95、45.34、2.45；DreamStream 为 11.53、176.83、6.27；DriveArena 为 27.14、814.81、18.55。作者称 NAVSAFE-∞ 在这三项上都优于所列生成式渲染器。
• 策略特征距离：Table 1 的 FDkπ 中，NAVSAFE-∞ 对 DrivoR、DiffusionDrive、LTF、RAP、SparseDriveV2 分别为 2.26、5.01、1.07、1.67、2.26。
• 定性：Figure 4 在 t 为 0、5、10、15 秒的第一人称视图上，作者标注 DriveArena 出现信号灯缺失或幻觉、行人模糊或缺失，DreamStream 有累积漂移；NAVSAFE-∞ 被标为信号灯正确、行人保留且时间上一致。

失败案例

• 规划：TI 的 I-3 中，LTF 在 29 m 处检测到横穿车辆且检测概率为 1.00，但仍在加速，撞击时速度 5.1 m/s，施加的减速度峰值标为 3.6（Figure 5 左）。作者称这与离线行为克隆中的因果混淆一致：感知到危险，规划仍受常规跟车相关关系支配。
• 打分与预测：TV 的 V-1 中，DrivoR 的无碰撞停车轨迹排名第 43、分数 0.571、长度 6.7 m，而执行的最高分轨迹分数 0.997、长度 15.1 m 并与前车碰撞（Figure 5 右）。TC 的 C-7 中，SimWAM 的未来预测省略对向车辆，规划穿过其所占区域（Figure 6 左）。作者称失败分别位于轨迹排序和动作相关的参与者持续存在。
• 推理：VRUC 的 R-1 中，同一时刻两个只差评测种子的策略诱导状态都识别横穿行人并要求停车，State 1 在 6.4 m 处停下，State 2 继续行驶 27.7 m 并碰撞（Figure 6 右）。作者称推理保持不变而规划随状态发散。

扰动与 RLFT

• 扰动覆盖：作者称锚点式 DiffusionDrive 与 GTRS 的候选轨迹靠近专家，训练主要改进打分器，选中的闭环轨迹更靠近扰动状态分布；查询式 DrivoR 与 LTF 在专家状态上的开环分数提高，但闭环访问仍离开 D_aug 的支撑（Figure 7，附录 F.4）。论文未在正文给出 Figure 7 的具体状态偏移数值。
• 奖励投机：Figure 8 把 RLFT 相对 IL/SFT 的变化画在开环 NAVSIM、闭环名义场景和闭环安全关键场景上。安全关键面板中，MTDrive 的 DS、CFR、MC 出现 -33.0、-30.7、-46.3 等负向标注，EP 为 +12.2；ReCogDrive 的安全相关变化较小，图中有 -6.1。作者称 ReCogDrive 的开环增益迁到闭环，MTDrive 主要通过更高进度、更低安全分提高 PDMS，安全关键场景下 CL DS 下降。

其他消融与分析

• 运行资源（Table 8，DrivoR、半反应交通、NuRec、两块 RTX 3090、可视化关闭）：单集评测中位数 114.0 s，p90 为 203.3 s，最大 271.7 s；N 为 280 个场景，仿真不超过 60 s。
• 同一设置下稳态帧中位数 0.510 s，p90 为 0.742 s，最大 1.032 s；平均每个 episode 223.68 个仿真帧、206.20 个计分帧。
• 渲染器每次 worker 启动中位数 50 s；两块 GPU 合计显存中位数 24.1 GiB，最大 25.1 GiB（10 次测量）。
• 一个场景包存储为 8.43 GB（16 文件快照）。BeyondDrive 版 DiffusionDrive 的 SR 为 21.79，相对原版 20.95 变化很小（Table 2）。
• Comfort 上 LTF 为 97.81，高于 PDM-Closed 的 82.49，但其 SR 仅 27.74（Table 2）。RAP 的 DE 为 220.78，Comfort 为 48.38，SR 为 27.26。

作者指出的局限与后续方向

• 仿真到现实：第6节写明，写真渲染缩小了视觉域差，但仿真不能完全捕捉传感器噪声、重建伪影、接触动力学或人类驾驶行为。失败可能来自仿真不匹配，成功回合也可能受益于简化的智能体响应。NAVSAFE-∞ 的结果应解释为所评测仿真设置内的受控证据，而不是真实事故风险的直接估计。
• 场景覆盖：第6节写明，基准主要关注密集城市驾驶（Dauner et al., 2024; Caesar et al., 2021），高速、乡村、恶劣天气和夜间相对较少。把 NAVSAFE-∞ 扩展到更广的驾驶环境和条件，是未来评测的一个方向。
• 维护计划：第7节写明 NAVSAFE-∞ 将被持续维护，以支持后续闭环驾驶研究。可复现性声明写明，发表时将发布仿真器代码、基准配方与清单、策略适配器、评测配置和复现脚本；第三方数据、模型权重和 NVIDIA NRE/NuRec 组件仍受原许可与访问条件约束。
• 人类参考的用途：伦理声明写明，人类结果用来说明所评测的场景–种子单元在指定接口下可解，并不用来刻画总体人类驾驶表现或驾驶员之间的差异。仿真分数也不应被解释为部署就绪认证或真实事故风险估计。

实验覆盖范围

• 策略与种子：Table 2 的学习策略加上人类参考和 PDM-Closed 在同一 280 个场景、种子 0、1、1024 上评测；完整榜单在附录 F.1。人类参考为三名参与者，每人一个指定种子，使用游戏手柄。
• 事件与指标：28 类事件分属 TC、VRUC、TV、TI；报告 DS、SR、DE、Comfort 和四类 Ability Score。渲染对比对象为 DriveArena 与 DreamStream，指标为 FID、FVD、FDπ 及五条策略上的 FDkπ（Table 1）。
• 机制分析：失败调查为四类各一个诊断案例（附录 F.3）。扰动分析比较锚点式与查询式策略（Figure 7）；RLFT 分析比较 ReCogDrive 与 MTDrive，并分 NAVSIM、名义闭环和安全关键闭环（Figure 8）。
• 运行条件：附录 H 报告的是 DrivoR、半反应交通、NuRec、重规划 2 Hz、可视化关闭、每 worker 两块 RTX 3090 的路径。论文未报告全部策略的查询次数或每策略耗时。
• 日志来源：工具箱支持 nuPlan 与 Waymo Open Dataset 日志（附录 G、第5节）。第6节说明评测场景主要来自密集城市驾驶日志。

NAVSAFE-∞ 用写真、事件级闭环仿真检查端到端驾驶策略的安全，而不是只看开环轨迹分数。

• 问题：闭环中策略动作会改写未来观测和周围动态。nuScenes、NAVSIM 等开环评测不包含这种反馈，因此复合误差、失败恢复和与周围交通的交互不会进入分数。
• 做法：280 个有界场景覆盖 28 类事件，来自交通安全分类，分属碰撞、弱势道路使用者、违规和交通事件。每类有自己的成功与终止规则。指标包括 DS、SR、DE、Comfort，以及各类事件 SR 的无权平均 Ability Score。观测由 3DGS 加扩散协调器生成，并用 FID、FVD 和策略特征距离对照真实画面。
• 主结果：Table 2 中人类参考 DS 与 SR 均为 100.00，特权 PDM-Closed 的 SR 为 81.31。学习策略里 GTRS-Dense–V2-99 (SimScale) 的 SR 为 61.79，作者称最强学习策略仍比 PDM-Closed 低 19.5 个百分点。没有任何学习策略在四个能力类上都领先。SimScale 使 DiffusionDrive 的 SR 从 20.95 升至 35.24，却使 DrivoR 从 50.71 降到 42.50。
• 机制：四个诊断案例分别对应跟车式规划忽略已检测到的横穿冲突、安全轨迹排序靠后、世界模型预测丢掉对向车辆，以及推理要求停车但另一种子下的轨迹继续加速。被动扰动主要在闭环状态仍靠近扰动支撑时有帮助。开环 RL 微调若用安全裕度换进度，闭环反馈会把该误差放大；Figure 8 中 MTDrive 在安全关键闭环的多项安全指标为负向变化。
• 作者结论：作者认为开环基准对闭环安全成功存在盲区，常见的后模仿补救也不能稳定消除这些失败。结果应作为仿真设置内的受控证据；高速、乡村、恶劣天气和夜间在当前基准中相对较少。