CrashSim 用真实事故先验生成碰撞场景并构建 nuCrash 数据集

现有事故场景生成能提高碰撞发生率，但往往不能按真实世界复现碰撞前演化，也不能匹配真实事故类型分布，自动驾驶安全评测因此缺少这两方面的真实性。

• 场景与重要性：作者称碰撞和 severe near-crash 在真实驾驶中极少。Fig. 1a 标注 Total Trips 为 5,423,665；在 Per 10,000 miles 下，Near-Crash 旁为 2 与 2,705，Crash 旁为 0.44 与 1,541，作者称统计来自 ref.5。作者认为只靠路测既耗时又昂贵，仿真生成安全关键场景因此重要，且行为与场景级分布的真实性都关键。
• 现有方法不足：作者将已有工作分为环境加速测试、优化式、生成式和基于 LLM 的方法，并称它们普遍优先提高碰撞发生或场景关键性，对碰撞前交互关注有限，可能出现持续激进运动、缺少紧急响应或不可行运动学；也很少显式考虑生成集合的事故类型分布，从而过度代表某些冲突类型（Fig. 1a）。
• 作者的观察：作者把真实事故写成四阶段：意图形成（intention formation）、风险觉察（risk awareness）、紧急响应（emergency response）、碰撞结果（collision outcome）（Fig. 1b）。NHTSA 预碰撞类型学显示各冲突类型频率并不均匀。作者认为事故数据稀疏、分布不均且表征异构，只有有限部分能提供足够完整、一致的轨迹，难以直接训练通用事故生成器。
• 本文提出什么：作者提出 CrashSim，用检索到的真实事故先验和 VLM/LLM 推理，引导在自然驾驶数据上预训练的扩散式多智能体仿真；并构建 nuCrash（逾 4,000 个碰撞与近碰撞场景），再用 LLM 评测智能体做能力级诊断与改进建议。

环境加速与优化式生成

• 环境式测试（Dosovitskiy 等 2017 的 CARLA；Lopez 等 2018 的 SUMO；Feng 等 2021、2023；Qian 等 2026；Yan 等 2023）：用针对性场景设计或加速采样提高罕见、安全关键事件的出现。
• 优化式方法（Wang 等 2021 的 AdvSim；Rempe 等 2022；Hanselmann 等 2022 的 KING）：优化场景参数或智能体行为，使之趋向更关键或诱发碰撞的交互。

生成式与 LLM 场景生成

• 生成式方法（Chang 等 2024 的 SAFE-SIM；Peng 等 2025；Peng 等 2026 的 LD-scene；Wu 等 2026）：把学到的自然交通分布与通向安全关键结果的引导结合起来。
• 基于 LLM 的方法（Mei 等 2025 的 LLM-Attacker；Jiang 等 2026 的 AnchorDrive；Chang 等 2024 的 LLMscenario）：用 LLM 推理直接生成碰撞轨迹。作者对上述几类的总评是：它们普遍优先提高碰撞发生或关键性，对碰撞前过程关注有限，也很少显式考虑场景级事故类型分布。

真实事故过程与异构数据

• Svärd 等 2021、Guo 等 2023 分析碰撞前的制动与规避；Schumann 等 2026 把人类避撞写成威胁检测、响应选择与规避执行的动态交互。论文据此概括四阶段过程，并未逐篇批评这些工作。
• Najm 等 2007 的 NHTSA 预碰撞类型学按碰撞前机动与冲突构型组织交互，统计显示各类型频率并不均匀。
• 异构来源包括结构化报告、SHRP2 记录（Hankey 等 2016；Antin 等 2019）、重建轨迹（Jiao 等 2026）和事故视频（Fang 等 2021 的 DADA；Yao 等 2022 的 DoTA）。作者称其中只有有限部分适合直接生成建模，并借用 Lewis 等 2020 的检索增强生成，在推理时取用相关事故信息。Shi 等 2025、Qiu 等 2025 被用来说明 LLM/VLM 可对异构证据做推理。

评测框架、基线与数据

• Caesar 等 2021 的 nuPlan、Peng 等 2026 的 nuPlan-R：作者称现有自动驾驶评测框架主要依赖预定义定量指标，本文则在确定性指标之上做能力导向解释。
• 基线方法：Strive 用图变分自编码器学习交通运动先验，再在潜空间做对抗优化；LD-scene 用 LLM 生成的引导把扩散模型推向对抗交互。作者称二者主要优化碰撞结果，而不是建模真实事故如何随时间演化。数据集对照为 SimEngine（Li 等 2026）。基准/数据：自然初始场景来自 nuScenes（Caesar 等 2020，1,000 个 20 s 城市场景）；事故先验来自 SHRP2 重建轨迹与 NHTSA 类型学。

作者将 CrashSim 定位为：把稀疏、异构的真实事故先验迁到多样自然驾驶场景，以同时保持单场景的时间演化和场景集的事故类型分布，并用 LLM 辅助分析支持可解释评测。

CrashSim 从自然驾驶场景出发，用 VLM 选定可能发展成安全关键交互的车辆与行为，分层检索真实事故先验，再把先验改写成当前场景的锚点，引导扩散模型生成周围车辆轨迹；闭环评测另由 LLM 智能体做能力诊断（Fig. 8）。

问题设定

• 场景组成：每个场景有 N 辆车。自车由规划器 π 控制；周围车中有一辆候选对抗车，其余为非对抗交通。状态含平面位置、航向和速度。历史长度为 Thist。
• 输入与输出：当前上下文是鸟瞰图 v 和结构化场景文本 n。VLM 输出候选对抗车、潜在对抗行为和场景理解描述。检索得到事故先验后，转成锚点引导 a。潜扩散模型在地图、历史和 a 的条件下生成周围车未来轨迹。
• 两套自车轨迹：构建 nuCrash 时，自车沿对应 nuScenes 场景中记录的未来轨迹行驶，评测集在各规划器间固定。闭环评测时，记录轨迹换成规划器输出，每 0.5 s 重规划。

VLM 场景理解

• 模型与输入：场景理解智能体为 GPT-4o。它同时看鸟瞰图中的可行驶区域、车道几何、车辆位置与航向，以及描述车辆状态、相对自车空间关系和车道关系的结构化文本。
• 三步推理：先识别可行驶区域、车道布局与连通性、周围车所在车道；再结合自车相对交互推断周围车行为，并把真实事故类型统计当作先验，场景几何和已观测运动仍是主要证据；最后判断推断运动是否会与自车形成轨迹冲突或安全裕度不足，并去掉预测时域内不太可能与自车交互的候选。
• 输出用途：候选对抗车、潜在对抗行为和结构化场景描述用于构造检索查询。论文称补充材料给出了 VLM 提示词及鸟瞰图、场景文本示例。

事故先验检索与锚点

• 库如何建：库来自 SHRP2 NDS 的鸟瞰重建轨迹。保留的安全关键交互被分到由 NHTSA 类型学导出的 16 种交互模式，转到自车中心坐标，并按 0.5 s 重采样。三层结构为：模式层（语义、机动、上下文）、事件层（事件描述与事件级运动）、样本层。样本为 8 s 窗口，前 2 s 为已观测运动，后 6 s 目标车轨迹作为下游锚点，间隔 0.5 s，共 F=12。三层自然语言描述用 all-MiniLM-L6-v2 编码。
• 阶段标注：最后 6 s 的自车–目标车轨迹用规则标注行为阶段。运动学冲突定义为 R_j(τ,γ,α)=(TTC_j≤τ)∨(c_j≥γ)∨(d_j≤α d₀)，即相对距离、接近速度或 TTC 达到阈值。风险觉察、紧急响应和碰撞的起始时刻再由该条件、纵向加速度阈值和有向包围盒最小间距确定；没有合格的碰撞前时刻则记为未定义。阈值数值见补充材料，正文未给出。
• 三级检索：先匹配语义相容的交互类，再按交互特征与运动一致性给事件排序，最后匹配时间运动模式。文本与带符号运动向量用余弦相似度，后者线性缩放到 [0, 1] 后融合。样本综合分超过阈值 δ 才保留先验，否则不向生成器传递事故锚点。正文未给 δ。
• 锚点重建：接受的先验含 6 s 差分运动（距离增量与航向变化），不直接拷贝源事故的绝对轨迹，而是从候选对抗车当前状态用中点积分重建。同时带回风险觉察、紧急响应和碰撞的阶段时刻。

扩散生成与引导

• 生成器：场景条件潜扩散模型生成周围车未来轨迹。编码器、解码器用交互感知图结构；去噪网络是由残差时间块和线性注意力组成的时间 U-Net。模型在 nuScenes 训练集上用标准噪声预测目标训练，推理从高斯噪声经 DDIM 逐步去噪。解码器加入自回归运动预测和运动学自行车模型传播。架构与训练细节在补充材料。
• 引导时机与损失：在最后若干反向步，按 clean-guidance 把预测的干净潜变量解到轨迹空间，计算可微引导损失，再按该损失对噪声预测做梯度修正。步数和引导尺度 s 正文未给。五项损失为 J=w_anchorJ_anchor+w_stageJ_stage+w_collJ_coll+w_realJ_real+w_routeJ_route，即锚点、阶段一致性、安全关键交互、轨迹真实性与路线一致性的加权和。权重正文未给。
• 各项做什么：锚点项把检索锚点的位置进程、纵向加速度和航向变化转到候选对抗车，位置用 smooth-L1；进入可行驶区域之后的锚点路外段不纳入监督。阶段项对齐三个阶段起始时刻，并惩罚缩短紧急响应到碰撞的间隔、以及打乱风险觉察–紧急响应–碰撞顺序；时刻由上述准则的可微软版本得到，并按时域归一化。碰撞项促使对抗车与自车形成安全关键交互，路线项鼓励与参考运动模式一致的路线，真实性项惩罚路外运动和非预期碰撞。
• 梯度掩码与筛选：五项梯度都加到对抗车；其他周围车只加真实性项；自车轨迹不加梯度。每个场景–锚点对采样多个潜变量实现，在惩罚物理可行性违反后保留引导分最低者。采样次数正文未给。

LLM 辅助评测

• 证据：每个规划器在 nuScenes 与 nuCrash 上用同一闭环协议滚动，指标覆盖安全、响应时机、纵向与横向控制、舒适与稳定性、机动效率。指标定义在补充材料。
• 智能体：评测智能体同样是 GPT-4o。它按数据集联合解释指标、失败模式和场景上下文，得到六个能力维：风险预见、交互推理、纵向响应、横向响应、舒适与稳定性、机动效率。再对照两个数据集，区分自然驾驶中已有的局限，以及在安全关键交互中被放大或新暴露的局限，并写成改进与后续验证方向。作者称它不是定量评估的替代，而是结构化仿真证据上的分析层。

实验设置

• 自然场景：nuScenes，1,000 个城市驾驶场景，各 20 s；抽取自车、周围交通参与者轨迹和道路上下文。
• 先验与对照：SHRP2 NDS 重建轨迹用于碰撞前演化与车辆动态；NHTSA 预碰撞类型学提供类型分布。生成对照为 Strive 与 LD-scene；数据集对照还包括 SimEngine。
• nuCrash：由 CrashSim 从 nuScenes 初始场景构建，逾 4,000 个碰撞与近碰撞，含纵向与横向交互。构建时自车沿记录未来轨迹行驶，评测集在规划器间固定。
• 真实性指标：四阶段时间构成，风险觉察与紧急响应的时间演化，临撞前纵向加速度，反应时间、响应时间、制动强度；碰撞冲击位置；对抗车与其他非自车离开可行驶区域的比例。场景集用 16 类细粒度类型和 5 类高层冲突比较，TV 用于五类高层，JSD 用于十六类细粒度。另报 crash rate 与 near-crash rate；正文未给二者判定阈值。
• 规划器与协议：Lane-graph planner、PDM-closed planner、IL planner、IL-Multi planner、Diffusion planner。闭环中每次用 2 s（4 步）历史预测 6 s（12 步），每 0.5 s 重规划。两数据集协议相同。
• 模型与未报告项：场景理解与评测智能体均为 GPT-4o；检索编码用 all-MiniLM-L6-v2。论文未报告重复次数，也未报告 LLM 判断与人工的一致性。

主结果

正文未给出各规划器在 Collision Rate、Near-crash Rate、Impact Speed、Peak Jerk、Route Progress 上的原始数值。Fig. 5a 只在每个指标内做归一化以便视觉比较，因此下表不单列规划器，只列 Fig. 5b 写出的汇总。

| 数据集 | 归一化表现区间 | 规划器间方差 | | nuScenes | 0.08 | 0.001 | | nuCrash | 0.58 | 0.065 |

据 Fig. 5b，对象为上述五个规划器的汇总，不是单个规划器分数。

• 作者对分离的解读：作者称 nuCrash 上差异更明显，增大的分离对应安全关键交互下各自的弱点，而不是均匀退化；学习式规划器主要是碰撞严重度上升，规则式规划器在运动稳定性或路线完成上退化更明显。
• 能力诊断：Fig. 5c 把定量证据写成六维能力评估。作者举例称 IL 舒适与稳定性强，但风险预见有关键局限，并称这与 Fig. 5a 中 IL 的 peak jerk 较低、nuCrash 上 crash rate 升高相一致；该 crash rate 正文未给数值。Fig. 6 中，IL 在 nuCrash 上的主要退化是风险预见变弱、响应延迟或缺失，尤其出现在前车减速触发的追尾；作者称可能机制是学习式规划器对长尾碰撞模式暴露不足，建议加强响应时间监督并增加前车减速冲突的训练覆盖。Lane-graph 的长尾退化以不稳定规避和过大 jerk 为主，建议做轨迹平滑和稳定性约束。机制句用的是 may。
• 与定量证据的对齐：作者称 Fig. 5d 的能力判断与定量证据高度一致；Fig. 5e 的证据充分性和诊断深度总体较高，场景特异性在规划器之间有差异。两图纵轴为 Rate (%)，正文未给出具体百分比。

碰撞过程与行为

• 测了什么：把真实事故与 CrashSim、LD-scene、Strive 比四阶段时间构成、临撞前风险觉察和紧急响应、最后 4 s 纵向加速度，以及反应时间、响应时间和紧急响应阶段制动强度（Fig. 2a–d）。
• 结果：作者称 CrashSim 保留完整四阶段，并更接近真实阶段比例，且能恢复从风险感知到紧急动作的渐变；LD-scene 与 Strive 长时间停在风险觉察，临撞前紧急响应很少。作者称真实事故临撞前纵向加速度越来越负，CrashSim 复现这一减速趋势，两基线在与自车冲突前仍以正加速度为主。反应时间、响应时间和制动强度上，作者称 CrashSim 与真实分布总体更接近。这些分布的具体数值正文未给。
• 碰撞几何：作者称 Fig. 2e 中 CrashSim 的冲击位置与真实统计高度一致，尤其复现 ego-at-fault 碰撞中正面冲击占优。Fig. 2f 中，作者称对抗车和周围车在碰撞前接触路缘的比例明显低于对照。百分比正文未给。

类型分布与 nuCrash

• 生成集合：Fig. 3a 比较 16 类细粒度事故比例。作者称 CrashSim 与真实数据对齐较好，LD-scene 与 Strive 在多个类别上偏离。作者解释 Vehicle Changing Lanes 比例相对较高，是因为潜在冲突识别主要依据当前场景，而 nuScenes 邻道交互较多；真实类型分布只是推理时的辅助先验。Fig. 3b 为五类高层冲突。Fig. 3c 中作者称 CrashSim 的 TV 与 JSD 最小；该图数值正文未给。
• nuCrash 与 SimEngine：Fig. 4a 中作者称 nuCrash 的 crash rate 在 nuScenes、nuCrash、SimEngine 中最高，且碰撞与近碰撞构成更均衡；nuScenes 危险交互少，SimEngine 以近碰撞为主、实际碰撞较少。具体比率正文未给。
• 行为与分布：作者称 Fig. 4b 中 nuCrash 的紧急响应时间演化贴近真实事故，SimEngine 明显不同；Fig. 4c 中 nuCrash 复现纵向、换道、交叉口、对向和其他冲突的高层分布，SimEngine 过度代表换道并低估若干其他类别。Fig. 4d 中作者称 nuCrash 到真实分布的 TV 与 JSD 都小于 SimEngine，数值正文未给。

消融

• 去掉事故先验检索：Fig. 7a 中紧急响应阶段占比从 22% 降到 12%，与真实值 32% 的差距增大。Fig. 7b 中，作者称无检索时风险觉察更晚，紧急响应持续偏弱；加入检索后风险识别更早，临撞前紧急响应逐渐增强。
• 去掉 VLM：Fig. 7c 中 TV 从 0.093 升到 0.281，JSD 从 0.078 升到 0.185。实验设置将 TV 定义为五类高层冲突的差异、JSD 为十六类细粒度差异；Fig. 7c 图注只写生成分布与真实分布之间的这两种距离。
• 作者解读：检索模块主要改善碰撞过程动态的真实性，VLM 主要改善事故类型分布与真实统计的对齐。

其他消融与分析

• 检索接受阈值 δ：正文只写样本分超过 δ 才保留先验，未给数值。
• 引导尺度 s 与式(8)五项权重：正文未给数值。
• 每个 scene-anchor 对的潜变量采样次数：正文只写采样多个，未给次数。
• 施加引导的反向扩散步数：正文只写最后若干步，未给步数。
• 事故检索库规模：正文只称 small-scale，未给案例数。
• Fig. 2 与 Fig. 4 的分布、比率：除 Fig. 7 的消融数字外，正文未给可回查的柱值或百分比。

作者指出的局限与后续方向

• 归因深度：LLM 评测能把表现变化与观察到的行为模式、场景条件联系起来，但对底层失败机制的归因仍然较粗（Discussion）。
• 更深归因：作者建议扩展 LLM 评测，做更深的归因分析，以更好识别规划器失败机制及其与具体场景条件的关系（Discussion）。
• 事故库与交通模型：作者建议用更广的真实事故数据库，以及对周围交通更有反应性的建模，来加强 CrashSim（Discussion）。
• 用于训练：作者建议探索把 nuCrash 一类安全关键数据用作训练资源，以提高规划器对罕见事件的鲁棒性，并特别关注纳入这些场景时不降低自然驾驶条件下的表现（Discussion）。

实验覆盖范围

• 场景来源：自然初始场景为 nuScenes 的 1,000 个城市驾驶场景，每个 20 s（Experimental setup）。
• 对照：生成方法对照为 Strive 与 LD-scene；数据集对照为 nuScenes、nuCrash 与 SimEngine（Experimental setup，Fig. 3、Fig. 4）。
• 分布比较：覆盖 16 类细粒度事故类型和 5 类高层冲突，差异用 TV 与 JSD 量化（Experimental setup，Fig. 3）。
• 规划器评测：闭环评测 Lane-graph、PDM-closed、IL、IL-Multi、Diffusion planner 共 5 个；历史 2 s（4 步）、未来 6 s（12 步）、每 0.5 s 重规划（Experimental setup，Fig. 5）。
• 消融与未写明的量：消融为去掉事故先验检索、去掉 VLM 场景理解智能体（Fig. 7）。论文未报告检索阈值 δ、引导尺度、引导权重、潜变量采样次数、重复次数和检索库案例数；Fig. 5a 的分规划器原始指标也未在正文给出。

CrashSim 用检索到的真实事故先验引导扩散式多车仿真，为自动驾驶安全评测生成碰撞与近碰撞场景。

• 问题：真实碰撞很少，路测成本高。作者认为已有仿真能提高碰撞发生，却较少建模碰撞前的意图形成、风险觉察、紧急响应和碰撞结果，生成集合的事故类型构成也容易偏离真实世界。
• 做法：GPT-4o 读取鸟瞰图和场景文本，选出可能的对抗车与行为；系统再按交互类型、事件上下文和时间运动，从 SHRP2 重建轨迹库中检索先验，把相对运动和阶段时刻改写到当前几何，而不是拷贝绝对轨迹。锚点在扩散去噪后期约束对抗车，其他周围车只受真实性项约束。nuCrash 构建时自车走记录轨迹；评测时换成规划器，每 0.5 s 重规划。另一个 GPT-4o 智能体对照 nuScenes 与 nuCrash，沿六个能力维做诊断。
• 过程与分布：作者称相对 Strive 和 LD-scene，CrashSim 更接近真实的阶段进程、临撞减速、响应时机、冲击位置和路外比例（Fig. 2）；除消融外，这些图的具体数值正文未给。作者称 Fig. 3c 中其 TV 与 JSD 最小。Fig. 7c 报告完整框架 TV 为 0.093、JSD 为 0.078；去掉 VLM 后为 0.281 与 0.185。去掉先验检索后，紧急响应阶段占比从 22% 到 12%，真实值为 32%（Fig. 7a）。
• 数据集与规划器：nuCrash 逾 4,000 个场景。作者称其 crash rate 高于 nuScenes 和 SimEngine，且紧急响应演化与高层类型分布更接近真实事故（Fig. 4），比率本身正文未给。五个规划器的归一化表现区间从 nuScenes 的 0.08 到 nuCrash 的 0.58，规划器间方差从 0.001 到 0.065（Fig. 5b）。作者称这对应各自弱点，而不是均匀变差。
• 作者的结论：稀疏真实事故先验可以迁到自然驾驶场景，以提高安全关键场景在单场景过程和场景集分布上的真实性；LLM 分析可以把确定性指标转成能力评估和改进方向。作者同时指出，当前对失败机制的归因仍然较粗。