SceneFactory-3D: Elevating 2D traffic scenes to 3D physical counterfactuals for safety evaluation

可扩展驾驶仿真用规定的行为或运动学规则执行车辆指令，忽略轮胎–路面物理，因此难以评估不利路况如何改变执行并沿交通传播。

• 场景：作者以冬季临时车道封闭为例：合并路径在低摩擦下几何上仍可行，但能否刹车、完成合并取决于轮胎–路面，一辆车失败还可能改变其后每辆车。作者认为，没有这层物理时，仿真可能高估安全与效率。
• 现有缺口：行为或运动学规则把控制执行与路面物理脱开；平面摩擦圆不显式表示三维几何与重力如何改变各轮法向力。前作 SceneFactory 仅有平坦道路和每世界一个摩擦系数，且其两个策略同时改变了湿路训练和上下文输入。
• 要分开的因素：作者要求同一场景、初态、路线和控制器群体下，并行世界只改路况，从而控制条件相对机动的位置、控制器是否观察到该条件，以及单车效应如何在交互交通中传播。
• 本文提出：提出 GPU 批处理、物理接地的多智能体仿真器 SceneFactory-3D，在每个轮–路接触点用悬架与摩擦受限的力执行指令，并用每世界高度场跑匹配反事实。实证覆盖 21 种摩擦和坡度，比较学习策略与经典规划器。

执行律：行为、运动学与平面动力学

• SUMO（Lopez et al., 2018）用跟车和换道行为模型移动车辆；IDM 研究（Treiber et al., 2000）用修改后的驾驶员参数表示上坡等道路不均匀。
• Waymax（Gulino et al., 2023）用运动学自行车或位置增量，GPUDrive（Kazemkhani et al., 2025）默认运动学自行车。作者称二者都没有轮胎力或摩擦上限。
• CommonRoad（Althoff et al., 2017）提供质点、运动学与动力学单轨及多体模型，并用摩擦圆检查轨迹。作者称，区别在于规定对路面的行为响应，还是用显式力和接触计算执行。

物理引擎环境与交通安排

• CARLA（Dosovitskiy et al., 2017）用游戏引擎车辆物理，有局部摩擦触发器，以及默认关闭、会传送远处背景车的混合模式。SUMMIT、SMARTS、MetaDrive 以不同方式组合受关注车辆与背景交通。
• Chrono::Vehicle 有详细子系统、多种轮胎模型和可变形地形；SynChrono 把交互智能体分布到计算节点。作者称该架构不同于在一个加速器进程中批处理多个世界。
• Figure 1A 与 Appendix A 用六个序数轴记录作者能核实的能力。作者称图中 SceneFactory-3D 在并行世界、交互交通、基于力的执行、空间路面物理和匹配干预上是唯一处于最高档的系统，Chrono 的车辆与地形细节更高。Appendix A 写明这是建模选择，不是测量排名。

接近本文动机的系统与学习工具

• SceneFactory（Zhu et al., 2026）在压平的 Waymo 道路上批处理 PhysX 铰接车辆，把天气映射为每世界一个摩擦系数，并比较有无天气上下文的策略。作者称其局限是平坦几何和空间均匀摩擦，且两个策略同时改变了湿路训练与上下文。
• µSync-GS（Chen et al., 2026）把摩擦和路高编辑耦合到半车、Burckhardt 轮胎曲线的单车响应以合成视频，无交通交互。MultiDrive（Kaufeld et al., 2025）在 BeamNG.tech 中联合仿真 CommonRoad，并报告规划意图与执行的差异；ScenarioNet（Li et al., 2023a）把真实日志转为交互场景。
• 动力学随机化（Peng et al., 2018）、把物理参数作为给定或推断的上下文（Yu et al., 2017; Kumar et al., 2021; Li et al., 2023c）、情境强化学习（Benjamins et al., 2023; Martinez et al., 2026）以及摩擦预览的模型预测跟踪（Gao et al., 2022）是已有工具。nuPlan（Caesar et al., 2021）按决策产生的交通结果评测规划器。

基线与评测任务

• 实验基线为 IDM-17（IDM 纵向律加 Stanley 路线跟踪）和 PDM-Closed-17（改编自 Dauner et al., 2023 的 PDM-Closed）。二者与三族学习策略一起，在自建封闭任务和 21 种物理条件的匹配世界上评测（Section 5）。

作者称 SceneFactory-3D 继承 SceneFactory 的 GPU 批处理与 Isaac Lab 设计，并替换车辆、道路和评测层（Appendix Table 3）。作者把本文定位为：物理干预可被编写、匹配，并在许多交互车辆和学习控制器上重复；学习臂把地形多样化训练与显式地形预览分开。作者把 nuPlan 描述为评测决策的交通结果，而本文实验固定场景和控制器群体、改变物理世界。

整体上，SceneFactory-3D 把场景、控制器和路面物理拆开：规范路线提供同一几何参考，轮端力让路面进入动力学，每世界地形所有权避免配对世界混用，GPU 批处理使组合评测能在一块加速器上跑完。

问题设定与物理对比

• 场景 q 含平面道路、每车路线、车型和初态（底盘位姿与速度、无滑移轮速、转向与悬架、控制器所持指令与内部状态、沿路线进度）。物理条件 p 指定高度场和摩擦斑块。基准中全部 M 辆车运行同一控制器、共享参数。
• 控制器输出纵向加速度和归一化转向，转移 Fθ,p 推进状态。p 总是进入转移；只有拿到物理输入的控制器，观测才含 p。评测中转移和控制器都确定（学习策略用动作分布均值），滚动在浮点效应之内由 (q, π, p) 决定。
• 参考条件 p0 下的物理对比为 Δ_p M(q,π)=M(τ(q,π,p))−M(τ(q,π,p₀))，即干预在仿真器内的闭环总效应。此后指令和轨迹会分叉；有物理输入时，观测变化是第二条通路。
• 作者称，对场景取平均得到配对比较；配对本身不是新的因果方法，把对比解释到真实道路还要验证模型。固定 p、更换 π 时，因为所有车一起换控制器，比较的是群体体制，不是一辆车相对固定周围交通的技能。

规范路线与执行桥

• 规范路线只从道路布局规划一次，不引用控制器：道路参考线加横向偏移。车道保持用常值偏移；合并用两端曲率为零的五次多项式 10t^3−15t^4+6t^5。按 0.5 m 弧长重采样，并检查连续性、可行驶边界、距封闭车道 1.2 m 净空，以及曲率低于 0.0139 m−1。
• 这些检查只关心路径。给定速度和摩擦下能否执行，是实验要测的。每个控制器收到路线、前方路线采样和当前交通。基于提案的规划器可在路线周围跟踪 ±1 m 横向偏移。路线偏离本身不使车辆无效。坡道上把位置投影到平面。
• 所有控制器共用一个执行桥：请求加速度 a 映射为油门 min(1, max(0, a/4.91)) 或刹车 min(1, max(0, −a/8))，其中 4.91 m/s2 为驱动力矩上限除以 Rm。请求加速度不是实现加速度，减速或转向只在路面附着允许的范围内实现。

车辆、路面与世界隔离

• 每车是自由刚体底盘、四条射线投射悬架腿和旋转车轮。Newton 积分底盘并解析刚体接触；自定义 Warp 核在每个 240 Hz 步计算悬架、轮胎、驱动、刹车、转向和阻力。实验为 60 Hz 执行，控制器可更慢决策并保持指令，正式跑不渲染。
• 轮 j 沿底盘向下找本世界路面。纵向力对滑移速度线性，刚度 kx=70000/max(|vx|, 2) N s/m；侧向力用 Cα=55000 N/rad 的反正切侧偏角。作者称这不是 Magic Formula 或刷子模型，没有力峰后的滑动下降、松弛长度，也没有除线性上界以外的载荷敏感性。
• 合力超出摩擦圆时，两分量被缩放到 |(F_x,F_y)|≤μ_vehicleμ_surface(c_j)F_z,j，µvehicle=1.05。滚动阻力共享同一预算。摩擦斑块为圆盘或旋转矩形，后写的优先。高度改变接触几何和重力沿路面的分量。作者称条件参数不是天气模型。
• 碰撞只在世界内解析。轮射线、路线与预瞄、底盘碰撞几何都解析该世界被分配的地形；同一变体共享几何。地形在构建时固定，部分重置只恢复该世界动态状态。匹配检查要求配对运行只在声明的干预轴上不同，且只在初始化时建立。Appendix C 用无控制器探针核对条件是否到达轮接触。

控制器如何分开两个因素

• 五套体制都驾驶世界内全部 12 辆车。IDM-17 对路线相对前车用 IDM，横向用 Stanley，期望速度 17 m/s，决策 60 Hz。PDM-Closed-17 用已发表实现，以规范路线为中心线，横向偏移 ±1 m，自带提案评分与 LQR 跟踪，决策 10 Hz。二者的横向跟踪和决策率不同，作者称其对比不是提案搜索的消融。
• 三族学习策略共用路线条件前馈网络，PPO 训练，观测自车、路线和周围交通，网络为 256–128–64 ELU，动作为 Beta 分布，评测用均值，决策 10 Hz。Frozen L0 在名义道路上训练且无物理观测。L0-T、L1 从同一种子的 Frozen L0 检查点继续训练。
• L1 比 L0-T 多 12 维路线对齐预览：前方 0、5、10、20、30、40 m 的表面摩擦和坡度，无噪声。作者称 L0-T 须从自身运动推断路况，L1 收到特权上下文；二者都无记忆，因此都不代表基于历史的自适应控制。L1 对 L0-T 的训练是匹配的；Frozen L0 对 L0-T 还包含额外训练。
• 继续训练至多 6 车/世界，摩擦带 µsurface∈[0.2, 0.7] 或整路 [0.35, 0.8]，坡度为滚动坡而非常坡度。作者称基准因此含未见几何，以及 µsurface<0.2 的摩擦外推（Appendix D，Table 8）。

有效通过如何判定

• 车辆在首次封闭区侵入（车体中心在封闭车道且 x≥150 m）、碰撞、驶离铺装路面或环境故障前为有效，有效性不恢复。任一车离开有限路面网格或翻车，则整世界重置；第一次重置之后不计分。仍有效但未越过计数线的车，在固定分母 12 中计为删失的未通过。
• 主要结果是有效通过：前保险杠在仍有效时越过 x=170 m。严格任务成功还要求欠下的合并完成且全程有效。碰撞、驶离、侵入分开报告。作者称敏感度是相对自身参考条件的有效通过变化，不是质量排序，且须与两端的绝对通过率一起报告。

实验设置

• 任务：直线双车道，右车道在 x=150 m 封闭。12 车中 5 辆从封闭车道出发，在 50–110 m 并入，7 辆沿开放车道。回合 66 s。世界间变化包括初态、开放车道车流 2–8 m/s、是否有封闭车道前车，以及只被 IDM-17 读取的跟车预设。
• 控制器：IDM-17 与 PDM-Closed-17 的目标速度都是 17 m/s。学习策略各 4 个种子。L1 有无噪声摩擦与坡度预览，Frozen L0 与 L0-T 没有。12 车都由被评控制器以共享参数驾驶，并经过同一物理车辆模型。
• 条件：冻结注册名 ucx-conditions-1，共 21 种：参考路、八档摩擦（µsurface 从 0.70 到 0.05，斑块在封闭车道 x∈[40, 180] m）、八档坡度（+4% 到 −8%）和四种坡度–摩擦组合。40 m 前与参考路物理相同。作者把 µsurface∈{0.08, 0.05} 标为 extreme-severity 组并分开讨论。
• 样本：Tier 1 在 32 个留出世界上比较五套体制。Tier 2 在 1,024 个世界上评三族学习策略，前 32 个即 Tier 1 世界，学习策略的 Tier 1 数字是子集而非重跑。场景种子 100000–101023。每个控制器与自己在同一世界上的参考回合比较。
• 指标：有效通过要求前保险杠在仍有效时越过 x=170 m，分母恒为 12。作者称碰撞单独不够，因为早失败的车更少机会碰撞。另报 TTC 低于 1.5 s 的车辆份额。敏感度是相对自身参考的有效通过变化。
• 统计与算力：世界为重采样单位。单检查点用 2,000 次百分位 bootstrap（95%），施加于配对差。四种子用自由度 3 的 t 区间。无单元格被剔除或重跑；正文数字取每世界第一回合。正式跑在一块 NVIDIA RTX PRO 6000 Blackwell Max-Q 上。

主结果

下表据 Table 1。学习行是 1,024 世界、四种子均值（括号为种子最小、最大）。经典行是同一批世界的前 32 个。∆ 为相对各自参考路的有效通过变化。∆ grade 是该表的 most influential grade 列，表内未逐行写明是哪一档坡度。

Swipe horizontally to read the table

体制	Ref.	∆ µ=.35	∆ µ=.18	∆ µ≤.08	∆ grade
Frozen L0	.81（.28, .99）	↓.27（↓.70, ↓.01）	↓.57（↓.90, ↓.21）	↓.69（↓.93, ↓.12）	↓.05（↓.10, +.00）
L0-T	.87（.53, 1.00）	↓.12（↓.36, ↓.00）	↓.49（↓.83, ↓.07）	↓.70（↓.89, ↓.42）	↓.03（↓.13, +.00）
L1	.86（.48, 1.00）	↓.05（↓.18, ↓.00）	↓.26（↓.47, ↓.06）	↓.65（↓.93, ↓.35）	↓.06（↓.15, +.00）
IDM-17	.68	↓.01	↓.18	↓.46	↓.08
PDM-Closed-17	1.00	↓.06	↓.19	↓.47	↓.04

• 作者报告 µsurface=0.18 时每个学习检查点的降幅区间都不含 0；摘要把学习策略的降幅写成 6 至 90 个百分点，经典规划器为 18–19 个百分点。作者称家族内种子范围（0.41–0.76）大于家族均值之差，四种子 t 区间都含 0，例如 L1 为 −0.26 [−0.59, +0.06]。
• 作者称斑块只覆盖封闭车道，开放车道通过率仍从 0.82–0.88 降到 0.28–0.62；开放车道碰撞约从 1% 升到 3–6%，大部分损失是侧滑翻车触发整世界重置后的删失。12 个学习检查点中 9 个在参考路通过 0.96–1.00；三个 seed-3 检查点为 0.28–0.53，作者称因几乎每个世界都有车以 27–33 m/s 摆动翻车并删失其余车辆。
• 作者称 µsurface≤0.08 时检查点间散布从 0.90 变为 0.32，通过率变为非单调，途径是重置变少，不是封闭车道开得更好。坡度对 12 个检查点中的 7 个改变通过率至多 0.011；最大损失为 0.15（−8%，L1 seed 0），碰撞从 4.9% 升到 22.1%（Figure 5）。

交互安全与预览

• 测了什么：有效驾驶窗口内 TTC 低于 1.5 s 的车辆份额，以及 L1 相对 L0-T 是否因预览提前减速。60 Hz 子集为每单元 64 世界，并做离散时间风险分析（Table 17）。Figure 3 图注写明粗线为家族均值、细线为种子、seed 3 为虚线、阴影为 extreme 档。
• 结果：作者报告全部 12 个检查点在每个 µsurface≤0.12 上，该 TTC 份额都上升（36 个区间都不含 0），尽管每车有效驾驶约从 53 s 降到 16–25 s；按有效秒数归一后，12 个检查点在 µsurface=0.18 已上升。L0-T seed 0 在参考路上有 51% 的车低于 1.5 s，但通过 98%。µsurface≤0.12 时，1–2 s 前制动需求超过横向用胎后的剩余能力，使本车失败风险为 11 至 30 倍，TTC 仍高于 1.5 s 时为 10 至 25 倍。
• 作者解读：作者称这些是关联，不是因果效应；忽略时间会把符号反过来（不朽时间偏倚）。L1 在 µsurface=0.35–0.18 的三个种子上通过损失更小（世界区间不含 0），但主要来自 seed 0（0.18 处 +0.72，seed 1 为 +0.13，seed 2 在天花板附近接近 0），µsurface≤0.12 符号混杂，跨种子对比未分辨（Table 15）。预览没有提前应对低摩擦：斑块前 20 m 速度变化为 −0.2 至 +1.3 m/s。L1 会提前应对坡度，进入 −8% 时慢 1.0–2.4 m/s。

经典规划器与计算规模

• 经典对比：Tier 1 比较的是规划器、决策率和速度都不同的群体体制。PDM-Closed-17 在参考路通过全部车辆，µsurface=0.35 损失 0.06、0.18 损失 0.19，在 µsurface≤0.08 仍通过 0.52–0.54，作者称比任何其他体制至少高 0.13（Table 18）。IDM-17 从参考 0.68 在 0.18 损失 0.18。作者称二者在 0.18 的损失落在学习范围 −0.02 至 −0.91 之内。
• 耗时：作者称 PDM-Closed-17 在 48 个 CPU 工人上每世界环路时间 30 s，主要在规划。Appendix H 写学习策略在 64 世界为 0.42 s、在 1,024 世界生产配置为 0.032 s，并称约 72 倍对应可比批大小、961 倍对应生产学习成本。Tier 2 全部 252 个单元墙钟 12.2 h，PDM 的 Tier 1 为 5.9 h，IDM-17 为 0.25 h（Appendix B）。
• 扩展与探针：12 车世界从 64 增到 1,024，环路时间从 27.0 s 到 28.4 s，效率 0.95，log+safety 为 1.71 million vehicle-steps/s，峰值显存 Section 6 写作 8.7 GB、Table 11 为 8.67 GB。作者称尚未饱和。无控制器探针中，16 m/s 进入 140 m 斑块后全力刹车，µsurface≥0.12 能在斑块内停下，0.08 与 0.05 不能，离开速度为 7.1 与 11.0 m/s（Table 5）。作者称这是一个进入状态的停车极限，不是任务极限。

其他消融与分析

• 坡度–摩擦组合的交互对比列于 Table 16；Section 6 称与可加性无法分辨地偏离（Appendix I）。
• 批大小：同一 64 世界嵌入不同批时，µsurface=0.18 有 70–112/768 个车辆结果改变，同批重跑至多 2；参考路跨批翻转 11–28/768。作者称均值通过率不因此移动（Section 6，Table 12）。
• 速度与损失：较慢检查点损失较小，Spearman ρ=−0.83（不含 seed 3）和 −0.46（含 seed 3）；但 L1 seed 1 比 L0-T seed 1 快 3.6 m/s 且损失更小（Section 6）。
• L0-T 相对 Frozen L0：四个种子中三个损失更小，但含额外训练（Section 6，Table 15）。
• 开发集（Appendix F，Table 10）用训练族留出场景的路线成功/失败，不是封闭任务的有效通过。µsurface=0.25 路带上四种子失败率均值为 Frozen L0 0.085、L0-T 0.025、L1 0.024。
• 预览干预（Appendix G，固定检查点、不重训）：把 L1 物理通道换成名义值后，µsurface=0.35、0.25 路带和整路 0.4 上成功率下降 0.016–0.038；车道斑块上没有可分辨变化。作者称这测的是策略对输入的依赖，不是正确信息的价值。

作者指出的局限与后续方向

• 车辆方程规定斑块去掉多少刹车能力，不规定控制器群体损失多少；该损失更依赖训练种子而非体制，因此每种方法只留一个策略，就可能排出任意顺序（Section 6，Discussion and Limitations）。
• 仿真器经过验证但未标定；仿真安全指标不是实路安全的证据（Section 6）。Appendix B 写明表面系数不是独立测得的轮胎–路面系数，且未建模轮胎温度、防抱死、详细材料响应以及可变形土壤或积雪。
• 研究使用一种封闭几何、一种策略架构和无噪声预览（Section 6）。
• 四枚种子无法分辨所观察到的那种规模的家族差异（Section 6）。
• Frozen L0 与 L0-T 的对比包含额外训练（Section 6）。Section 5 写明，在等预算的名义道路继续训练可用之前，该对比测的是继续训练体制的联合效应；Appendix I 写明这一继续训练没有跑。
• 整世界重置把车辆结果耦合在一起，批的组成会扰动单条轨迹（Section 6）。

实验覆盖范围

• 被评体制为 Frozen L0、L0-T、L1（各 4 个种子）以及 IDM-17、PDM-Closed-17；物理条件为参考路、8 档摩擦、8 档坡度和 4 个组合，共 21 种（Section 5，Appendix E）。
• Tier 2 对三族学习策略使用每条件 1,024 个 12 车世界；Tier 1 对五套体制使用这些世界的前 32 个。正式、扩展和批敏感实验都在一块 NVIDIA RTX PRO 6000 Blackwell Max-Q 上完成（Section 5，Appendix B、H）。
• 学习策略是无记忆的路线条件前馈网络，评测取动作分布均值；L1 预览是沿路线采样的无噪声特权物理量。训练至多每世界 6 车，摩擦范围见 Table 8，与封闭任务的几何以及 µsurface<0.2 的数值不同（Appendix D）。
• 无控制器探针覆盖全部 21 种条件（Table 5）。Appendix F 的开发集使用训练族留出场景和路线成功/失败，Table 9 把它与最终两层基准分开。
• 不确定性分开报告：单检查点为 2,000 次世界 bootstrap，训练变异为四种子 t 区间（Appendix E）。论文写明模拟器未标定，未给出相对实车的标定误差（Section 6，Appendix B）。

SceneFactory-3D 是 GPU 批处理的多智能体驾驶仿真器，用来在场景和控制器固定时只改路面物理，并比较闭环结果。

• 问题：行为或运动学规则把指令执行与轮胎–路面脱开。作者认为这会在不利路况下高估安全与效率，因为一辆车未能按意图刹车或合并时，效应会传给后面的车。
• 做法：悬架力与摩擦圆决定请求的加速和转向能否实现；每个并行世界有自己的高度场和摩擦斑块，轮查询、观测和碰撞使用同一地形。规范路线不依赖控制器。学习臂把「在多样地形上继续训练」和「是否看到前方摩擦与坡度」分开。
• 通过率：1,024 个 12 车世界上，摩擦从 1.0 降到 0.18 时，学习策略有效通过的降幅为 0.06–0.90，摘要写作 6 至 90 个百分点。32 世界上 IDM-17 与 PDM-Closed-17 下降 0.18 与 0.19。开放车道通过率从 0.82–0.88 降到 0.28–0.62。作者称种子差异大于体制差异，四种子 t 区间含 0。
• 预览、坡度与规模：摩擦预览没有表现为斑块前减速（速度变化 −0.2 至 +1.3 m/s）；进入 −8% 坡时 L1 慢 1.0–2.4 m/s。坡度对 12 个检查点中的 7 个改变通过率至多 0.011。PDM-Closed-17 在 µsurface≤0.08 仍通过 0.52–0.54。一块 GPU 上，1,024 个 12 车世界的 log+safety 吞吐为 1.71 million vehicle-steps/s。
• 作者结论：作者称降摩擦降低了每个控制器的任务完成、增加了交互风险，并影响到未改车道上的车；所测坡度的影响相对较小。作者称，几何上有效的驾驶策略在物理条件改变时，交通结果可能差很多。