ControlPed 生成逼真行人危险动作场景，七款端到端驾驶模型 HDScore 从 88.8 降至 47.4

端到端驾驶缺少可直接输入的、行为可控的车–行人冲突观测。

• 场景：作者称高风险车–行人交互在真实日志中稀少，而端到端模型把原始观测直接映射为未来轨迹，评测需要传感器级场景。
• 现有不足：论文称对抗轨迹法常不自然，学习法受数据稀缺限制，二者都不能渲染多视角视频；视频法有传感器级画面，但缺少行为可控性。
• 核心观察：作者认为应分层分解：轨迹控制宏观碰撞路径，关节动力学管微观动作，照片级渲染提供传感器输入。
• 本文做法：构建 HazardPed（10,352 段交通视频，422 条冲突轨迹、高精地图、857 条标注三维人体动作），并提出三阶段框架 ControlPed，用于生成场景并评测端到端模型。

安全关键场景生成

• 轨迹法：Adv-BMT（Liu 等，2026）、CounterScene（Jing 等，2026）做行为扰动，CCDiff（Lin 等，2025）用交通先验。论文称其二维俯视图丢掉视觉端到端所需的行人动态，且不能渲染多视角视频。
• 视频法：SafeGen（Liu 等，2026）与 Fu 等（2025）用资产插入或姿态引导编辑提供传感器级画面。论文称缺少细粒度轨迹或人体控制：资产插入难约束终点碰撞，二维姿态编辑缺少度量接地，控不住真实车–人距离。

人体动作与数据

• 文本扩散：MDM（Tevet 等，2022）、StableMoFusion（Huang 等，2024）由语言生成动作。论文称缺少指定坐标动态的空间接地。
• 空间控制：CondMDI（Cohan 等，2024）、OmniControl（Xie 等，2024）、PriorMDM（Shafir 等，2024）加入轨迹或稀疏关节约束。论文称适用性仍受训练数据限制。
• 日常基准：论文称基于 AMASS、HumanML3D、BABEL 的基准几乎只覆盖日常活动（Zhu 等，2023），急躲、冻结等冲突动态很少。

重建与驾驶评测

• 3DGS：DrivingGaussian（Zhou 等，2024）、OmniRe（Chen 等，2025）把驾驶日志建成可渲染场景。论文称前景与背景解开后，运动体可独立控制。
• 化身与范式：GART（Lei 等，2024）用姿态驱动化身，行人不必回放日志。论文称被动日志的开环测试缺反应性，仿真器有 pronounced 的 sim-to-real gap；HUGSim（Zhou 等，2025）在渲染真实场景上评测，但仍缺关键行人危险。

基线与数据

• 轨迹基线：Adv-BMT、CCDiff、CounterScene；评测用 nuScenes 验证集的 92 个车–行人冲突。
• 动作基线：MDM、CondMDI、StableMoFusion、PriorMDM、OmniControl，在 HazardPed 相同划分上重训；评测 857 条、34 类。
• 驾驶模型：UniAD、VAD、SparseDrive、SSR、LAW、DiffusionDrive、LTF；88 个 OmniRe 渲染场景，指标取自 HUGSim，按开环评测。

作者把本文放在上述缺口上：分层约束宏观轨迹、微观动作和传感器画面，并把可控危险行人注入照片级重建场景。

ControlPed 分轨迹生成、动作合成、照片级渲染三步，前两步用 HazardPed 训练。

数据构建

• 视频到轨迹：收集 10,352 段 YouTube 与公开数据视频，按 PedGen 做二维跟踪、相机位姿和 SMPL 拟合，后处理留 3,497 段。YOLO11 与 BoT-SORT 提取轨迹；静态 CCTV 用平均身高标定单应，行车记录用 UniDepthV2 与 DROID-SLAM；Mask2Former 提道路语义。得到 422 个场景、566 对车–行人冲突，并对齐高精地图。
• 动作标注：人工核验后留 1,473 段。词表沿用 BABEL。动作渲染成视频后，由 Claude 写初始文本和类别，再用逐帧运动学信号定时间边界，最后人工复核，得到 586 段导航动作和 271 段危险反应。样本为动作序列、类别和自然语言。作者称出于隐私只发布处理后的轨迹、地图和动作，不含原始视频。

危险轨迹生成

在行人坐标系中，由历史轨迹 o、周围车辆 V、其他行人 P、局部地图 M、来源指示 b 和单位目标朝向 g 采样未来轨迹

s ∼ p(s ∣ o, V, P, M, b, g)

b 区分场景来自 nuScenes 还是 HazardPed。

• 条件扩散：K 步加噪，一维 U-Net 预测噪声。V、P 用时序卷积和掩码均值池化，M 用步长卷积和全局平均池化，o、b、g 用 MLP，拼成 c_s，经 FiLM 调制。损失为噪声均方误差。训练时随机把 g 和 M 换成可学习空嵌入，以做分类器无关引导。K 的数值论文未给。
• 增广与两阶段：未来轨迹按偏转角逐步弯折，历史、周围体和地图不变，以覆盖指向来车的 g。阶段一用 nuScenes 的 700 个场景；阶段二在增广冲突数据上微调。网络与损失相同，只改数据和学习率；学习率数值未给。作者称阶段一缺少 g 指向车辆的冲突。
• 冲突控制器：按可达性筛车–人配对。在速度可行的拦截帧上，用朝向差与速度差做代价，softmax 采样得到冲突时刻；目标间隙抽自不超过 0 的均匀分布，0 为擦碰，更负表示更深碰撞。每 0.4 秒重规划，并用时间惩罚把冲突锚在目标时刻。候选轨迹再按行人速度、可行驶区域和周围车辆威胁过滤。控制器只通过 g 接入扩散网络。

轨迹条件下的动作

把二维轨迹提升为对齐的全身动作。每帧 135 维，含根平移、6D 根朝向和 21 个关节的 6D 旋转。轨迹写入前两通道并全程夹紧，网络补其余 133 维。条件为类别 a 与文本 y。

路径朝向由轨迹差分平滑得到，网络只预测相对路径的残差朝向，再合成绝对朝向

R_res = R_z(−ψ_τ) R_full

• 网络：八层 pre-LN Transformer，隐层 512、8 头。条件为扩散时间、冻结 CLIP 文本嵌入与类别嵌入之和，用 adaLN-Zero 调制每个子层。
• 损失与推理：损失含 133 个未夹紧通道的重建、根高度与脊柱朝向加权，以及正运动学下的关节位置、帧间速度和触地滑步。权重未给。推理从高斯噪声开始，根水平通道夹到参考轨迹；y 与 a 联合丢弃以做分类器无关引导。长序列用滑动窗口和历史帧前缀。导航文本按轨迹曲率分段指定，冲突点拼接危险类别中采样的反应动作，接缝做线性混合。

注入与渲染

用 OmniRe 重建 88 个 nuScenes 案例，行人节点为可驱动高斯人体化身。生成动作变到世界坐标。根高度与重建地面不共享基准，故用行人下方激光雷达估计地面高程，减去姿态网格最低点相对根的竖直偏移，逐帧修正根高。背景、车辆与行人高斯汇合后光栅化成多视角视频。

实验设置

• 轨迹：nuScenes 验证集 92 个车–行人冲突，对比 Adv-BMT、CCDiff、CounterScene。FD 计局部路径与速度剖面的 Fréchet 距离。CR 为最小间距 ≤ 0 的比例；HBR 的自车由智能驾驶员模型控制，减速度超过 3.0 m/s² 记一次。危险子集为间距 < 1.0 m，其上报告 Cov、Mdiv（两两 DTW）和 Span。车辆按矩形、行人按半径圆盘计距；半径未给。阶段一训练用 700 个 nuScenes 场景，论文未说明与这 92 个是否相交。
• 动作：HazardPed 的 857 条、34 类。MDM、CondMDI、StableMoFusion、PriorMDM、OmniControl 在相同划分上重训。评审器在 BABEL 上训练，论文未给出其模型名。指标为 FID、MM-Dist、R@3、MPHE、HED、ΔCSR。
• 端到端：七个模型均用官方预训练权重，开环、不微调。UniAD、VAD 为稠密 BEV；SparseDrive、SSR 为稀疏 query；LAW 含隐式世界模型；DiffusionDrive 为扩散策略；LTF 为纯视觉基线。场景为经人工检查的 88 个 OmniRe 多视角视频。指标取自 HUGSim：NC、DAC、TTC、COM、RC 与综合 HDScore。RC 在首次于 0.5 s 内发生碰撞的关键帧截断。论文未报告重复次数。

主结果

据 Table V。左为重建原场景，右为安全关键场景。表中 DiffDrive 即正文 DiffusionDrive。COM 未列入下表。

Swipe horizontally to read the table

模型	HDScore 原/关键	RC 原/关键	NC 原/关键	TTC 原/关键	DAC 原/关键
DiffusionDrive	94.6/51.9	99.0/62.8	99.0/86.2	94.8/84.9	99.9/99.8
SSR	95.1/51.1	100.0/62.7	98.6/84.6	94.4/84.0	99.6/99.6
VAD	92.7/50.8	99.6/63.7	97.6/84.3	92.1/83.4	99.4/99.1
LAW	92.8/49.7	100.0/62.8	97.7/84.2	92.6/82.5	98.7/98.4
LTF	90.0/47.7	98.8/60.7	96.7/84.4	93.9/83.7	99.0/98.9
UniAD	62.4/30.2	80.7/47.2	90.1/79.2	79.9/72.6	90.8/90.7
SparseDrive	94.3/50.6	100.0/62.2	98.5/85.2	93.8/83.6	99.3/99.2

• 平均变化：Table V 的七模型平均下降为 HDScore −41.4、RC −36.6、NC −12.9、TTC −9.5、DAC −0.2、COM −0.4。摘要写平均 HDScore 从 88.8 到 47.4。
• 作者解读：作者称退化随指标而异，DAC 基本不受影响，下降主要由 RC、NC、TTC 拉动。作者称模型并未失去道路结构约束，而是未能处理关键交互，碰撞使路线提前终止。
• 例外：Table V 中 DiffusionDrive、VAD、LAW、SparseDrive 的 COM 右侧不低于左侧，作者未逐模型解释。作者称 Figure 7 中行人在环视相机上保持多视角时间一致；图注写的是多视角空间一致。图中数值文本未列出。

轨迹生成对比

• 设置与数字：Table I，92 个 nuScenes 验证冲突。ControlPed 为 FD 15.50、CR 0.304、HBR 0.735、Cov 0.793、Mdiv 0.74、Span 0.489。正文把 FD 写作 15.5。
• 对照：Adv-BMT 的 CR 0.750 与 Mdiv 12.35 被标为数值极端但退化，Span 为 0.000、FD 为 202.7、HBR 为 0.293。CCDiff 为 FD 63.77、CR 0.104、HBR 0.281、Cov 0.337、Span 0.164；CounterScene 为 FD 47.92、CR 0.113、HBR 0.280、Cov 0.304、Span 0.131。
• 作者解读：作者称 Adv-BMT 不能生成近失；CCDiff 与 CounterScene 更保守。讨论 Figure 5 时，作者称后两者分别停在 8.9 m 与 8.8 m 的安全间隙，ControlPed 则收到可空间接触的危险走廊。作者用 HBR 高于 CR 说明可在不碰撞时迫使自车急刹。

动作生成对比

• 数字：Table III。ControlPed 为 FID 0.517、R@3 0.317、MM-Dist 5.530、ΔCSR +0.054、MPHE 6.810、HED 0.270。Real 行为 FID 0.275、R@3 0.367、MM-Dist 4.980。PriorMDM 的 R@3 0.389、MM-Dist 4.760、ΔCSR +0.421；MDM 的 R@3 0.382、MM-Dist 4.920、ΔCSR +0.356。CondMDI 的 FID 2.310、MPHE 15.600，为该表这两项的最大者。OmniControl 为 FID 1.145、MPHE 6.010、ΔCSR −0.019、HED 0.680。
• 作者解读：作者称 ControlPed 的分布真实感与朝向对齐更好，并称 OmniControl 在 MPHE 与 ΔCSR 上与之相当。表中 OmniControl 的 MPHE 为 6.010，ControlPed 为 6.810；ΔCSR 为 −0.019 对 +0.054。作者称 PriorMDM 与 MDM 的检索分来自刻板原型，极端 ΔCSR 对应 mode collapse。讨论 Figure 6 时，作者称 MDM 朝向错位、CondMDI 下蹲时仍直立、StableMoFusion 滑步、PriorMDM 转身时停住、OmniControl 抖动。

其他消融与分析

• 去掉目标朝向 g（Table II）：CR 0.304→0.044，Span 0.489→0.260，FD 15.50→27.67；作者称 CR 相对降 85.5%，Span 相对收窄 46.8%。
• 去掉阶段二：HBR 0.735→0.282，FD 15.50→22.04，Cov 0.793→0.696。
• 两者都去：FD 37.70、CR 0.031、HBR 0.131、Cov 0.326，为该表最低一档。
• 去掉 adaLN（Table IV）：FID 0.517→1.179，MPHE 由 6.81 cm 到 9.08 cm。
• 去掉残差朝向：HED 由 0.27° 到 2.28°；去掉几何损失时 ΔCSR 为 +0.356。
• 去掉类别嵌入：R@3 0.376、MM-Dist 4.640，优于完整模型的 0.317 与 5.530，但 FID 1.260、ΔCSR +0.607 为该表这两项最差；作者称这是原型 mode collapse。

作者指出的局限与后续方向

• 开环：第 VI 节写明 ControlPed 目前在开环设置下运行，并把扩展到闭环交互仿真称为后续研究方向。
• 论文没有单独的 Limitations 节，除此之外未再列出局限或后续实验。

实验覆盖范围

• 轨迹：nuScenes 验证集 92 个车–行人冲突；基线为 Adv-BMT、CCDiff、CounterScene；HBR 的自车是智能驾驶员模型，阈值 3.0 m/s²（第 V 节、Table I）。阶段一用 700 个 nuScenes 场景，论文未说明与这 92 个是否相交。
• 动作：HazardPed 857 条、34 类；五个基线在相同划分上重训；评审器在 BABEL 上训练。论文未给出该评审器名称，也未报告与人工的一致性（Table III）。
• 端到端：DiffusionDrive、SSR、VAD、LAW、LTF、UniAD、SparseDrive 共 7 个，官方预训练权重、开环、不微调；88 个人工检查的 OmniRe 场景；RC 为 0.5 s 内碰撞即截断的开环代理（Table V）。
• 消融：轨迹侧为去掉目标朝向与阶段二微调（Table II）；动作侧为去掉 adaLN-Zero、残差朝向、几何损失与类别嵌入（Table IV）。
• 未写明的量：论文未报告重复次数、扩散步数、预测时域、学习率、损失权重和行人圆盘半径；也未报告动作人工复核的人数。

ControlPed 用真实冲突数据生成可控制的照片级车–行人危险场景，用来做端到端驾驶安全评测。

• 问题：高风险车–人交互在真实日志中少，端到端模型又直接吃原始观测。轨迹生成器没有多视角画面，视频编辑难同时控制宏观轨迹和微观动作。
• 数据：HazardPed 来自 10,352 段视频，含 422 个冲突场景、566 对车–人、高精地图，以及 586 段导航动作和 271 段危险反应动作。
• 方法：条件扩散加冲突控制器生成轨迹；文本与类别条件下的动作扩散把轨迹夹进根的水平通道，并只预测相对路径的残差朝向；可动高斯化身注入 OmniRe 重建场景，修正根高后渲染多视角视频。
• 生成质量：92 个 nuScenes 验证冲突上，ControlPed 的 FD 为 15.50、HBR 为 0.735、CR 为 0.304（Table I）。Adv-BMT 的 CR 0.750 被标为数值极端但退化。HazardPed 动作集上 FID 为 0.517、HED 为 0.270（Table III），R@3 不是该表最高。
• 驾驶评测：88 个渲染关键场景上，七个模型用官方权重开环评测，平均 HDScore 从 88.8 降到 47.4。Table V 的平均下降为 HDScore −41.4、RC −36.6、NC −12.9、DAC −0.2。作者认为模型仍遵守可行驶区域，但未能处理危险行人交互，碰撞会提前结束路线。
• 定位：作者把该基准视为部署前供第三方与监管机构使用的评测手段，并指出当前是开环，闭环交互仿真留作后续。摘要写将发布数据集与测试基准；第 III 节称数据集已可获取。