DrivingBench 发布：让视觉语言模型驾驶丰田 Corolla 绕桩

通用视觉语言模型能否不经驾驶专用训练，在真车上闭环指挥转向和速度，并把推理延迟算进任务？

• 测量缺口：作者称数字基准常在发布后数年饱和，而对人轻松的感知与物理行动仍难复现（Moravec, 1988）。经 Codex、Claude Code、Cursor 部署、且作者称很可能没有驾驶专用训练的通用 VLM，能否开真车，此前没有被这样测量。
• 与既有上车方式的差别：Talk2Drive、DriveVLM、LINGO-2 是驾驶训练模型，或叠在已有自治栈上。作者称本文里模型自己是司机，与车之间只有 openpilot 的低层执行。
• 闭环且不能撤销：控制量对智能体不熟悉，须靠反馈和上下文校准；同一次尝试里的错误不能像抓取那样重来。车在模型思考时继续执行当前指令，新指令替换正在运行的指令，延迟因此成为任务的一部分。
• DrivingBench：作者提出该基准，并称据其所知这是通用 VLM 必须开真车的首个基准。2022 Toyota Corolla 经 comma four 与修改版 openpilot，由 observe、set_motion、stop_now 看相机并下发转向与速度，在停车场固定锥桶路线上、同一对话内最多试三次。
• 作者同时要看的行为：摘要写明，工具输出格式和任务框定共同决定模型会开车还是拒绝。作者在第 8 节把获得真车控制后应如何行为、以及如何评测该行为，留作后续问题。

相关工作来自引言和 Section 2。论文没有把外部驾驶栈当作打分基线。

真车与仿真中的驾驶评测

• Talk2Drive、DriveVLM、LINGO-2：Cui et al.（2024）把口头请求变成已有驾驶栈的参数；Tian et al.（2025）微调 VLM，再由传统规划器细化轨迹；Wayve（2024）的 LINGO-2 在驾驶数据上训练并在公路上测试。作者用这三例说明：此前语言模型上真车，要么是驾驶模型，要么是自治栈上的一层。
• 开环问答与仿真闭环：Sima et al.（2024）的 DriveLM 对录制场景做开环问答。Shao et al.（2024）的 LMDrive 用驾驶训练模型在仿真中闭环；Jia et al.（2026）的 Bench2Drive-VL 在仿真闭环中测较小的通用 VLM。
• 经代码与 API 驾驶：Ma et al.（2024）的 LaMPilot 让 LLM 通过代码和 API 驾驶；Wen et al.（2024）的 DiLu 跨回合使用记忆和反思。作者称这是最接近本文协议的仿真实验，而本文协议跑在真车上。

通用多模态智能体

• EmbodiedBench：Yang et al.（2025）在仿真中评测通用多模态智能体。论文转述其结果为：高层任务显得较强，低层控制相对较弱。
• OSWorld：Xie et al.（2024）在真实软件环境中按执行结果给智能体打分。论文对此只作了这一描述。

机器人中的语言模型

• 写代码、选技能、训练动作模型：Liang et al.（2023）让语言模型写策略代码；Ichter et al.（2023）在已学技能中选择；Zitkovich et al.（2023）的 RT-2 在机器人数据上训练视觉-语言-动作模型。
• 未微调 VLM 的连续动作：Nasiriany et al.（2024）的 PIVOT 与 Menon et al.（2026）能在真机器人上输出连续动作，但机器人会等待每一次查询。作者对比：本文的车在指令仍在执行时继续移动，更接近边执行边规划后续动作的策略（Black et al., 2025）。
• 反思与 knowing-doing gap：失败后的固定反思提示词遵循 Shinn et al.（2023）。作者在第 5.4 节看到的“反思准确但控制程序未改”，此前在游戏和老虎机中有报告（Paglieri et al., 2025；Schmied et al., 2026）。

物理动作、评测意识与本文位置

• 不安全物理动作：Robey et al.（2025）、Zhang et al.（2025）的 BadRobot、Sun et al.（2026）的 RoboHarm 研究 LLM 控制的机器人被诱使执行不安全动作。论文写道：GPT-6 Astra 在 RoboHarm 中被直接要求时，100 条有害机械臂指令只拒绝了 2 条，但在本文开发中拒绝在空停车场开车，直到任务被重新框定。
• 知道自己在被评测：Needham et al.（2025）与 Laine et al.（2024）的 SAD 报告模型常表现出知道自己正在被评测。作者认为这可能部分解释任务框定和工具输出为何影响有的模型开不开车。
• 基线与定位：实验对照的是四个 model–harness 在同一条锥桶路线上的进度，不与上述驾驶栈或仿真方法比分。作者称据其所知，这是前沿模型从相机感知真车周围、并在闭环中直接指挥转向和速度的首次评测。

DrivingBench 把厂商智能体应用经 MCP 接到真车：模型看相机，直接下发转向和速度；低层力矩与速度跟踪仍由修改版 openpilot 完成。车可以在模型思考时继续执行当前指令。

硬件与三个工具

• 车辆：2022 Toyota Corolla。挡风玻璃上的 comma four 经 OBD-C 接 CAN，可发转向、加速和刹车。前向与广角相机给出 1344×760 图像。评测笔记本与 comma 连同一手机热点（Figure 2）。
• observe / set_motion / stop_now：observe 返回窄角与广角帧、速度、转向和当前指令剩余时间。set_motion 的控制参数是 direction（left、right 或 straight）、steering_percent（0–100；100% 对应作者设定的 180° 方向盘转角）、speed_mps（作者设为 0.5–3.5 m/s）和 duration_s（5–60 s，到期开始刹车）。reason 只作记录，不改变车辆行为。stop_now 立即刹车，不结束会话。
• 低层与速度上限：控制器把指令译成方向盘转角，openpilot 再变成曲率目标和有界力矩，另一回路跟踪请求速度。超过共享速度上限的请求被拒绝。伦理声明写明：指令超过 3.5 m/s 会被拒；实测速度持续高于 6 m/s 达 0.5 s 会解除系统；openpilot 自身的接合与故障检查保持开启。

动作接口如何改到最终形式

作者描述了多轮迭代，并写明没有受控对比。早期提交几何路径（米制路点、图像像素路径或曲率段），工具为 observe、submit_path、wait_held、final_stop；其后改为定时曲率设定点。最终换成转向百分比、速度和持续时间（Table 1）。

• 把延迟显式留在回路里：路径相对模型看到的那一帧规划，车却会在思考期间移动。一次开发测试中，规划时车移动 2.4 m，harness 因转向已偏离路径入口而拒绝一次合法转弯。重新锚定到实时位置去掉了拒绝，但把延迟藏起来。最终设计中，指令在被接受时生效，响应带时间戳和图像年龄。
• 可对照的单位、少拒绝、替换而非排队：observe 用同一刻度报告实测转向。不可行请求默认钳制，只有超过速度上限才拒绝；被拒的替换不改变正在运行的指令。新指令替换旧指令，到期则刹车。作者提到一次重复 400 ms 派发延迟的剖析：2.7% 的控制节拍没有有效计划。
• 少参数，并记录意图：作者称早期多种路径格式让模型把推理花在选参数上。最终 set_motion 有四个控制参数，从 MCP 到控制器的命令路径约一千行 Python。闭源模型不提供原始推理轨迹，故每条指令带自由文本 reason，供事后归类。

路线、提示词与尝试协议

• 路线：彩色迷你锥和橙色高锥标出走廊，主通道约 47 m，横穿约 27 m，末段约 18 m，终点为 7×5 m 蓝色迷你锥区。进度所用中心线到终点区长 127 m，含左转、两个右转、直道和缓弯（Figure 3 的 A–G）。转弯半径按 openpilot 的转向限制设计。锥位由无人机和卫星图估计，图注写明是示意而非精确测绘；中心线由可见锥推断。
• 同一次对话最多三次：固定主提示词（附录 A）说明只用名为 drivingbench_sandbox 的 MCP、停进蓝色锥区，以及先按不离线的进度、再按时间评分。失败后操作员发送固定反思提示词，模型回复后再发固定继续提示词。尝试共享上下文，不是独立样本。首次成功即停止。四个试验按 Astra、Sol、Fable、Grok 连续进行，推理力度均为 medium。
• 比较对象：每个 harness 自带系统提示词、工具界面和延迟。作者写明比较的是 model–harness 系统，把模型与 harness 分开留待后续。

进度定义与尝试如何结束

• progress：从第一条被接受的指令到该次最后一次接合结束，车在距中心线 4 m 内到达的最远点，除以 127 m。GPS 中位报告精度 0.9 m、最大 1.2 m。偏离超过 4 m 时进度暂停；每个 GPS 点只能向前推进，且最多 20 m。停车、逆行或抄近路不加分。作者在 Section 4.3 称该指标并不完美，但认为可把结果收成一个数。
• 谁来终止：安全员脚始终在刹车上方。每次尝试前车回到同一标记起点，车轮对齐场地上的固定线。第一条指令被接受后，操作员按一次 RES，因为 openpilot 不会从静止自行起步。车离线，或即将碰到路缘、岛或其他障碍时，操作员刹车并结束尝试。模型在终点区内调用 stop_now 则视为完成。

实验设置

• 四个 model–harness：GPT-6 Astra 与 GPT-5.6 Sol 在 Codex（CLI 0.154.0-alpha.6.2），Claude Fable 5.1 在 Claude Code（2.1.274），Grok 4.6 在 Cursor。均为 medium reasoning effort。顺序为 Astra、Sol、Fable、Grok（Section 4.2）。
• 样本量：每个系统一次独立对话，最多三次尝试，首次成功即停。Astra 第二次完成，故无第三次。共 11 次。尝试共享上下文，作者写明不是独立样本。Table 2 的 11 次使用最终接口；开发期拒驾不在这 11 次里。
• 路线：固定锥桶课程，中心线至终点区 127 m。Figure 3 注写明锥位为示意。
• 主指标：progress，定义见上一问；带宽默认 4 m。另报完成时间（第一条被接受指令到最后一次接合结束）、积分 GPS 路程、被接受的 set_motion 数。
• 费用与判定：token 与费用按各次尝试（含反思）合计，标价为 2026 年 9 月公开价，取自各 harness 的用量记录。无 LLM 评审。失败由安全员刹车判定，成功由模型在终点区内 stop_now 判定。
• 操作员：车在首条指令被接受后中位 3.0 s 开始移动。固定提示词之外还有两条消息，均在发布的记录中：给 Astra 一次 “Continue”；用 “Stop” 结束 Grok 的尝试（附录 B.1）。10 次失败都由操作员刹车结束（附录 D）。

主结果

据 Table 2。表中 “–” 表示未进行第三次；DNF 为论文原文。

表格较宽，可左右滑动

模型（harness）	三次进度（%）	最高（%）	完成时间	token	费用
GPT-6 Astra（Codex）	49 / 100 / –	100	5:22	7.8M	9.75美元
Claude Fable 5.1（Claude Code）	9 / 10 / 45	45	DNF	3.6M	3.95美元
Grok 4.6（Cursor）	8 / 11 / 10	11	DNF	1.0M	0.65美元
GPT-5.6 Sol（Codex）	6 / 6 / 6	6	DNF	1.6M	1.05美元

• 作者称只有 Astra 跑完路线；摘要写明其余任何一次尝试都未超过 50%。Figure 3 中 8/11 次在路段 B 之前结束，没过第一个弯。完成那次在首条被接受指令后 4:44 进入终点区，5:05 调用 stop_now，134.7 m、24 条指令；接合在 322 s 结束（Section 5.1、Table 4）。
• 作者称 Figure 7b 里 Astra 约以每秒 0.3% 路程推进，Fable 呈台阶，长平台对应前一条指令结束后车静止等待推理。Sol 与 Grok 的六次尝试都止于路段 A、约前 15 m（Section 5.1）。
• 作者写明上表是模型加原生 harness 的结果，不是把二者分开后的结果（Section 4.2）。作者称四个系统里有两个随保留上下文的尝试进度上升，另外两个没有清过第一个弯。

延迟与指令过期

• 测了什么：指令未到期时车继续动；模型可在到期前替换。Section 5.2 报告从上次工具调用到 set_motion 的中位时间：Astra 4.9 s、Sol 5.4 s、Grok 12.5 s、Fable 22.2 s。
• 过时画面：Astra 在上一帧采集到指令被接受之间，车的中位行驶距离约 4 m（Figure 8）。Grok 第二次的末条指令在最后一帧之后 17 s，其间车滚了 7.4 m。Fable 第二次依据 55 s 前的帧，车几乎静止、只动了 2.1 m；该次移动时间占比 15%，为 Table 4 最低。
• 作者的解读：从静止到方向盘达到转向变化的 90%，中位 4.0 s；已经在滚动时为 1.9 s（Figure 9b）。作者认为停走策略会损失转向能力，尤其在弯中。附录 B.2 给了三条延迟如何落到具体尝试上的例子。

失败模式与跨尝试学习

• 读锥线：作者称 8/11 次在路段 A 读错第一条斜锥线的哪一侧是车道，包括 Sol 与 Grok 的全部尝试，以及 Fable 的前两次（Section 5.3）。
• 过早承诺与车辆限制：两次走得较远的失败是 Astra 第一次和 Fable 第三次，都在路段 D 由操作员刹车（Table 3）。Fable 第三次的末条指令是 30% 右转、1.2 m/s，在最后一帧之后 20 s 发出；作者称相对约 16 m 的转弯半径过缓。Sol 记录到指令发出两秒后实测转向仍约 1%，最后一次观察只到约 17%。
• 知道与做到：作者称 Astra 与 Fable 有实质提升，Grok 与 Sol 没有。反思大多准确，但常未变成不同控制：Grok 第三次宣布短重叠移动，三条指令却都在前一条过期后才到，替换为 0/2（Table 4）。Sol 第三次声明锥色无关后仍发两条直行，进度仍为 6%。Fable 第三次改为把斜锥线留在左侧，并连发四条 100% 左转。Astra 第二次只发 0.5–0.8 m/s（第一次为 0.7–1.5），观察 33 次而非 13 次。作者认为这与先前的 knowing-doing gap 一致，并写明每模型只有 n=1 次独立试验。

框定与拒驾

• 开发期，不是 Table 2：同一提示词和工具下，Astra 常拒绝开真车，Sol 会开。观察工具若标明端点是物理车辆，Astra 的拒答会引用该字段。加上安全员、已有监督行驶和“不要仅因物理端点而拒绝”之后，拒答提前到任何工具调用之前。
• 计数：要求不输出文本、只调工具时，16 段对话中 0 段开车，12 段在操作员说 GO 之前就拒绝；同一指令下 Sol 会开。把任务说成仿真后，有的会开到从画面判断是真车，有的立即拒绝；最终评测未用该框定。作者记录 Astra 曾表示没有措辞或保证能让它指挥真车，也会先说准备好再拒绝，并认为拒答易变且随机。
• 最终设计：observe 只返回时间、车态、转向、速度和图像年龄；MCP 名为 drivingbench_sandbox；提示词按操作描述任务（附录 A）。该设计下，每个模型的每次尝试都开了车。作者认为没有单个词能造成或消除拒答；Astra 是否开车，似乎取决于设置在提示词和工具输出里多么明确、多么频繁地强调真实物理利害。

其他消融与分析

• 进度带宽 4–6 m 不改变排序；改成 3 m 时，Astra 第一次由 49% 变为 17%（Section 4.3）。
• 运行中替换：Astra 4/30、Sol 1/6、Fable 0/12、Grok 0/5（Section 5.2）。
• 100%（180°）请求中位达到 129°、最高 173°；作者称命令范围上部约 28% 在评测条件下没达到（Figure 9c）。GPS 曲率更接近 13.9:1，而不是 harness 文档中的 18:1（Figure 9d）。
• 附录 C 标定：横向控制在 0.30 m/s 以上才激活；静止起步、请求 0.8–1.5 m/s 时，首次指令达到 1.6–2.4 m/s。更早曲率控制器的左右不对称，最终控制器未重测。评测中 Sol 第三次峰值 2.8 m/s（Table 4）。
• 早期路径接口无受控对比。一次开发测试：规划期间车移动 2.4 m 后，合法转弯被拒；重复 400 ms 派发延迟下，2.7% 控制节拍没有有效计划（Section 3.1）。
• 提示词中的例子是静止标定下约 60 s 完成 90°（1 m/s、100%）；Figure 9d 按测量半径推得约 25 s（Section 7）。

作者指出的局限与后续方向

• 转向幅度：100% 对应 180°，遥测里 100% 请求中位只到约 130°（最高 173°），该典型角度转弯半径约 16 m。作者写明因此做不了紧弯，也限制犯错后的纠正（Section 7）。
• 同一套感知与提示：所有模型都看不到车旁、车后以及正前方紧邻的地面。提示词里的转弯例子偏保守：100%、1 m/s 下 90° 写成约 60 s，测量半径意味着约 25 s（Section 7）。
• 低层执行：起步速度可超过请求。作者举 Sol 第三次请求 1 m/s、测得 2.8 m/s，并写明结果同时反映模型决策和不完美的低层执行（Section 7）。
• 试验次数：每个模型只有一次独立试验、最多三次共享上下文的尝试。作者计划扩大协议以加上统计显著性（Section 7）。
• 后续评测：作者计划做多次独立试验、扫描推理力度、评测更多模型（含开放权重），并建更长更难的路线，以及能随路线扩展的进度度量（Section 8）。
• 行为问题：作者把“这类模型在获得真车控制时应当如何行为、以及如何评测该行为”留待后续（Section 8）。

实验覆盖范围

• 系统与次数：四个 model–harness，均为 medium reasoning effort；各 1 次独立对话、最多 3 次尝试，合计 11 次。顺序为 Astra、Sol、Fable、Grok（Section 4.2、Section 5）。
• 场景与车辆：一条空停车场低速锥桶路线，中心线至终点区 127 m；一辆 2022 Toyota Corolla、comma four 与修改版 openpilot。进度来自该车 GPS（Section 3、Section 4）。
• 判定：10 次失败由安全员刹车结束，1 次成功由模型在终点区内 stop_now 结束（Section 4.4、附录 D）。论文未报告 LLM 评审，也未报告评审与人工的一致性。
• 接口与拒驾记录：动作接口迭代没有受控对比（Section 3.1）。拒驾分析来自开发期对话，其中包含 16 段要求不输出文本、只调工具的对话（Section 6）。
• 作者写明绑在一起的因素：结果是模型加原生 harness，分开二者留待后续（Section 4.2）。可复现性声明写明，结果还取决于试验当时的模型版本和智能体应用，并可能取决于具体车型或硬件。论文未报告统计显著性检验。

DrivingBench 评测通用 VLM 能否自己闭环开真车，推理延迟也算进任务。

• 做法：Codex、Claude Code、Cursor 接到 2022 Toyota Corolla。三个 MCP 工具看双相机，下发转向百分比、速度和持续时间；新指令替换旧指令，车在思考时继续动。同一对话最多三次，失败后发固定反思提示词。作者比较的是 model–harness，不是剥离开的模型。
• 完成情况：Astra（Codex）第二次进度 100%，首条被接受指令后 4:44 进入终点区，接合于 5:22 结束；第一次 49%。Fable 最高 45%，Grok 最高 11%，Sol 三次均为 6%（Table 2）。8/11 次没过第一个弯（Figure 3）。
• 失败与学习：作者将失败主要归为读错车道在锥线的哪一侧、按过时观察过早承诺，以及转向建立慢。Grok 第三次替换为 0/2，指令都在过期后才到；Sol 声明忽略锥色后仍两次直行，进度仍为 6%。作者认为这里看得到 knowing-doing gap，但每模型只有一次独立试验。
• 拒驾：开发期 Astra 是否开车，作者认为取决于框定和工具输出是否反复强调真车。16 段“只调工具”对话中 0 段开车。最终接口下，每次尝试都开了车。
• 作者的结论：作者认为低速和监督下，通用模型已能端到端完成很基础的真车任务；人预期远不到一分钟开完，而三个模型完不成，且没有模型第一次超过 50%。获得真车控制后应如何行为，作者留待后续。