DrivingBench 通用智能体低速实车测试
先了解这件事
Aditya Ramabadran、Simon Mahns 和 Tobias Gessler 搭建 DrivingBench,将 GPT-6 Astra、GPT-5.6 Sol、Claude Fable 5.1 和 Grok 4.6 等通用智能体接入一辆搭载 Comma Four 视觉硬件与 openpilot 的 2022 款 Toyota Corolla,通过无线链路由远程模型下达油门、刹车和转向指令,在停车场锥桶围出的短程点对点路线中测试低速实车驾驶。四款模型共进行 11 次尝试,其中 8 次未能通过路线的 11% 就在第一个弯道撞出;GPT-6 Astra 是唯一完成 134.7 米赛道的模型,多数失败涉及场景感知,作者还观察到安全拒绝会随任务呈现方式变化。研究者指出这是小样本、受控实车评测,不能据此保证无人监管驾驶安全。
AI 根据报道生成 · 53 分钟前更新
后续时间线
- TheTruthAboutCars via Yahoo Autos报道:DrivingBench低速实车测试中11次尝试有8次发生碰撞
研究者 Aditya Ramabadran、Simon Mahns 和 Tobias Gessler 搭建 DrivingBench,测试 Claude、GPT、Grok 等现成 AI Agent 在真实车辆上的驾驶表现,硬件采用 Comma 视觉设备运行 OpenPilot,路线为停车场内一条由小锥桶标出的短程点对点路径,Agent 通过无线热点在单一对话中远程控制油门、刹车和转向。11 次运行中有 8 次未能通过路线的 11%,在第一个弯道就失败。Grok 把边界锥桶间的空隙误判为可通行的门,直接开了出去,首次运行仅两条指令后即结束。一个 GPT 模型自行发明了锥桶颜色规则,而人类编写的指令已明确警告不要这样做。多个 Agent 无法计算弯道所需转向角度,转向不足。
- Gadget ReviewDrivingBench 测试:GPT-6 Astra 完成 134.7 米锥桶赛道,Grok 4.6 等三款模型失败
研究者 Aditya Ramabadran、Simon Mahns 和 Tobias Gessler 搭建 DrivingBench,将 GPT-6 Astra、GPT-5.6 Sol、Claude Fable 5.1 和 Grok 4.6 接入一辆搭载 Comma Four 硬件与 openpilot 的 2022 款 Toyota Corolla,通过无线链路由远程模型向车辆下达控制指令。四款模型共进行 11 次测试,只有 GPT-6 Astra 在第二次尝试中完成 134.7 米锥桶赛道,用时 5 分 22 秒,消耗约 660 万 token、花费 7.74 美元。Claude Fable 5.1 最好成绩约为赛道的 45%,Grok 4.6 约 11%,首次尝试仅发出两条指令就结束,GPT-5.6 Sol 约 6%。 测试在低速锥桶场地进行,车内操作员保留人工刹车接管;上述小样本成绩不构成无人监管驾驶的安全保证。
- The DriveDrivingBench 测试前沿模型驾驶真车,GPT-6 Astra 唯一跑完全程
Aditya Ramabadran、Simon Mahns 和 Tobias Gessler 搭建 DrivingBench,让 Claude、GPT、Grok 等前沿模型通过 Comma 视觉硬件与 OpenPilot 控制一辆 Toyota Corolla,在锥桶围出的停车场短程路线中完成点到点驾驶,每个 Agent 有三次尝试机会。在四个 Agent 共 11 次运行中,8 次未跑完 11% 的路线就在第一个弯道撞出。Grok 首次尝试把锥桶缺口误认为应通过的闸门,两次指令后即冲出赛道;一个 GPT 模型自行编造了赛道一侧锥桶同色的规则,而人类指令已明确说明并非如此;多数 Agent 转向角度不足,无法过弯。GPT-6 Astra 是唯一完整跑完全程的 Agent,在第二次尝试中完成,路线贴着长右弯并在终点前几乎冲出赛道。 测试在低速锥桶场地进行,车内操作员保留人工刹车接管;上述小样本成绩不构成无人监管驾驶的安全保证。
- DrivingBench精选DrivingBench 评测前沿模型驾驶真车穿越锥桶赛道
DrivingBench 报告在人工安全接管和限速措施下,让四个通用智能体尝试在封闭锥桶场地驾驶真车。11次尝试中8次未通过第一个弯道,GPT-6 Astra 是唯一完成赛道的模型;多数失败涉及场景感知。作者还观察到安全拒绝会随任务呈现方式变化。这是小样本、受控实车评测,不能据此保证无人监管驾驶安全,也不属于已部署车辆造成的道路事故。
相关讨论
关注度走势
每天新增来源
- 10月7日 新增 4 个来源(4 家媒体、0 个账号)
每小时关注度
趋势只比较一直被完整观测到的同一批信源,范围可能比当前关注度小。移动指针或点击图表查看每小时关注度;键盘可用左右方向键切换。