评测与基准arXiv 2609.38948
DrivingBench 发布：让视觉语言模型驾驶丰田 Corolla 绕桩
提出 DrivingBench 评测视觉语言模型的真车闭环驾驶
- arXiv
- 2609.38948
- 发表
- 层
- 应用层
- 被测模型
- GPT-6 Astra、Claude Fable 5.1、Grok 4.6 等 4 个
- 组件视觉
摘要仅 Astra 第二次跑完低速锥桶路线。
DrivingBench 评测通用 VLM 能否自己闭环开真车，推理延迟也算进任务。
- 评测与基准arXiv 2610.05818
研究显示 VLA 模型文本护栏漏检隐含危害指令
评测文本守卫与激活探针能否发现 VLA 隐含危害指令
- arXiv
- 2610.05818
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
- 被测模型
- π0.5、OpenVLA-OFT、Llama Guard 3 等 10 个
- 评测与基准arXiv 2610.06306
Inspect Robots：面向具身智能体评测的开源模块化框架
提出 Inspect Robots，在真实机器人上评测具身智能体的能力与安全
- arXiv
- 2610.06306
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
- 被测模型
- Astra（GPT-6 Astra）、GPT-6 Sol、GPT-5.6 Sol 等 7 个
- 风险拒答失当
- 评测与基准arXiv 2609.26618
NavSafe-∞：在真实感环境中评测闭环驾驶安全
提出闭环基准 NAVSAFE-∞，评测端到端驾驶策略的安全关键事件表现
- arXiv
- 2609.26618
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
摘要写真事件级闭环基准显示开环高分不能稳定变成闭环安全。
NAVSAFE-∞ 用写真、事件级闭环仿真检查端到端驾驶策略的安全，而不是只看开环轨迹分数。
- 其他arXiv 2609.13642
当合规数据伪装成评测：部署后 AI 系统的测量效度问题
提出评估合同，检验合规监测数据能否支持部署系统的比较主张
- arXiv
- 2609.13642
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
摘要比较主张要先对齐能力、结果、暴露、领域、采集和对照。
作者给出的是评测效度立场：部署后的运行数据要支持比较主张，必须先写明测量与主张如何对齐。
- 评测与基准arXiv 2609.21223
SafeStage：按执行前中后三阶段评测视觉语言机器人操作安全
提出 SafeStage，分执行前中后评测视觉语言机器人操作安全
- arXiv
- 2609.21223
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
- 其他arXiv 2609.17247
DriveMCP：面向高级驾驶辅助系统的智能体 AI 框架
提出 DriveMCP 框架，将感知、交规检索与 RSS 仲裁接成可审计驾驶辅助
- arXiv
- 2609.17247
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
摘要DriveMCP 用可审计专家工具和 RSS/TTC 仲裁做驾驶辅助，作者称违章与超速低于三个 VLM 基线。
DriveMCP 是面向高级驾驶辅助的模块化智能体框架，把感知、合规、车辆状态和安全仲裁拆开并留下审计轨迹。
已经到底了