Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2601.22027· Johannes Kirmayr, Lukas Stappen, Elisabeth André·Indexed by this site · Originally published

CAR-bench: Evaluating LLM Agents' Consistency and Capability Boundary Awareness under Real-World Uncertainty

CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty

Quick read

Evaluation and benchmarks

Based on 论文 PDF （AI 生成）; refer to the original

CAR-bench评测车载多轮智能体；GPT-5（thinking）消歧Pass^3为.36，三类Pass^3均值.54。

Questions
车载助手里用户请求常不完整或含糊，还须遵守领域策略。现有基准多在信息齐全或离线轨迹上测完成率，未同时看不可满足请求下是否承认做不到，以及消歧能否稳定复现。
Methods
CAR-bench用LLM用户、19条策略、58个工具和可改状态评测车载助手。三类任务分别测终态完成、承认缺失能力，以及先内部消解再澄清。主指标是k=3的Pass^3和Pass@3。
Experiments and results
11个模型里，GPT-5（thinking）三类Pass^3均值.54。消歧Pass^3最高.42（GPT-5.2）；GPT-5的Pass@3为.68、Pass^3为.36。作者称思考不能稳定消除过早行动。
Limitations and future work
作者指出模拟用户会引入噪声，多用户、长程和多模态不在范围内，数据规模不够大规模微调，安全校验分工仍开放。实验主表为11个模型、k=3；用户错误的人工检查限于GPT-5的k=5。论文未写明LLM裁判模型。
Experimental setupGPT-5 (thinking)、GPT-5.2 (thinking) et al. · CAR-bench · Pass^3、Pass@3 et al.
Evaluated models
GPT-5 (thinking)GPT-5.2 (thinking)Claude-Opus-4.5 (thinking)Claude-Sonnet-4 (thinking)Gemini-2.5-flash (thinking)Gemini-2.5-pro (auto-thinking)GPT-4.1Gemini-2.5-flashQwen3-32B (thinking)GPT-OSS-120B (thinking)Salesforce/xLAM-2-32B-fc-r
Benchmarks
CAR-bench
Metrics
Pass^3Pass@3Pass@1SCORE
AI summaryThe researchers propose CAR-bench, a benchmark for in-car voice assistant scenarios that evaluates multi-turn tool-calling LLM agents' consistency, uncertainty handling, and awareness of capability boundaries. The environment includes LLM-simulated users, domain policies, and 58 interconnected tools covering navigation, productivity, charging, and vehicle control. In addition to standard task completion, the benchmark introduces a Hallucination task, testing agents' awareness of capability boundaries when tools or information are missing, and a Disambiguation task, requiring agents to resolve uncertainty through clarification or internal information gathering. Baseline results show large gaps between occasional and consistent success across task types; even frontier reasoning LLMs achieve less than 50% consistent pass rates on the Disambiguation task due to premature action, and in the Hallucination task they often violate policies or fabricate information to satisfy user requests.

The researchers propose CAR-bench, a benchmark for in-car voice assistant scenarios that evaluates multi-turn tool-calling LLM agents' consistency, uncertainty handling, and awareness of capability boundaries. The environment includes LLM-simulated users, domain policies, and 58 interconnected tools covering navigation, productivity, charging, and vehicle control. In addition to standard task completion, the benchmark introduces a Hallucination task, testing agents' awareness of capability boundaries when tools or information are missing, and a Disambiguation task, requiring agents to resolve uncertainty through clarification or internal information gathering. Baseline results show large gaps between occasional and consistent success across task types; even frontier reasoning LLMs achieve less than 50% consistent pass rates on the Disambiguation task due to premature action, and in the Hallucination task they often violate policies or fabricate information to satisfy user requests.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    现有智能体基准偏理想化；CAR-bench在车载场景评测一致性、消歧与限度意识。

    现有基准多在理想设定下测任务完成，未评测多轮、带策略的智能体在不完整或含糊请求下的一致性、不确定性处理与限度意识。

    • 出现场景：作者以车载语音助手为测试台。用户常给出不完整或含糊请求，智能体须靠对话、工具和领域策略处理内在不确定性。作者称安全约束和驾驶分心限制，使回避幻觉和正确消歧与安全相关。
    • 现有不足：作者称工具基准常只测 API 调用；TravelPlanner、ToolLLM 是单轮且预先给全信息；BFCLv3、ToolTalk 用离线轨迹。τ-bench 有动态用户、策略和重复试验一致性，ToolSandbox 有状态依赖工具。作者称缺参数、不完整观测和消歧仍未覆盖。
    • 核心观察：作者引用 Kalai et al. (2025)，称模型被奖励生成看似合理的补全，而不是承认不确定，因而不可满足请求容易幻觉。消歧被写成元推理：选择能增加信息的行动或澄清。
    • 本文提出：CAR-bench 含 LLM 模拟用户、19 条领域策略、58 个互联工具，以及可改状态、固定上下文和静态数据库。除 Base 外新增 Hallucination 与 Disambiguation。用 Pass^3（k=3 次全部成功）对照 Pass@3（至少一次成功）。作者称这是首个系统评测上述三项的基准。

  2. What related research exists?

    相关工作覆盖工具调用、多轮模拟、幻觉与策略；作者称既有基准未同时覆盖缺参数和消歧。

    作者按工具智能体基准、多轮用户模拟、幻觉与消歧、领域策略来定位，并用 Table 1 对比覆盖范围。

    工具使用与智能体基准

    • 环境类基准：WebShop（Yao et al., 2022）、WebArena（Zhou et al., 2024）评测网页导航，ALFWorld（Shridhar et al., 2021）评测具身任务，SWE-bench（Jimenez et al., 2024）评测代码问题。论文只作背景，未与本文对打分。
    • 工具调用：API-Bank（Li et al., 2023）、ToolLLM（Qin et al., 2024）、MetaTool（Huang et al., 2024b）及 Huang et al. (2024a) 评测单次、并行和顺序 API 调用。作者称这类工作通常假设工具齐全、任务信息完整。
    • 扣留工具：BFCLv3（Patil et al., 2025）与 ToolSandbox（Lu et al., 2025）会扣留部分工具。作者称它们仍忽略缺参数和不完整输出。Table 1 注称二者对 Hallucination 只是部分覆盖。

    多轮对话与用户模拟

    • 离线轨迹：MultiWOZ（Budzianowski et al., 2018）、Chen et al. (2021)、ToolTalk（Farn and Shin, 2023）和 BFCLv3 使用预先收集的对话。作者称这是在理想历史上续写，而不是让模型自己形成策略。
    • 动态模拟：Mu et al. (2024)、Sekulic et al. (2024)、PlatoLM（Kong et al., 2024）以及 τ-bench、ToolSandbox 用 LLM 模拟器生成对话。作者称多数工作关注信息交换，而不是如何发现并处理不完整或含糊请求。

    幻觉、消歧与推理

    • 幻觉：Kalai et al. (2025) 与 Huang et al. (2025) 讨论模型因奖励补全而给出看似合理但不正确的信息，而不是承认不确定。
    • 消歧：Kobalczyk et al. (2025) 把消歧写成识别缺失信息并选择澄清策略。作者称 GPT-5 等推理模型有望改善，但推理是否、以及多一致地缓解这些问题，仍缺少评估。

    领域策略与实验对照

    • 策略基准：τ-bench 与 τ2-bench（Yao et al., 2024; Barres et al., 2025）在零售、航空、电信要求遵循策略，并用 Pass^k 衡量重复试验一致性。作者用 Stappen et al. (2023)、Strayer et al. (2016) 说明车载 API 与驾驶分心。Table 1 中 τ-bench 只覆盖对话，不覆盖状态依赖、Hallucination 和 Disambiguation。
    • 本文基线：实验用带原生工具调用的 LLM，不用 ReAct、Act-only、CoT 或高级智能体框架。作者引用 Yao et al. (2024) 称原生工具调用优于后两者，但本文没有重跑该对照。评测集是 CAR-bench 三类任务。xLAM-2 在 τ-bench 轨迹上监督微调，作为被测模型。

    作者称 τ-bench 是首个动态且策略引导的基准，ToolSandbox 扩展到状态依赖工具；CAR-bench 加上 Hallucination 与 Disambiguation。作者称 CAR-bench 是首个系统评测一致性、不确定性处理与能力意识的基准。

  3. How does the paper address this problem?

    CAR-bench用模拟用户、19条策略和58个工具，以三类任务评测车载多轮智能体。

    CAR-bench 用 LLM 模拟用户驱动多轮对话，智能体在 19 条策略下调用 58 个工具，观察或修改车载环境，直到给出回复。

    环境与交互

    • 可见性：用户只输出文本和评测用控制词，看不到工具调用与环境数据；智能体看不到控制词。二者只通过文本交互。人物含年龄（18–65）、对话风格（commanding、conversational、questioning）和技术熟练度（熟悉术语、日常用语或未指定）。
    • 策略与工具：19 条策略包括不允许的状态组合，以及发邮件前确认等检查。12 条用代码检查，7 条用 LLM-as-a-Judge；论文未写明裁判模型。工具分车辆功能、导航、充电、Productivity、天气和跨域：27 个 set、29 个 get、2 个 no-op（Table 3）。正文点名的规划工具是 no-op，可选用来起草计划。工具可并行或顺序调用。
    • 状态与数据：31 个动态状态可由 set 工具修改，12 个上下文变量任务内固定、任务间不同。正文写超过 130,000 个 POI、超过 1.7 million 条路线；Table 3 记 48 Cities、130K POIs、1.7M Routes、48 Weather、100 Calendars、100 Contacts。城市来自 Pareto Software（CC BY 4.0）。数据库主体用代码生成，联系人姓名等表层属性由 LLM 生成。

    三类任务

    • Base（100）：含人物、指令、初始状态与上下文、ground-truth 动作。人工核对后终态唯一。成功是到达该终态，且相关指标全为 1。Figure 2。
    • Hallucination（90）：去掉所需工具、工具参数或工具结果，请求变为不可满足。成功是承认缺失能力或信息，而不是编造。Figure 2 分三种移除。
    • Disambiguation（50）：在 Base 上加入可控歧义，可问用户或靠内部信息解决。系统提示要求先耗尽内部消解。过早行动导致错误终态，或已有消歧信息却多余提问，都算失败。附录 A.1 的优先级从严格策略、显式请求、用户偏好、启发式默认、上下文，到最后才问用户；附录给出完整提示词。

    成功判定与聚合

    • Base 六项：终态是否匹配 ground-truth；中间态是否落在 ground-truth 中间状态集合（与顺序无关，错误 set 即使后来纠正也失败，get 不纳入）；ground-truth 的 get 工具是否都被调用；工具调用是否合法；策略是否遵守；用户是否因 out of scope 结束。
    • 另两类：Hallucination 只用工具执行错误、策略错误和用户结束对话。第 3.3 节：承认限制记 1，编造记 0。Disambiguation 使用全部 Base 指标；disambiguation error 或 out of scope 使结束项为 0。附录 A.2 的控制词字符串与正文不完全相同，附录给出完整用户提示词。
    • 聚合：一次试验仅当全部相关指标为 1 时 rt=1。作者把一致性定义为 Passkt=1[∑i=1k rt(i)=k]，即 k 次全部成功才记 1。Pass@k 为至少一次成功。主实验取 k=3，再对任务平均。总 SCORE 是三类 Pass^3 的不加权平均，不按任务数加权。

    数据构建

    • 环境：工具、状态和上下文按真实类比手工设计并核对。代码基于 τ-bench。
    • 采样：先建 API 图，连接参数、读取的状态和状态变化，并纳入参数链与策略触发。采样多步轨迹后，均匀生成初始状态与上下文。LLM 智能体撰写通向该轨迹的指令，并与环境交互以调整 ground-truth。
    • 人工校验：全部任务经人工审改，检查措辞、完整性、动作、可执行性和终态唯一性。作者用 LLM 智能体反复试跑，若失败来自任务说明则修正。

  4. What experiments did the paper conduct?

    GPT-5三类Pass^3均值.54，消歧Pass@3 .68、Pass^3 .36；最高消歧Pass^3为.42。

    实验设置

    • 被测模型：Table 4 共 11 个。思考：GPT-5、GPT-5.2、Claude-Opus-4.5、Claude-Sonnet-4、Gemini-2.5-flash（thinking）、Qwen3-32B、GPT-OSS-120B。自动思考：Gemini-2.5-pro。非思考：GPT-4.1、Gemini-2.5-flash、Salesforce/xLAM-2-32B-fc-r（基座 Qwen2.5，在 τ-bench 轨迹上监督微调）。版本与温度见附录 Table 6。
    • 推理：思考预算 2048 token，qwen3 无预算控制。温度能设则设 0；Claude 与 GPT-5 思考模式固定为 1，Qwen3 为 0.6。不用 CoT 或高级智能体框架。
    • 用户与裁判：用户模拟为 Gemini-2.5-Flash（thinking）。12 条策略用代码检查，7 条用 LLM-as-a-Judge；论文未写明裁判模型。
    • 数据与指标：Base 100、Hallucination 90、Disambiguation 50，每条 1–9 个动作。主指标是三类 Pass^3 的不加权平均，以及各类 Pass@1、Pass@3、Pass^3。k=3。作者称更高 k 会出现分数饱和。
    • 费用与脚注：跑完 100 个 Base 任务，用户模拟约 0.08 美元，带思考的 GPT-5 约 11 美元。GPT-5.2、Claude-Opus-4.5、Qwen3-32B、GPT-OSS-120B、xLAM 在首轮之后加入，未进入后续图和人工分析。

    主结果

    据 Table 4。总 Pass^3 为三类不加权平均。下表 8 行含最低分模型。省略 Claude-Sonnet-4（thinking，总 .47）、Gemini-2.5-flash（thinking，总 .41）、Gemini-2.5-flash（总 .34）。

    Swipe horizontally to read the table

    模型总Pass^3Base Pass^3Hall Pass^3Dis Pass^3Dis Pass@3
    GPT-5 (thinking).54.66.60.36.68
    GPT-5.2 (thinking).53.61.57.42.70
    Claude-Opus-4.5 (thinking).52.67.52.38.66
    Gemini-2.5-pro (auto-thinking).38.53.34.28.50
    GPT-4.1.37.57.31.22.46
    Qwen3-32B (thinking).31.45.27.22.50
    GPT-OSS-120B (thinking).28.36.37.12.28
    xLAM-2-32b.16.26.11.12.16
    • 一致性：作者称 Pass@3 与 Pass^3 普遍有缺口，消歧更明显。正文一处写 GPT-5 从 68% Pass@5 降到 36% Pass^3，另一处写 Pass@3（68%）与 Pass^5（36%）。Table 4 的列是 Disambiguation 的 Pass@3 与 Pass^3。
    • 难度：作者称表现从 Base 到 Hallucination 再到 Disambiguation 下降。作者称 Base 上 32% 的任务被所有模型解出，59% 至少被一个模型解出；消歧 Pass^3 没有模型超过 50%。
    • 思考与互补：作者称思考模型在三类上都更高。Figure 3 纵轴为 Pass^1（等于 Pass@1），横轴为 ground-truth 动作数 1、3、5、7、9；图例是 gemini-2.5-flash、claude-sonnet-4、gpt-5 的思考组，以及 gpt-4.1、gemini-2.5-flash 的非思考组之平均。曲线读数在文本中不可用。作者称 Claude-Opus-4.5 的 Base、Disambiguation Pass@1 为 77% 与 56%；Table 4 中 GPT-5.2 的 Disambiguation Pass@1 同为 .56。Hallucination Pass@1 上 GPT-5 与 GPT-5.2 均为 .74。正文写 Claude 在 Hallucination 上落后 .14 个 Pass@1；表中为 .74 对 .63。

    失败分类

    • 样本：第 5 节分析作者称为最佳非思考模型的 GPT-4.1，以及最佳思考模型 GPT-5，对象是 5 次中成功 0、1 或 4 次的任务。附录 C 给了轨迹示例。
    • 五类：E1 过早行动，E2 违反策略，E3 逻辑错误，E4 执行错误，E5 编造。E5a 隐去缺失信息，E5b 主动幻觉不存在的能力。
    • 作者的比例：Base 上持续失败的 GPT-5 中约 80% 为过早行动，并伴有策略违反。Hallucination 上 GPT-4.1 约 40% 为 E5b，GPT-5 约 70% 为 E5a。Disambiguation 上 GPT-5 约 90% 的失败是 E1。作者认为模型优先满足请求而非守策略；思考减少了 Base 上的 E3–E4 和文中所称 severe 的 E2，以及 Hallucination 上的 E5b，但没有缓解 E1。

    用户模拟与人物设定

    • 人工核对：对 GPT-5 的 k=5 全部失败做检查。Base（5×100）用户错误 12 次（2.4%），6 次为唯一原因（Pass^5 降 6%）。Hallucination（5×90）22 次（6.1%），8 次唯一原因（降 9%）。Disambiguation（5×50）7 次（2.8%），4 次唯一原因（降 8%）。
    • 人物：按年龄、对话风格和技术熟练度分层后，作者称未发现表现差异。论文未给出各层样本量或检验细节。

    延迟与成本

    • 一轮 100 个 Base 任务（Table 5）：gpt-5（thinking）Base Pass^3 .66，每次 LLM 调用 22.7 秒，每任务 .11 美元；claude-sonnet-4（thinking）.63、5.3 秒、.26 美元；gemini-2.5-flash .48、1.1 秒、.02 美元。后一行数值与 Table 4 中 Gemini-2.5-flash 的 Base Pass^3 相同，Table 5 未再写思考模式。
    • 作者解读：延迟应视为近似。作者称 Claude-Sonnet-4 费用超过 Gemini-2.5-Flash 的 10 倍（不计缓存）。工具定义约 10K token，策略约 3K token，推理每完成加 100–500 token。作者认为最强模型往往太慢或太贵，更快更便宜的模型在复杂任务上更弱。

    其他消融与分析

    • Figure 4 比较 gpt-5（thinking）与 gpt-4.1 的 Base 指标错误率；用户结束对话错误率为 0，Actions 合并终态与中间态。柱高与类别在文本中对不齐，不引用柱值。作者称 GPT-4.1 的额外错误主要来自策略违反、工具执行失败和漏掉必要 get。
    • Qwen3-32B 的 Base Pass@1 为 .62，GPT-OSS-120B 为 .39。作者称 Qwen3 推理轨迹长得多。
    • xLAM-2-32b 的 Base Pass@1 为 .38；作者称与 GPT-OSS-120B（thinking）在 Base 上相当，但 Hallucination、Disambiguation 的 Pass^3 降到表中的 .11 与 .12。
    • 作者认为 Gemini-2.5-pro 自分配的推理预算尚未与任务完成对齐。其总 Pass^3 为 .38，低于表中 Gemini-2.5-flash（thinking）的 .41。

  5. What are some points that can be further explored?

    作者指出模拟用户噪声、环境范围、安全层分工和数据规模仍需后续工作。

    作者指出的局限与后续方向

    • 模拟用户：第 7 节写，LLM 用户会继承幻觉和意图不一致，给结果带来噪声或偏差，也可能偏离自然交互。作者提出未来可加检查或校验模型；换其他或更强的用户 LLM，可能改变用户错误和智能体成功率。用户更熟悉智能体后，风格和期望也可能变化。
    • 环境范围：第 7 节写，工具、策略和上下文不能完全覆盖真实情境。多用户交互、长程规划，以及车内场景、图形界面、光照等多模态线索不在范围内，作者视为可扩展方向。
    • 安全分工：第 7 节写，当前把策略与安全检查交给智能体。生产系统通常会用规则层冗余校验。推理与外部保障如何分工，作者称为仍开放，并认为取决于风险容忍和监管要求。
    • 数据规模：第 7 节写，人工校验的数据点可用于评测，但当前规模不足以做大规模微调，扩充的人工成本高。作者指出合成扩充（Prabhakar et al., 2025; Fang et al., 2025）是保持质量并扩大规模的途径。
    • 开源与训练：第 7 节写，当前基线用专有模型建立性能上界，开源权重和更小模型的评测仍是下一步。作者认为可验证轨迹适合监督微调、偏好优化和强化学习；并称这种领域优化在 CAR-bench 出现之前做不到。
    • 架构：第 5 节写，未来可探索把信息收集与执行分开，以避免在完成效率压力下跳过上下文。

    实验覆盖范围

    • 模型与协议：Table 4 报告 11 个模型的三类任务，主指标 k=3。其中包含 Qwen3-32B、GPT-OSS-120B 和 xLAM-2-32b。附录 Table 6 给出版本与温度；思考预算 2048 token，qwen3 除外。第 4.1 节写明未使用 CoT 或高级智能体框架。
    • 数据与判定：Base 100、Hallucination 90、Disambiguation 50；工具 58，策略 19，其中 12 条代码检查、7 条 LLM-as-a-Judge。论文未报告裁判模型名称。
    • 用户侧：用户模拟固定为 Gemini-2.5-Flash（thinking）。k=5 的用户错误人工检查只针对 GPT-5。论文未报告人物设定各层样本量。
    • 错误分析：第 5 节只分析 GPT-4.1 与 GPT-5 中 5 次里成功 0、1 或 4 次的任务。脚注中的 5 个后加入模型未进入后续图和该人工分析。
    • 部署数字：Table 5 只比较 gpt-5（thinking）、claude-sonnet-4（thinking）、gemini-2.5-flash 在一轮 100 个 Base 任务上的延迟和费用。

  6. Summarize the main content of the paper

    CAR-bench评测车载智能体的一致性与限度意识；消歧Pass^3最高.42，GPT-5三类均值.54。

    CAR-bench 是车载多轮工具智能体基准，同时看终态是否做对、三次试验是否都能做对，以及做不到时会不会承认。

    • 要解决的问题：作者认为真实请求常不可满足或含糊。既有基准多假设信息齐全，或在离线轨迹上续写，没有把缺参数、不完整观测和消歧放进同一套带策略的多轮评测。
    • 做法：LLM 用户按人物和指令发言，智能体遵守 19 条策略并调用 58 个工具。Base 100 题要求到达唯一终态；Hallucination 90 题移除工具、参数或结果，成功是承认限制；Disambiguation 50 题要求先用内部信息消解，再问用户。任务只在全部相关二元指标为 1 时算成功。Pass^3 要求 k=3 次全成功，Pass@3 要求至少一次；总 SCORE 对三类不加权。
    • 主要结果：Table 4 中 GPT-5（thinking）的三类均值为 .54，Hallucination 的 Pass^3 为 .60，Disambiguation 的 Pass@3 为 .68、Pass^3 为 .36。消歧 Pass^3 最高是 GPT-5.2 的 .42。xLAM-2-32b 的总分为 .16。作者称思考模型更高，但仍优先完成请求；GPT-5 的消歧失败中约 90% 是过早行动。
    • 作者的结论：部署需要准确使用工具、遵循指令、管理不确定，并如实说明系统限制。作者把 CAR-bench 的基线、Pass^k 和错误分类，当作后续架构、提示和训练可以对照的记录。
Read originalarxiv.org