跳到正文
原文
arXiv· arXiv:2601.22027· Johannes Kirmayr, Lukas Stappen, Elisabeth André·本站收录· 原文发表

CAR-bench：评估真实世界不确定性下 LLM Agent 的一致性与能力边界意识

CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty

论文速读

评测与基准

据论文 PDF 整理（AI 生成），以原文为准

CAR-bench评测车载多轮智能体；GPT-5（thinking）消歧Pass^3为.36，三类Pass^3均值.54。

问题
车载助手里用户请求常不完整或含糊，还须遵守领域策略。现有基准多在信息齐全或离线轨迹上测完成率，未同时看不可满足请求下是否承认做不到，以及消歧能否稳定复现。
方法
CAR-bench用LLM用户、19条策略、58个工具和可改状态评测车载助手。三类任务分别测终态完成、承认缺失能力，以及先内部消解再澄清。主指标是k=3的Pass^3和Pass@3。
实验与结果
11个模型里，GPT-5（thinking）三类Pass^3均值.54。消歧Pass^3最高.42（GPT-5.2）；GPT-5的Pass@3为.68、Pass^3为.36。作者称思考不能稳定消除过早行动。
局限与可以继续做的
作者指出模拟用户会引入噪声，多用户、长程和多模态不在范围内，数据规模不够大规模微调，安全校验分工仍开放。实验主表为11个模型、k=3；用户错误的人工检查限于GPT-5的k=5。论文未写明LLM裁判模型。
实验设置GPT-5 (thinking)、GPT-5.2 (thinking) 等 · CAR-bench · Pass^3、Pass@3 等
被测模型
GPT-5 (thinking)GPT-5.2 (thinking)Claude-Opus-4.5 (thinking)Claude-Sonnet-4 (thinking)Gemini-2.5-flash (thinking)Gemini-2.5-pro (auto-thinking)GPT-4.1Gemini-2.5-flashQwen3-32B (thinking)GPT-OSS-120B (thinking)Salesforce/xLAM-2-32B-fc-r
基准
CAR-bench
指标
Pass^3Pass@3Pass@1SCORE
AI 导读研究者提出 CAR-bench，一个面向车载语音助手场景、评估多轮工具调用 LLM Agent 一致性、不确定性处理与能力边界意识的基准。环境包含 LLM 模拟用户、领域策略以及覆盖导航、生产力、充电和车辆控制的 58 个互联工具。除标准任务完成外，基准还引入 Hallucination 任务，测试 Agent 在工具或信息缺失时的能力边界意识，以及 Disambiguation 任务，要求 Agent 通过澄清或内部信息收集消解不确定性。基线结果显示，各任务类型上偶发成功与一致成功之间均存在较大差距；即便前沿推理 LLM 在 Disambiguation 任务上的一致通过率也不足 50%，原因是过早行动，且在 Hallucination 任务中常违反策略或编造信息以满足用户请求。

研究者提出 CAR-bench，一个面向车载语音助手场景、评估多轮工具调用 LLM Agent 一致性、不确定性处理与能力边界意识的基准。环境包含 LLM 模拟用户、领域策略以及覆盖导航、生产力、充电和车辆控制的 58 个互联工具。除标准任务完成外，基准还引入 Hallucination 任务，测试 Agent 在工具或信息缺失时的能力边界意识，以及 Disambiguation 任务，要求 Agent 通过澄清或内部信息收集消解不确定性。基线结果显示，各任务类型上偶发成功与一致成功之间均存在较大差距；即便前沿推理 LLM 在 Disambiguation 任务上的一致通过率也不足 50%，原因是过早行动，且在 Hallucination 任务中常违反策略或编造信息以满足用户请求。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    现有智能体基准偏理想化；CAR-bench在车载场景评测一致性、消歧与限度意识。

    现有基准多在理想设定下测任务完成，未评测多轮、带策略的智能体在不完整或含糊请求下的一致性、不确定性处理与限度意识。

    • 出现场景：作者以车载语音助手为测试台。用户常给出不完整或含糊请求，智能体须靠对话、工具和领域策略处理内在不确定性。作者称安全约束和驾驶分心限制，使回避幻觉和正确消歧与安全相关。
    • 现有不足：作者称工具基准常只测 API 调用；TravelPlanner、ToolLLM 是单轮且预先给全信息；BFCLv3、ToolTalk 用离线轨迹。τ-bench 有动态用户、策略和重复试验一致性，ToolSandbox 有状态依赖工具。作者称缺参数、不完整观测和消歧仍未覆盖。
    • 核心观察：作者引用 Kalai et al. (2025)，称模型被奖励生成看似合理的补全，而不是承认不确定，因而不可满足请求容易幻觉。消歧被写成元推理：选择能增加信息的行动或澄清。
    • 本文提出：CAR-bench 含 LLM 模拟用户、19 条领域策略、58 个互联工具，以及可改状态、固定上下文和静态数据库。除 Base 外新增 Hallucination 与 Disambiguation。用 Pass^3（k=3 次全部成功）对照 Pass@3（至少一次成功）。作者称这是首个系统评测上述三项的基准。

  2. 有哪些相关研究？

    相关工作覆盖工具调用、多轮模拟、幻觉与策略；作者称既有基准未同时覆盖缺参数和消歧。

    作者按工具智能体基准、多轮用户模拟、幻觉与消歧、领域策略来定位，并用 Table 1 对比覆盖范围。

    工具使用与智能体基准

    • 环境类基准：WebShop（Yao et al., 2022）、WebArena（Zhou et al., 2024）评测网页导航，ALFWorld（Shridhar et al., 2021）评测具身任务，SWE-bench（Jimenez et al., 2024）评测代码问题。论文只作背景，未与本文对打分。
    • 工具调用：API-Bank（Li et al., 2023）、ToolLLM（Qin et al., 2024）、MetaTool（Huang et al., 2024b）及 Huang et al. (2024a) 评测单次、并行和顺序 API 调用。作者称这类工作通常假设工具齐全、任务信息完整。
    • 扣留工具：BFCLv3（Patil et al., 2025）与 ToolSandbox（Lu et al., 2025）会扣留部分工具。作者称它们仍忽略缺参数和不完整输出。Table 1 注称二者对 Hallucination 只是部分覆盖。

    多轮对话与用户模拟

    • 离线轨迹：MultiWOZ（Budzianowski et al., 2018）、Chen et al. (2021)、ToolTalk（Farn and Shin, 2023）和 BFCLv3 使用预先收集的对话。作者称这是在理想历史上续写，而不是让模型自己形成策略。
    • 动态模拟：Mu et al. (2024)、Sekulic et al. (2024)、PlatoLM（Kong et al., 2024）以及 τ-bench、ToolSandbox 用 LLM 模拟器生成对话。作者称多数工作关注信息交换，而不是如何发现并处理不完整或含糊请求。

    幻觉、消歧与推理

    • 幻觉：Kalai et al. (2025) 与 Huang et al. (2025) 讨论模型因奖励补全而给出看似合理但不正确的信息，而不是承认不确定。
    • 消歧：Kobalczyk et al. (2025) 把消歧写成识别缺失信息并选择澄清策略。作者称 GPT-5 等推理模型有望改善，但推理是否、以及多一致地缓解这些问题，仍缺少评估。

    领域策略与实验对照

    • 策略基准：τ-bench 与 τ2-bench（Yao et al., 2024; Barres et al., 2025）在零售、航空、电信要求遵循策略，并用 Pass^k 衡量重复试验一致性。作者用 Stappen et al. (2023)、Strayer et al. (2016) 说明车载 API 与驾驶分心。Table 1 中 τ-bench 只覆盖对话，不覆盖状态依赖、Hallucination 和 Disambiguation。
    • 本文基线：实验用带原生工具调用的 LLM，不用 ReAct、Act-only、CoT 或高级智能体框架。作者引用 Yao et al. (2024) 称原生工具调用优于后两者，但本文没有重跑该对照。评测集是 CAR-bench 三类任务。xLAM-2 在 τ-bench 轨迹上监督微调，作为被测模型。

    作者称 τ-bench 是首个动态且策略引导的基准，ToolSandbox 扩展到状态依赖工具；CAR-bench 加上 Hallucination 与 Disambiguation。作者称 CAR-bench 是首个系统评测一致性、不确定性处理与能力意识的基准。

  3. 论文如何解决这个问题？

    CAR-bench用模拟用户、19条策略和58个工具，以三类任务评测车载多轮智能体。

    CAR-bench 用 LLM 模拟用户驱动多轮对话，智能体在 19 条策略下调用 58 个工具，观察或修改车载环境，直到给出回复。

    环境与交互

    • 可见性：用户只输出文本和评测用控制词，看不到工具调用与环境数据；智能体看不到控制词。二者只通过文本交互。人物含年龄（18–65）、对话风格（commanding、conversational、questioning）和技术熟练度（熟悉术语、日常用语或未指定）。
    • 策略与工具：19 条策略包括不允许的状态组合，以及发邮件前确认等检查。12 条用代码检查，7 条用 LLM-as-a-Judge；论文未写明裁判模型。工具分车辆功能、导航、充电、Productivity、天气和跨域：27 个 set、29 个 get、2 个 no-op（Table 3）。正文点名的规划工具是 no-op，可选用来起草计划。工具可并行或顺序调用。
    • 状态与数据：31 个动态状态可由 set 工具修改，12 个上下文变量任务内固定、任务间不同。正文写超过 130,000 个 POI、超过 1.7 million 条路线；Table 3 记 48 Cities、130K POIs、1.7M Routes、48 Weather、100 Calendars、100 Contacts。城市来自 Pareto Software（CC BY 4.0）。数据库主体用代码生成，联系人姓名等表层属性由 LLM 生成。

    三类任务

    • Base（100）：含人物、指令、初始状态与上下文、ground-truth 动作。人工核对后终态唯一。成功是到达该终态，且相关指标全为 1。Figure 2。
    • Hallucination（90）：去掉所需工具、工具参数或工具结果，请求变为不可满足。成功是承认缺失能力或信息，而不是编造。Figure 2 分三种移除。
    • Disambiguation（50）：在 Base 上加入可控歧义，可问用户或靠内部信息解决。系统提示要求先耗尽内部消解。过早行动导致错误终态，或已有消歧信息却多余提问，都算失败。附录 A.1 的优先级从严格策略、显式请求、用户偏好、启发式默认、上下文，到最后才问用户；附录给出完整提示词。

    成功判定与聚合

    • Base 六项：终态是否匹配 ground-truth；中间态是否落在 ground-truth 中间状态集合（与顺序无关，错误 set 即使后来纠正也失败，get 不纳入）；ground-truth 的 get 工具是否都被调用；工具调用是否合法；策略是否遵守；用户是否因 out of scope 结束。
    • 另两类：Hallucination 只用工具执行错误、策略错误和用户结束对话。第 3.3 节：承认限制记 1，编造记 0。Disambiguation 使用全部 Base 指标；disambiguation error 或 out of scope 使结束项为 0。附录 A.2 的控制词字符串与正文不完全相同，附录给出完整用户提示词。
    • 聚合：一次试验仅当全部相关指标为 1 时 rt=1。作者把一致性定义为 Passkt=1[∑i=1k rt(i)=k]，即 k 次全部成功才记 1。Pass@k 为至少一次成功。主实验取 k=3，再对任务平均。总 SCORE 是三类 Pass^3 的不加权平均，不按任务数加权。

    数据构建

    • 环境：工具、状态和上下文按真实类比手工设计并核对。代码基于 τ-bench。
    • 采样：先建 API 图，连接参数、读取的状态和状态变化，并纳入参数链与策略触发。采样多步轨迹后，均匀生成初始状态与上下文。LLM 智能体撰写通向该轨迹的指令，并与环境交互以调整 ground-truth。
    • 人工校验：全部任务经人工审改，检查措辞、完整性、动作、可执行性和终态唯一性。作者用 LLM 智能体反复试跑，若失败来自任务说明则修正。

  4. 论文做了哪些实验？

    GPT-5三类Pass^3均值.54，消歧Pass@3 .68、Pass^3 .36；最高消歧Pass^3为.42。

    实验设置

    • 被测模型：Table 4 共 11 个。思考：GPT-5、GPT-5.2、Claude-Opus-4.5、Claude-Sonnet-4、Gemini-2.5-flash（thinking）、Qwen3-32B、GPT-OSS-120B。自动思考：Gemini-2.5-pro。非思考：GPT-4.1、Gemini-2.5-flash、Salesforce/xLAM-2-32B-fc-r（基座 Qwen2.5，在 τ-bench 轨迹上监督微调）。版本与温度见附录 Table 6。
    • 推理：思考预算 2048 token，qwen3 无预算控制。温度能设则设 0；Claude 与 GPT-5 思考模式固定为 1，Qwen3 为 0.6。不用 CoT 或高级智能体框架。
    • 用户与裁判：用户模拟为 Gemini-2.5-Flash（thinking）。12 条策略用代码检查，7 条用 LLM-as-a-Judge；论文未写明裁判模型。
    • 数据与指标：Base 100、Hallucination 90、Disambiguation 50，每条 1–9 个动作。主指标是三类 Pass^3 的不加权平均，以及各类 Pass@1、Pass@3、Pass^3。k=3。作者称更高 k 会出现分数饱和。
    • 费用与脚注：跑完 100 个 Base 任务，用户模拟约 0.08 美元，带思考的 GPT-5 约 11 美元。GPT-5.2、Claude-Opus-4.5、Qwen3-32B、GPT-OSS-120B、xLAM 在首轮之后加入，未进入后续图和人工分析。

    主结果

    据 Table 4。总 Pass^3 为三类不加权平均。下表 8 行含最低分模型。省略 Claude-Sonnet-4（thinking，总 .47）、Gemini-2.5-flash（thinking，总 .41）、Gemini-2.5-flash（总 .34）。

    表格较宽，可左右滑动

    模型总Pass^3Base Pass^3Hall Pass^3Dis Pass^3Dis Pass@3
    GPT-5 (thinking).54.66.60.36.68
    GPT-5.2 (thinking).53.61.57.42.70
    Claude-Opus-4.5 (thinking).52.67.52.38.66
    Gemini-2.5-pro (auto-thinking).38.53.34.28.50
    GPT-4.1.37.57.31.22.46
    Qwen3-32B (thinking).31.45.27.22.50
    GPT-OSS-120B (thinking).28.36.37.12.28
    xLAM-2-32b.16.26.11.12.16
    • 一致性：作者称 Pass@3 与 Pass^3 普遍有缺口，消歧更明显。正文一处写 GPT-5 从 68% Pass@5 降到 36% Pass^3，另一处写 Pass@3（68%）与 Pass^5（36%）。Table 4 的列是 Disambiguation 的 Pass@3 与 Pass^3。
    • 难度：作者称表现从 Base 到 Hallucination 再到 Disambiguation 下降。作者称 Base 上 32% 的任务被所有模型解出，59% 至少被一个模型解出；消歧 Pass^3 没有模型超过 50%。
    • 思考与互补：作者称思考模型在三类上都更高。Figure 3 纵轴为 Pass^1（等于 Pass@1），横轴为 ground-truth 动作数 1、3、5、7、9；图例是 gemini-2.5-flash、claude-sonnet-4、gpt-5 的思考组，以及 gpt-4.1、gemini-2.5-flash 的非思考组之平均。曲线读数在文本中不可用。作者称 Claude-Opus-4.5 的 Base、Disambiguation Pass@1 为 77% 与 56%；Table 4 中 GPT-5.2 的 Disambiguation Pass@1 同为 .56。Hallucination Pass@1 上 GPT-5 与 GPT-5.2 均为 .74。正文写 Claude 在 Hallucination 上落后 .14 个 Pass@1；表中为 .74 对 .63。

    失败分类

    • 样本：第 5 节分析作者称为最佳非思考模型的 GPT-4.1，以及最佳思考模型 GPT-5，对象是 5 次中成功 0、1 或 4 次的任务。附录 C 给了轨迹示例。
    • 五类：E1 过早行动，E2 违反策略，E3 逻辑错误，E4 执行错误，E5 编造。E5a 隐去缺失信息，E5b 主动幻觉不存在的能力。
    • 作者的比例：Base 上持续失败的 GPT-5 中约 80% 为过早行动，并伴有策略违反。Hallucination 上 GPT-4.1 约 40% 为 E5b，GPT-5 约 70% 为 E5a。Disambiguation 上 GPT-5 约 90% 的失败是 E1。作者认为模型优先满足请求而非守策略；思考减少了 Base 上的 E3–E4 和文中所称 severe 的 E2，以及 Hallucination 上的 E5b，但没有缓解 E1。

    用户模拟与人物设定

    • 人工核对：对 GPT-5 的 k=5 全部失败做检查。Base（5×100）用户错误 12 次（2.4%），6 次为唯一原因（Pass^5 降 6%）。Hallucination（5×90）22 次（6.1%），8 次唯一原因（降 9%）。Disambiguation（5×50）7 次（2.8%），4 次唯一原因（降 8%）。
    • 人物：按年龄、对话风格和技术熟练度分层后，作者称未发现表现差异。论文未给出各层样本量或检验细节。

    延迟与成本

    • 一轮 100 个 Base 任务（Table 5）：gpt-5（thinking）Base Pass^3 .66，每次 LLM 调用 22.7 秒，每任务 .11 美元；claude-sonnet-4（thinking）.63、5.3 秒、.26 美元；gemini-2.5-flash .48、1.1 秒、.02 美元。后一行数值与 Table 4 中 Gemini-2.5-flash 的 Base Pass^3 相同，Table 5 未再写思考模式。
    • 作者解读：延迟应视为近似。作者称 Claude-Sonnet-4 费用超过 Gemini-2.5-Flash 的 10 倍（不计缓存）。工具定义约 10K token，策略约 3K token，推理每完成加 100–500 token。作者认为最强模型往往太慢或太贵，更快更便宜的模型在复杂任务上更弱。

    其他消融与分析

    • Figure 4 比较 gpt-5（thinking）与 gpt-4.1 的 Base 指标错误率；用户结束对话错误率为 0，Actions 合并终态与中间态。柱高与类别在文本中对不齐，不引用柱值。作者称 GPT-4.1 的额外错误主要来自策略违反、工具执行失败和漏掉必要 get。
    • Qwen3-32B 的 Base Pass@1 为 .62，GPT-OSS-120B 为 .39。作者称 Qwen3 推理轨迹长得多。
    • xLAM-2-32b 的 Base Pass@1 为 .38；作者称与 GPT-OSS-120B（thinking）在 Base 上相当，但 Hallucination、Disambiguation 的 Pass^3 降到表中的 .11 与 .12。
    • 作者认为 Gemini-2.5-pro 自分配的推理预算尚未与任务完成对齐。其总 Pass^3 为 .38，低于表中 Gemini-2.5-flash（thinking）的 .41。

  5. 有什么可以进一步探索的点？

    作者指出模拟用户噪声、环境范围、安全层分工和数据规模仍需后续工作。

    作者指出的局限与后续方向

    • 模拟用户：第 7 节写，LLM 用户会继承幻觉和意图不一致，给结果带来噪声或偏差，也可能偏离自然交互。作者提出未来可加检查或校验模型；换其他或更强的用户 LLM，可能改变用户错误和智能体成功率。用户更熟悉智能体后，风格和期望也可能变化。
    • 环境范围：第 7 节写，工具、策略和上下文不能完全覆盖真实情境。多用户交互、长程规划，以及车内场景、图形界面、光照等多模态线索不在范围内，作者视为可扩展方向。
    • 安全分工：第 7 节写，当前把策略与安全检查交给智能体。生产系统通常会用规则层冗余校验。推理与外部保障如何分工，作者称为仍开放，并认为取决于风险容忍和监管要求。
    • 数据规模：第 7 节写，人工校验的数据点可用于评测，但当前规模不足以做大规模微调，扩充的人工成本高。作者指出合成扩充（Prabhakar et al., 2025; Fang et al., 2025）是保持质量并扩大规模的途径。
    • 开源与训练：第 7 节写，当前基线用专有模型建立性能上界，开源权重和更小模型的评测仍是下一步。作者认为可验证轨迹适合监督微调、偏好优化和强化学习；并称这种领域优化在 CAR-bench 出现之前做不到。
    • 架构：第 5 节写，未来可探索把信息收集与执行分开，以避免在完成效率压力下跳过上下文。

    实验覆盖范围

    • 模型与协议：Table 4 报告 11 个模型的三类任务，主指标 k=3。其中包含 Qwen3-32B、GPT-OSS-120B 和 xLAM-2-32b。附录 Table 6 给出版本与温度；思考预算 2048 token，qwen3 除外。第 4.1 节写明未使用 CoT 或高级智能体框架。
    • 数据与判定：Base 100、Hallucination 90、Disambiguation 50；工具 58，策略 19，其中 12 条代码检查、7 条 LLM-as-a-Judge。论文未报告裁判模型名称。
    • 用户侧：用户模拟固定为 Gemini-2.5-Flash（thinking）。k=5 的用户错误人工检查只针对 GPT-5。论文未报告人物设定各层样本量。
    • 错误分析：第 5 节只分析 GPT-4.1 与 GPT-5 中 5 次里成功 0、1 或 4 次的任务。脚注中的 5 个后加入模型未进入后续图和该人工分析。
    • 部署数字：Table 5 只比较 gpt-5（thinking）、claude-sonnet-4（thinking）、gemini-2.5-flash 在一轮 100 个 Base 任务上的延迟和费用。

  6. 总结一下论文的主要内容

    CAR-bench评测车载智能体的一致性与限度意识；消歧Pass^3最高.42，GPT-5三类均值.54。

    CAR-bench 是车载多轮工具智能体基准，同时看终态是否做对、三次试验是否都能做对，以及做不到时会不会承认。

    • 要解决的问题：作者认为真实请求常不可满足或含糊。既有基准多假设信息齐全，或在离线轨迹上续写，没有把缺参数、不完整观测和消歧放进同一套带策略的多轮评测。
    • 做法：LLM 用户按人物和指令发言，智能体遵守 19 条策略并调用 58 个工具。Base 100 题要求到达唯一终态；Hallucination 90 题移除工具、参数或结果，成功是承认限制；Disambiguation 50 题要求先用内部信息消解，再问用户。任务只在全部相关二元指标为 1 时算成功。Pass^3 要求 k=3 次全成功，Pass@3 要求至少一次；总 SCORE 对三类不加权。
    • 主要结果：Table 4 中 GPT-5（thinking）的三类均值为 .54，Hallucination 的 Pass^3 为 .60，Disambiguation 的 Pass@3 为 .68、Pass^3 为 .36。消歧 Pass^3 最高是 GPT-5.2 的 .42。xLAM-2-32b 的总分为 .16。作者称思考模型更高，但仍优先完成请求；GPT-5 的消歧失败中约 90% 是过早行动。
    • 作者的结论：部署需要准确使用工具、遵循指令、管理不确定，并如实说明系统限制。作者把 CAR-bench 的基线、Pass^k 和错误分类，当作后续架构、提示和训练可以对照的记录。
阅读原文arxiv.org