知道自己知道什么并不够：大语言模型的置信度与其行动不一致
Knowing What You Know Is Not Enough: Large Language Model Confidences Don't Align With Their Actions
论文速读
据论文全文整理（AI 生成），以原文为准
研究者通过预测市场下注、工具调用和用户质疑三类实验发现，大语言模型的行动经常与自身置信度估计相矛盾，存在系统性的行动与信念差距（action-belief gap）。
- LLM 越来越多被部署在 agentic、多轮工作流中执行有后果的动作，但置信度提取方法通常只在静态问答数据集上按 calibration（如 ECE）评估。作者指出这隐含假设模型会按自己的信念行动，而这一假设尚未被检验。
- 设计三个最小化的交互实验：预测市场下注（线性/对数效用）、提供 oracle 搜索工具的工具调用、以及用户质疑下的答案坚持/改口。在 7 个模型（5 个家族，含开源与闭源）上用 logit、采样、口头三种置信度提取方法，比较动作与置信度的一致性。
- 三种设定下都观察到 action-belief gap：模型常下注方向与自身高置信预测相反，低置信时不可靠地调用搜索工具，高置信时反而改口、低置信时反而坚持。静态 calibration 不能预测一致性，部分更强调校准的闭源模型（如 Gemini 2.5 Pro）有时比更小的开源模型更不一致；一致性只与任务表现呈中等正相关。
- 作者提出 gap 可能部分源于置信度提取方法本身未能指向真实内部信念，也可能反映 LLM 行为与内部世界模型的不稳定，两者各占多少留待未来工作。未来可寻找专为 agentic 一致性优化的置信度提取方法，并测试 GAC 等新方法在本实验设计上的表现。
研究者通过预测市场下注、工具调用和用户质疑三类实验发现，大语言模型的行动经常与自身置信度估计相矛盾，存在系统性的行动与信念差距（action-belief gap）。实验覆盖 5 个模型家族的 7 个模型（含 GPT-4o、Gemini 2.5 Pro、Llama 3.1 8B 等），并用 logit、采样和口头表述三种方法引出置信度。在 Metaculus 预测市场上，模型常与自己高置信度的预测反向下注，没有场景的方向一致率超过 79%，GPT 系列多数时候与信念不一致；置信度低时模型也未能可靠调用搜索工具；面对用户质疑，模型会改口高置信度的答案，却坚持低置信度的答案。分析显示，静态校准（ECE）不足以预测动态场景中的行为一致性，校准良好的 Gemini 2.5 Pro 有时比更小的开源模型更不一致。作者主张在智能体部署场景下，应把行动与信念一致性作为评估置信度引出方法的补充指标。
推荐理由论文发现模型行动常与自身置信度相悖且静态校准不足以预测这种一致性，为评估智能体可靠性提供了校准之外的维度。