研究：视觉语言模型在协作任务中很少主动表达指代不确定性

在 Helper 只见目标、AI Worker 只见拼图的协作里，指称不确定性（referential uncertainty）能否被表示、说出来，并被人用来拒绝错误放置。

• 场景：作者认为，描述含糊、相似对象竞争或双方所见不同时，指称落地（grounding）会变脆。本文把人机协作当作 ad hoc teamwork：双方没有共同训练，人类更难判断 AI 何时需要被审视。
• 既有缺口：校准、澄清提问和人类依赖已有研究。作者认为尚未把这些能力放进协作指称沟通里连接起来看：对当前备选指称的不确定、何时用澄清而不是单纯弃权、人类是否认出并能否补上消解信息。
• 直接动机：在所用拼图基准中，Helper 看不见 Worker 动作时摩擦更明显：AI 很少提问或表达不确定，人类也很少纠正。Worker 常含糊复述指令，既看不出是否选对，也不促使对方核查。
• 本文做的事：把指称不确定性操作化为候选块上的分布，用三种信号测量 Worker 的识别与外化；在三个视觉语言模型上检验这些信号如何随指令含糊和易混棋盘变化；再用 N=210 的被试间研究看精确描述和 hedge 如何改变人对对错的判断与打算采取的行动。

论文在引言和 Prior Work 中按三条线组织已有工作，没有逐篇把它们当作被击败的基线。

共同基础与指称落地

• Clark and Brennan (1991)、Clark and Wilkes-Gibbs (1986)：落地是协作过程，用确认、澄清和修正建立够用的共同理解，并遵循最少协作努力。
• Krauss 等、Fussell and Krauss (1992)、Brennan and Clark (1996)：共享指称会变短并在落地后保持稳定，即便存在更省力的说法。
• 近期 LLM 工作：Shaikh 等 (2024, 2025) 讨论落地缺口；Poelitz and McKenna (2026) 做澄清与纠正对话；Wu 等 (2025) 的 CollabLLM 面向协作；Madge 等 (2025) 比较人与 LLM 在指称歧义下的澄清。论文此处只作描述，没有逐篇指出相对本文的不足。

信任与适当依赖

• Zhang 等 (2020)：展示任务置信度会让用户更接受高置信推荐，但未提高决策质量；论文写这是因为人机能力并不互补。
• Bansal 等 (2021)、Schemmer 等 (2023)：解释可能提高对 AI 建议的接受，或不提高对错误建议的拒绝。Schemmer 等把适当依赖定义为接受正确建议、拒绝错误建议。
• Kim 等 (2024)、Rechkemmer and Yin (2022)：论文写 hedge 降低用户信心和接受率，但没有提高准确区分对错的能力；观察到的准确率对接受的影响强于陈述置信。

不确定性估计与校准

• token 概率：Kadavath 等 (2022) 在部分选择题上校准较好；论文同时写到校准并不跨设置一致，且对较新的推理模型可能更不可靠。Guo 等 (2017) 的显式校准依赖可用的校准数据。综述见 Xia 等 (2025)。
• 采样与口头置信：Farquhar 等 (2024)、Kuhn 等 (2023) 用采样和语义聚类区分措辞变化与意义变化。Lin 等 (2022) 微调模型以言语表达置信；Tian 等 (2023) 发现经 RLHF 微调的模型上，口头置信在选择题上可优于原始 token 概率。
• 表达与估计是两件事：Zhou 等 (2024) 认为 RLHF 会惩罚不确定性表达，使普通回答过于自信；Xiong 等 (2024) 用推理提示或多答案一致性改进引出置信。论文强调引出的置信不同于普通回答里流露的确定程度。

基线与数据

• 信号基线是同一已提交放置上的原始动作 token log-prob、温度校准 log-prob 和单独引出的信念分布。人类条件基线是 Generic（原始消息、棋盘隐藏），对照 Described、Hedged、Visible board 和 Self-hedged。数据来自 Poelitz 等 (2026) 的协作拼图基准。

作者把本文放在这三条线的连接处：不只看信任升降或概率是否校准，而是看眼前任务中的备选指称如何被表示、何时用澄清外化，以及人类协作者能否认出并据此行动。引言另将场景定为 ad hoc teamwork（Altschuller and Benbunan-Fich 2010；Stone 等 2010）。

作者没有提出带专名的新算法，而是把 指称不确定性 定义成 Worker 可见候选块上的分布，分开测量“表示”和“说出来”，再在录制回合上操纵人类能看到的信息。

任务与正确性

• 信息不对称：Helper 看见四块目标图案，Worker 看见 24 块视觉上易混的拼图和自己的棋盘。练习后有四次试验，同一目标块换配置。本文主体只分析 Helper 看不见 Worker 动作的任务；可见棋盘只出现在人类研究的一个条件。
• 评分对象：人工标注意图指称，不用 Worker 实际放下的块当正确目标。z_t = I[ŷ_t = y_t^gt]，即所选块等于意图块才算正确。不放置不自动算作澄清。准确率只在已提交放置上计算，并另报 coverage，即指令回合中实际放置的比例。
• 数据来源：使用 Poelitz 等基准的录制互动。模型分析针对人类 Helper 指示 AI Worker 选块并放置的回合；人类研究取非共享视角、前两个 trial。

三种置信信号

同一已提交放置比较三种可观察输出，作者写它们不是内部信念的直接测量。

• 原始 log-prob：仅 GPT-4.1。在动作里 piece-id token 处取 top-20，合并指向同一块的 token，再在返回候选上归一化。这不是全部 24 块的完整分布。
• 温度校准：单一全局温度，在独立 development set 上最小化负对数似然，本文 T★=16.5。返回列表里没有的候选给固定低分，再在 24 块上归一化。附录写 Kendall τ=0.52，校准后置信不是原始概率的单调变换。
• 引出信念：另一次调用，输入同一动作前上下文，要求给出 24 块上和为 1 的分布；不要求模型采取动作或写思维链，也不用这次调用来选动作。附录 Figure 7 给出该调用的提示词。

分布不确定性用香农熵 H_ref(p_t)=−∑_i p_tiln p_ti，单位 nats。作者写三种信号的构造和候选覆盖不同，熵不能当成同一标尺。GPT-4.1 使用 temperature 0；GPT-5 与 GPT-5.5 没有温度参数，thinking effort 设为 default。后两者在本文设置中不暴露 token log-prob，跨模型比较只用引出信念。

难度重放

• 单提示、off-policy：把该回合之前的对话收成一段历史，当前 Helper 指令附上棋盘和 24 块（图像或文本）。新回复不写回后续回合。A.5 写 GPT-4.1 单提示与原始多轮在是否行动上一致 95%，在所选块上一致 86%。
• 三个因素：上下文模态（原图像对显式文本）；指令特异性 L1 过指定到 L4 含糊，L0 为原始指令并放在 L2 与 L3 之间；棋盘易混 B1 只有不同块、B0 原棋盘、B2 加入一组相似块，指令保持不变。附录 Table 13 给出特异性模板。Table 12 写另有误导级别 L5，不在所报告的轴上。

人类看到什么

被试间设计。参与者从 Helper 视角评价录制互动，直到某一 Worker 回复；其选择不改变后续对话。五条件保持底层放置不变（Table 1、Figure 1）。

• Generic：原消息，棋盘隐藏。
• Described：原消息加上对实际所选块的精确描述。
• Hedged：在 Described 上加入不确定提示，由 oracle 放在一部分客观错误回合。4.1 节写这覆盖大约一半错误回合，并且这不是可部署策略，因为需要知道选择是否错误。Figure 1 给出提示示例。
• Visible board：仍用原消息，但向 Helper 展示 Worker 工作区。
• Self-hedged：hedge 措辞与 Hedged 相同，触发改为引出信念熵超过固定阈值。阈值在 GPT-4.1 原回合上按比率匹配：τ=1.34 nats，触发率 51%，对齐经验错误放置率 52%。

脚注写：原消息两条件词数接近（Generic 31.5、Visible board 30.4，Holm p=.53）；三个带描述的条件彼此约差 2 词。作者据此认为棋盘可见性和 hedge 的对比没有与消息长度混淆。

判定与推断

• 模型侧：AUROC、ECE、Brier、信念熵、准确率、coverage、澄清率。澄清先筛掉非放置回复，再用 GPT-5.5 标注是否为澄清问题；正文说附录给出标注提示词。
• 人类侧：正确可能性与表观置信均为 0–100；打算的行动为接受、撤销、要求解释或核实、给出更具体指令。rating discrimination 是对、错回合的正确性评分之差；action discrimination 是对、错回合接受率之差（附录 A.3）。
• 统计：条件对比以被试为推断单位，用置换检验；Generic、Described、Hedged、Visible board 为主家族，Self-hedged 为单独的探索家族，家族内做 Holm 校正。

实验设置

• 模型：GPT-4.1（2025-04-14）、GPT-5（2025-08-07）、GPT-5.5（2026-04-24），经 Azure OpenAI 调用。动作 token log-prob 只对 GPT-4.1 可用。澄清回复的标注模型是 GPT-5.5。
• 拼图数据：Table 8 写来源对话 206 段、44 个 session，共享/非共享视角 105/101，每 session 5 个 puzzle，目标为 4 块。模型校准主表是已放置且有标注的回合。
• 信号对比范围：Table 2 为 GPT-4.1、图像、on-policy、n=554 个已行动回合。难度与澄清分析是单提示重放，作者标明为 off-policy。
• 人类研究：非共享视角、前两个 trial。Table 4 写研究用回合 n=228，准确率 36.4%；全部回合 n=554，准确率 53.4%。剔除退回 37、超时 1、拒绝 2 后保留 N=210（男 107、女 101、未披露 2；年龄 18–76，均值 37.5）。各条件 41、42、42、43、42 人。论文写招募基于功效分析，未给出具体参数。
• 人类指标：正确可能性、表观置信、分对错的接受率、rating discrimination、action discrimination。摘要与 1.2 节另报 Generic 的 AUC。评审不是单独的 LLM 打分，而是参与者 0–100 评分。
• 模型调用设置：GPT-4.1 temperature 0；GPT-5/5.5 的 thinking effort 为 default。论文未报告引出信念的重复采样次数。

主结果

人类研究的参与者均值见 Table 5（主家族 168 人，另加探索条件 Self-hedged 42 人）。感知正确性与表观置信为 0–100。

Swipe horizontally to read the table

条件	感知正确性	表观置信	接受正确	接受错误
Generic	77.6	85.5	79.0%	78.3%
Described	67.3	85.7	78.6%	57.1%
Hedged	56.1	58.5	73.7%	36.4%
Visible board	53.7	83.3	64.8%	30.1%
Self-hedged	61.5	56.6	60.1%	50.2%

• 作者称只给默认消息时，人接受多数错放且分不出对错。摘要与 1.2 节写 Generic 的 AUC=0.50；Table 5 的 rating discrimination 为 −0.1，action discrimination 为 0.7 个百分点。摘要把错放接受率写作 78%，把 Hedged 写作 36%；表中为 78.3% 与 36.4%。
• 精确描述降低感知正确性和错放接受，但不降低表观置信（85.7）。只有两个 hedge 条件把表观置信降到 58.5 和 56.6。1.2 节写 Hedged 的正确放置接受率大体保持，并给出 74%；Table 5 为 73.7%。
• Self-hedged 的表观置信与 Hedged 接近，但错放接受率 50.2%，区分度为 8.8 / 10.0 个百分点。作者把它放在探索家族，而不是与前四条件并列的主对比。

置信信号是否校准

• 测了什么：GPT-4.1 图像、on-policy、n=554，三个信号都给已放置的那一块打分，因此准确率同为 53.43%（Table 2）。Figure 2 是可靠性曲线和按对错分开的置信分布；下面只转述表和图注，不描述看不见的曲线形状。
• 结果：原始 log-prob 平均置信 0.973、AUROC 0.644、ECE 0.442、Brier 0.439。温度校准（T★=16.5）平均置信 0.531、AUROC 0.623、ECE 0.157、Brier 0.271。引出信念平均置信 0.547、AUROC 0.648、ECE 0.152、Brier 0.253。摘要与 1.2 节把后一组四舍五入为 AUROC 0.65、ECE 0.15，并把原始信号写作平均置信 0.97、ECE 0.44。Table 9：原始过度自信 +0.438（95% CI [0.40, 0.48]）；引出信念 +0.013（[−0.03, 0.05]）。
• 作者解读：三个信号的 AUROC 都高于 0.5（p 分别为 <10^−7、<10^−6、<10^−9）。Table 10 的成对差距不大：引出信念相对校准 log-prob 的 ΔAUROC=+0.025（p=.26），相对原始 +0.003（p=.41）。作者称引出信念是唯一同时具有这一区分度与较好校准、且不依赖 token log-prob 的信号；图注称温度缩放缩小了过自信差距。作者还称校准后 log-prob 的对、错分布几乎分不开，引出信念还能把它们分开。

难度、模态与是否说出来

• 模态（Table 11）：在两种模态都放置的回合上，文本使 GPT-4.1 准确率从 52.9% 到 66.0%，GPT-5 从 58.4% 到 71.7%（均 p<0.001）；GPT-5.5 为 66.7% 对 70.1%（p=0.16）。no-action 比例：GPT-5 从图像 22.7% 到文本 33.9%；GPT-4.1 约 11%，GPT-5.5 为 12.9% 到 16.1%。信念熵并不跟着准确率一起下降：GPT-4.1 图像 1.74、文本 1.56 nats；GPT-5 为 0.78 对 0.84；GPT-5.5 无差异（p=0.62）。
• 含糊与易混：Table 14 的有序轴上，准确率、coverage 和熵的线性趋势均为 p<0.001。图像模态每步准确率斜率：GPT-4.1 −21.2、GPT-5 −20.2、GPT-5.5 −15.5 个百分点；熵斜率 +0.313、+0.510、+0.469 nats。Table 15：易混每步准确率斜率 −11.7 至 −24.6 个百分点（均 p<0.001），熵斜率 +0.052 至 +0.194 nats；coverage 除 GPT-5.5 文本（−6.3 个百分点）外没有显著趋势。1.2 节另给概括端点：含糊使信念熵从 1.29 到 2.77 nats、错误率从 0% 到 77%，易混使错误率从 19% 到 50%；该句未按模型拆开。
• 外化：Table 16 图像澄清率：GPT-4.1 3.48%（N=546）、GPT-5 16.73%（N=556）、GPT-5.5 6.19%（N=549）；文本为 1.60%、23.84%、8.83%。摘要写作 3.5%–16.7%（图像）。hedge 式而非点名提问的比例，每个模型都低于 1%。以录制放置为“提问是否有用”的代理时，只有 GPT-5 图像把澄清集中到错误回合：22.3%（n=103）对 11.1%（n=117），p=0.020；其文本为 29.4% 对 26.5%，p=0.37（Table 17）。作者称易混时概率峰移到单个相似块，而不是在簇上摊开：argmax 在 B1 与 B2 间切换的比例为图像 38%、文本 46%，其中 79% 与 58% 落入同族簇，机会率约 15%（Table 3）。

hedge 瞄准与条件对比

• 相对 Generic（Table 6）：Described 的 rating discrimination +16.9（95% CI [8.7, 25.4]），action discrimination +20.7 个百分点，错放接受 −21.2 个百分点；表观置信 +0.2，作者标为 n.s.。Visible board 相对 Generic 改善四项决策质量指标，表观置信 −2.2，n.s.。
• Hedged 的位置：相对 Described，表观置信 −27.3（95% CI [−33.1, −21.3]，p<.001），错放接受 −20.7 个百分点（p=.049）；action discrimination +15.9 个百分点只在结局内校正下显著，rating discrimination +10.9 不显著。相对 Visible board，决策质量各项作者报告不可区分（错放接受 p=.31，action discrimination p=.75），表观置信低 24.9（95% CI [−30.7, −18.9]）。
• 自身熵触发（Table 7）：oracle 标出的错误回合，接受率 59% 到 34%（−24.8 个百分点，Holm p=.014），表观置信 86.5 到 36.3，正确性评分 63.4 到 46.1；未标出的正确回合 79% 到 74%，作者报告不显著。Self-hedged 精度 69%（29 个错误、13 个误报）。被它标出的错误回合，接受率 57% 到 41%（−15.8 个百分点，p=.22）；被误标的正确回合 87% 到 49%，表注写这一行是描述性的。漏标错误的接受率 56% 到 62%。相对 Described，区分度差异不显著（rating p=.09，action p=.14）。作者称收益来自瞄准，而不是 hedge 本身；按自身熵触发会继承信号弱点，并可能把注意力引到放对的块上。

其他消融与分析

• Table 18 图像：信念熵预测模型自身错误的 AUROC 为 GPT-4.1 0.548、GPT-5 0.603、GPT-5.5 0.659；“熵不低于中位数就 hedge”的召回 0.57–0.68，正确回合 FPR 0.41–0.46。
• Table 4：研究子集上引出信念 AUROC 0.5、ECE 0.207、Brier 0.267；全部回合为 0.648、0.152、0.253。
• 1.2 节把可部署自触发写成 AUROC≈0.55；与 Table 18 中 GPT-4.1 图像的 0.548 同量级，不是三模型的共同数值。
• 提问与熵的点二列相关 r=0.18–0.39，均 p<10^−4（第 7.2 节；分模型见 Table 18）。
• Table 20 的 pair composite：Generic 3.89、Described 3.46、Hedged 3.16、Visible board 3.09、Self-hedged 3.18。作者称决策质量较高的条件，主观流畅度较低。
• 文本澄清率高于或低于图像取决于模型（Table 16），GPT-5 文本最高，为 23.84%。

作者指出的局限与后续方向

论文没有单独的 Limitations 节。Conclusion 把后续工作写成两个互补方向，并加了一条评分要求。

• 校准引出信念：作者写未来应通过微调更好校准引出信念，并引用 Lin 等以及 Liu 等（Conclusion）。
• 决定何时外化：作者写需要能适应“何时把不确定性说出来”的技术，依据不应只是原始熵，还可以包括完整信念分布、候选差距、指令含糊和语境易混（Conclusion）。
• 按意图指称评分：作者写正确性必须相对意图指称来评，而不是相对 Worker 实际观察到的放置（Conclusion）。

实验覆盖范围

• 被测模型为 GPT-4.1、GPT-5、GPT-5.5；动作 token log-prob 与温度校准只在 GPT-4.1 上报告，跨模型比较使用引出信念（A.5、第 5 节）。
• 人类研究 N=210，五条件各 41–43 人；材料来自非共享视角会话的前两个 trial，Table 4 的 study turns 为 n=228。参与者给出判断和打算采取的行动，选择不改变录制互动，也不引出下一句 Worker 回复（第 4 节）。
• 稳健性重放包含图像与文本、指令级别 L0–L4、棋盘 B1/B0/B2（第 6 节）。A.5 写该重放是 off-policy，不把新的放置或澄清写进后续对话。Table 12 写 L5 误导模板不在所报告的轴上。
• Hedged 用 ground truth 决定哪些错误回合加提示；Self-hedged 的阈值在 GPT-4.1 原回合上按 51% 对 52% 做比率匹配，τ=1.34 nats（第 4.1、8 节）。澄清率由 GPT-5.5 标注非放置回复得到（第 7.1 节、Table 16）。
• 论文未报告功效分析的具体参数，未报告温度拟合所用 development set 的规模，也未报告引出信念的重复采样次数。统计程序汇总在 Table 21。

这篇工作测量协作拼图中的指称不确定性：AI Worker 是否知道人类描述指向 24 块里的哪一块，以及把这种不确定说出来能否让人拒绝错放。

• 设定：Helper 看见四块目标，Worker 看见易混拼图；默认不共享棋盘。作者把问题拆成 Worker 的识别与外化，以及 Helper 的认出与行动。正确性相对人工标注的意图块，而不是 Worker 实际放下的块。
• 测量：在同一次已提交放置上比较原始动作 token 概率、全局温度校准和另一次调用得到的 24 块信念。含糊指令、易混棋盘和图像/文本被做成重放；人类研究则只改消息或棋盘可见性。
• 模型侧：GPT-4.1 图像、on-policy、n=554 时，准确率 53.43%。引出信念 AUROC 0.648、ECE 0.152；原始概率平均置信 0.973、ECE 0.442（Table 2）。区分度的成对差距不显著（Table 10）。含糊指令同时拉低准确率并抬高熵（Table 14）；易混棋盘主要抬高错误，熵每步只升 0.052–0.194 nats（Table 15）。图像澄清率为 3.48%–16.73%（Table 16）。
• 人类侧：Generic 接受 78.3% 的错放，rating discrimination 为 −0.1（Table 5）；摘要写 AUC=0.50。oracle 瞄准的 Hedged 把错放接受率降到 36.4%，正确接受率为 73.7%。按自身熵触发的 Self-hedged 仍接受 50.2% 的错放；Table 7 中其误报回合的接受率从 87% 降到 49%（描述性）。
• 作者的结论：模型可以表示一部分指称不确定性，但很少外化；人类伙伴需要的是瞄准正确回合的描述和 hedge。作者认为按信念熵自触发会继承该信号的弱点，收益来自瞄准而不是 hedge 这句话本身。后续方向是微调校准，并用比原始熵更丰富的线索决定何时说出来。