多模态大语言模型免训练不确定性估计的系统研究

MLLM 需要免训练的不确定性估计来支持弃答和转交，但哪种信号可用取决于回答长度，现有方法也达不到低风险下的可用覆盖。

• 场景：作者称 MLLM 正被用于智能体等多步流程，以及医学诊断、自动驾驶等安全关键领域；幻觉限制部署。不确定性估计被用来弃答、转交人类、触发核验，或把查询路由到更强模型。
• 现有不足：视觉输入增加遮挡、低分辨率和分布外场景等歧义，VQA 又从单 token 选择覆盖到多句开放描述。作者称多数 UE 只在短答案问答和较窄模型上验证过。
• 观察：免训练方法可按文本 token、自然语言自评和语义三个粒度组织；作者要看估计质量如何随模型族、代际、规模和回答长度变化。
• 做法：给出三类免训练 UE 的分类，并在 InternVL 与 QwenVL 两个族、两代、小/中两种规模和五个 VQA 基准上比较。CHDA 在小子集上校准阈值，用来模拟部署时的幻觉检测准确率。作者把幻觉检测视为 UE 的一个下游用途。

论文把相关工作分成单模态 UE 与多模态幻觉两条线，方法节再点名它实际比较的信号来源。

单模态 LLM 的不确定性估计

• 语言化置信：Lin et al. (2022)、Kadavath et al. (2022)、Xiong et al. (2024) 让模型用自然语言表达不确定或置信。
• token 级与语义级：Malinin and Gales (2020)、Guerreiro et al. (2023)、Li et al. (2024) 使用输出概率；Kuhn et al. (2023)、Farquhar et al. (2024)、Nikitin et al. (2024) 在语义空间度量不确定；Zhang et al. (2025) 讨论长文本校准。综述见 Xia et al. (2025)、Shorinwa et al. (2025)。
• 论文的批评：这些方法大多在短答案问答和较窄模型集合上验证（并点名 Zhang et al., 2025, 2024; Kadavath et al., 2022; Lin et al., 2022; Chen et al., 2025）。迁移到有视觉歧义和多种输出格式的多模态设置，作者称仍是开放问题。

多模态幻觉

• 现象综述：Bai et al. (2024)、Liu et al. (2024) 把 MLLM 幻觉写成视觉输入与文本输出错位，分为物体、属性和关系不一致，并回顾语言先验、视觉定位弱和解码层缓解。
• 检测信号：Chen et al. (2026) 分析忠实性与事实一致性，包括基于置信和不确定性的检测；Sahoo et al. (2024) 覆盖语言、图像、视频和音频。

本文比较的方法来源

• 语言化：Groot and Valdenegro Toro (2024)、Borszukovszki et al. (2025)、Xuan et al. (2025)、Zhao et al. (2025) 被论文转述为：MLLM 在给出数值置信时过度自信、校准差。Wang and Nalisnick (2025) 用弃答提示，Kriz et al. (2025) 用强化学习优化提示。本文只研究弃答与数值置信两种免训练变体。
• token 级：Fang et al. (2024)、Seo et al. (2025) 抑制不确定的视觉 token；Li et al. (2024) 在自回归解码的输出分布上量化不确定。本文沿后者采用熵与 NLL。
• 语义级：Farquhar et al. (2024) 的 Semantic Entropy，Zhang et al. (2024) 的 VL-Uncertainty，Liao et al. (2025) 的 VASE。Leng et al. (2024) 被引为把语言先验与图像条件推理分开的相关做法。

基线与基准

• 基线方法：Verbal Abstain、Verbal Confidence、均值/最大熵与 NLL（温度 0.1 与 1.0）、Semantic Entropy（N=5/10）、VASE、VL-Uncertainty。它们互为比较对象，不是另设的外部系统。
• 基准：ScienceQA、MMMU、MM-Vet、FSVQA200、LLaVABench，以及 MM-Vet 的受控变体 MM-Vet Long，按短、句长、长回答分组。

作者把本文与上述工作的区别写成：不同于只刻画 MLLM 幻觉或只综述单模态 UE 的综述，本文把 UE 当作 MLLM 的一般可靠性框架，并按模型族、规模、代际和回答长度拆开比较免训练方法。

作者不训练新的估计器，而是把已有免训练 UE 分成语言化、token 级和语义三级，在同一套 VQA 上比较排序质量和部署弃答。

三类信号

• 语言化：不确定时输出 UNKNOWN，或在答案旁给出数值置信。论文称两者都可用于开源和专有模型，不增加额外推理，但依赖模型自我校准。
• token 级：需要输出分布，论文称不适用于闭源模型。对自回归生成逐步计算词表熵和已生成 token 的负对数似然。熵看所有可能续写，NLL 看实际轨迹。再对整段取均值（长度归一的全局不确定）或最大值（局部尖峰）。当前步熵为 H_t=−∑_{v∈ V}p_θ(v∣ x,y_<t)log p_θ(v∣ x,y_<t)，表示该步对词表的不确定。
• 语义级：从 p(s|x) 抽 N 个样本，用双向蕴含分成 K 个语义类，再在簇上算熵：SE(x)≈−∑_k=1^Kp̂(C_k∣ x)logp̂(C_k∣ x)，表示样本在语义上的分散。实验中簇概率由长度归一的序列对数似然估计；论文称闭源、拿不到似然时可用簇频率。VL-Uncertainty 用图像模糊和文本改写代替随机采样。VASE 对比原图与噪声图上的簇。语义方法需要多次推理、单独的蕴含模型（论文未给出模型名）和聚类。

采样与代价

• 温度：正文把常用低温度写作 0.1。token 级另做一次 T=1.0 前向来估计不确定，表中代价从 1× 变为 2×。
• 语义采样：Table 1 将 Semantic Entropy 标为 N=10（11×）和 N=5（6×），并将 VASE、VL-Uncertainty 标为 N=10、11×。附录逐基准表将 VASE 标为 N=5、6×，与主表标签不一致。
• 代价定义：Cost 是每个样本的前向次数。论文未解释 N=10 为何对应 11×。

成功判定与指标

• AUROC：把错误回答当作幻觉正类，衡量分数对对错的排序；0.5 为随机，1.0 为完全分开。论文未说明自由形式回答的对错如何判定。
• Cov@r：不确定超过阈值则弃答。覆盖是作答比例，风险是作答中的错误率。Cov@r 是风险不超过预算 r 时的最大覆盖。主结果用 Cov@20，即 r=20%。
• CHDA：先在各基准抽一个小子集合成校准集，取使幻觉检测准确率最大的阈值，再在完整评测集上计算。真阳性是错误且被标为不确定的回答，真阴性是正确且分数低于阈值的回答。校准子集条数论文未写。

数据分组

• 短：ScienceQA（2,017 条验证，2–4 选项）、MMMU（825 条验证，2–9 选项）、MM-Vet（218 条，要求简短最终答案）。
• 句长：FSVQA200，从基于 MSCOCO2014 的 FSVQA 抽 200 条，要求完整句子。正文称发布了采样 ID。
• 长：LLaVABench（60 条，开放指令）；MM-Vet Long 把 MM-Vet 的指令改成要求完整回答。论文未单列 MM-Vet Long 的条数。

实验设置

• 模型：InternVL2、InternVL3.5 各 2B 与 8B；Qwen2-VL-2B/7B-Instruct；Qwen3-VL-2B/8B-Instruct。共 8 个开源 MLLM。实验未报告闭源模型。
• 基准：ScienceQA 2,017、MMMU 825、MM-Vet 218、FSVQA200 200、LLaVABench 60，另有 MM-Vet Long。按短、句、长分组。Table 1 的分组平均准确率为短 57.4、句 66.8、长 49.6。
• 方法：语言化弃答与数值置信；均值/最大熵与 NLL，温度 0.1（1×）和 1.0（2×）；Semantic Entropy N=5/10；VASE；VL-Uncertainty。Table 3 的代表方法是 Verbal Abstain、单次 Max Entropy、SE（N=10）。
• 指标：AUROC、Cov@20、CHDA，并报告模型准确率。附录另有 Cov@10、Cov@30。
• 协议：错误回答为正类。CHDA 在各基准小子集上校准阈值后于全评测集计算。低温度写作 0.1。
• 重复：附录表给出均值±标准差，Figure 2 称按全部 MLLM 与 seeds 聚合，并标注短/句/长样本量 24,480、1,599、2,223。正文未写 seed 数，也未写自由形式对错的判定器。

主结果

下表为 Table 1 跨 8 个模型的平均，不是逐模型结果。句 CHDA 与长 Cov@20 同属该表。

表格较宽，可左右滑动

方法	短AUROC	句AUROC	长AUROC	句CHDA	长Cov@20
Verbal Abstain (1×)	0.61	0.67	0.55	73.4	0.09
Max Entropy (T=1, 2×)	0.76	0.64	0.60	56.3	0.06
SE (N=10, 11×)	0.71	0.65	0.72	62.3	0.21
VASE (N=10, 11×)	0.70	0.65	0.72	64.0	0.20
VL-Uncertainty (N=10, 11×)	0.70	0.62	0.73	62.2	0.20

• 作者称没有单一族在所有长度上最好：短回答上 T=1 的 token 熵领先，句长上弃答领先，长回答上语义方法领先。Figure 1 把长回答优胜标成 VASE；Table 1 里长回答 AUROC 最高的一格是 VL-Uncertainty。长回答 CHDA 上 VASE 为 67.7，SE 为 65.9，VL-Uncertainty 为 67.1。
• 低温度下短回答 Max Entropy 的 AUROC 为 0.62、Cov@20 为 0.29；T=1 的 CHDA 为 72.1、Cov@20 为 0.42（均 Table 1）。作者称低温度使 logit 过尖。Figure 2 图注称 T=0.1 的密度挤在 0 附近，T=1.0 分布更宽；短回答上语义熵缺少信息，句长和长回答上分布更展开。
• 句长 Verbal Abstain 的 Cov@20 为 0.43、短回答为 0.20（Table 1）。作者假设 FSVQA200 每题只有一个待确定事实，单个 UNKNOWN 就够；选择题会偏向给定选项，长回答的不确定分散在多个子主张上。Table 2 弃答率：MM-Vet 19.53±8.37%，FSVQA200 13.20±7.93%，短回答合计 10.51±9.31%，长回答合计 5.42±6.11%。附录 Figure 3–5 为被标出的幻觉例，Figure 6–8 为该长度优胜方法仍打成低不确定的失败例。

规模、代际与方法选择

• Table 3 对三个代表方法再跨基准平均：准确率从 Qwen2-VL-2B 的 47.1% 到 Qwen3-VL-8B 的 66.7%；AUROC 仅 0.63–0.67。作者称方法选择主导排序，模型选择主导覆盖。
• Cov@20 从 0.11 到 0.39。作者称这比方法间跨度更大；Table 6 三个代表方法的平均 Cov@20 为 0.20、0.29、0.35。同族放大与换代提高准确率和覆盖、对 AUROC 影响小：Qwen3-VL 2B→8B 覆盖 0.23→0.39；InternVL 8B 从 2 代到 3.5 代为 0.25→0.34。
• CHDA 从 61.9 到 68.4。Table 6 中 Qwen3-VL-8B 的 Verbal Abstain 为 73.2，同模型 Max Entropy (T=1) 为 64.5，SE 为 68.4。作者称该模型用弃答估计自身不确定，高出其他方法约 5 个百分点。例外：InternVL3.5-2B 的 Verbal Abstain Cov@20 为 0.01，低于 InternVL2-2B 的 0.18。Table 6 平均 AUROC 为 Max Entropy 0.69、Verbal Abstain 0.60、SE 0.70；作者称三者相近，但弃答的跨基准平均更低。

风险预算下的覆盖

• 作者用 Cov@20 看部署：Table 1 最高聚合值是句长 VASE 的 0.45；长回答最高是 SE (N=10) 的 0.21。脚注 1 称更紧预算下各方法覆盖接近 0，未给具体数字。
• 作者给出完美排序上界 Cov@r = a/(1-r)。r=20%、准确率约 0.50–0.67 时，上界为长 0.63、短 0.71、句 0.84；现方法为 0.21、0.43、0.45，作者称只达到可实现覆盖的 33–63%。作者把缺口归到 confidently wrong：答错但 UE 分数低。文中把当时的 AUROC 写成 0.65–0.75。

语言化失败与族内差异

• Table 5：Verbal Confidence 平均解析失败 10.3%（3.4–25.9%），可解析回答中被赋最大置信的比例平均 79.4%。正文另称平均 79.4% 的预测置信超过 0.9，且与对错无关。InternVL3.5-8B 解析失败 4.6%，过度自信 90.2%。作者称因此该方法的 AUROC 和 Cov@20 难以解释。
• Table 4：InternVL2-2B 在 ScienceQA / FSVQA200 / LLaVABench 上弃答率 0.0 / 5.2 / 1.1，CHDA 15.9 / 32.4 / 56.1；Qwen3-VL-8B 为 4.8 / 12.7 / 5.0 与 91.5 / 83.0 / 77.8。
• 作者称 Max Entropy 总体优于 Avg Entropy，因为它保留最不确定 token，而不是在全文上抹平。附录中 Max/Avg NLL 与对应熵方法接近。作者称语义族里 VASE 最强；主表长回答 AUROC 上 VL-Uncertainty 高于 VASE，长回答 CHDA 上则是 VASE 更高。

其他消融与分析

• Table 7（跨 MLLM、数据子集）：SE+文本扰动 AUROC 0.66、Cov@20 0.15、CHDA 62.0；SE+视觉扰动 0.67 / 0.23 / 63.3；SE 0.67 / 0.20 / 64.0；VL-Uncertainty 0.67 / 0.16 / 63.3。作者称增益主要来自温度采样，而不是扰动本身。
• Table 8（只平均 Qwen 族、基准子集）：SE 的 N=5/10/15/20，AUROC 0.66/0.67/0.66/0.68，Cov@20 0.19/0.21/0.22/0.27，CHDA 63.3/63.7/64.5/64.0。作者称增大 N 相对代价收益递减。
• Table 2：SE（T=1.0, N=10）平均簇数，短 2.10±1.73、句 5.48±2.42、长 6.04±2.71。短回答上相同生成落入单簇，语义熵被压向 0。
• 附录 Table 10：MMMU 平均准确率 40.9%。Max Entropy (T=1) 平均 AUROC 0.72、CHDA 62.7；SE (N=10) CHDA 47.3。作者称该设定下排序指标会高估语义方法的部署价值。
• 附录 Table 9：ScienceQA 平均准确率 80.9%。1× Max NLL 平均 CHDA 82.6，SE (N=10) 82.4，Max Entropy (T=1) 81.5。同表 Qwen2-VL-2B-Instruct 的 Verbal Abstain Cov@20 为 0.00，Max Entropy (T=1) 为 0.20。
• 附录 Table 14：LLaVABench 上 VL-Uncertainty 平均 AUROC 0.76，VASE (N=5) 平均 CHDA 69.2。附录把 VASE 标成 N=5，与 Table 1 的 N=10 不一致。

作者指出的局限与后续方向

• 规模与模型族：因算力和部署考虑，只做小、中规模，并只覆盖两个常用族的两代；扩展到更大规模和更多族被写成后续方向（Limitations）。
• 未与单模态对比：只单独研究 MLLM，理由是该设定缺少深入的不确定性分析；与单模态 LLM 的直接比较留待以后（Limitations）。
• 只用免训练方法：选择理由是易部署、兼容性好。作者认为在当前方法达不到的安全关键设定中，基于训练的方法可能表现更好（Limitations）。
• 基准范围：只做通用多模态基准和标准方法；作者认为领域专用评测可能得出不同结论（Limitations）。

实验覆盖范围

• 被测模型为 InternVL2、InternVL3.5、Qwen2-VL、Qwen3-VL 的 2B 与 7B/8B 开源检查点，共 8 个（第 4.1 节、Table 3）。
• 基准为 ScienceQA、MMMU、MM-Vet、FSVQA200、MM-Vet Long、LLaVABench，并按短、句长、长回答分组（第 4.1 节）。正文称五个 VQA 基准，MM-Vet Long 是受控变体。
• 指标包括 AUROC、Cov@20、CHDA，附录另报 Cov@10 与 Cov@30；CHDA 在各基准小子集上校准阈值（第 4.2 节）。论文未报告校准子集条数、seed 数，也未说明自由形式回答的对错判定器。
• 比较了语言化弃答与数值置信、token 熵/NLL（温度 0.1 与 1.0）、Semantic Entropy、VASE、VL-Uncertainty。扰动与采样数消融在 Table 7、Table 8，后者只平均 Qwen 族。
• 方法节写明 token 级方法不适用于闭源模型，语义方法在拿不到似然时可用簇频率；实验未报告闭源结果。脚注 1 称更紧风险预算下覆盖接近 0，未给该预算的具体数字。

这是一项对 MLLM 免训练不确定性估计的分组比较：幻觉检测被作者视为弃答、转交或路由的一种用途，而不是唯一目标。

• 问题：视觉歧义加上从选择题到长回答的输出格式，使已有 UE 在 MLLM 上该怎么选并不清楚。作者只考虑不额外训练、也不要成对数据的方法。
• 做法：信号分成语言化弃答或数值置信、输出 token 的熵与 NLL、以及对多次采样做蕴含聚类的语义熵。token 熵在 T=1.0 另做一次前向；评测用 AUROC、风险不超过 20% 时的覆盖，以及在小子集上校准阈值的 CHDA。
• 长度：Table 1 跨 8 个模型平均，短回答 Max Entropy (T=1) 的 AUROC 为 0.76；句长 Verbal Abstain 为 0.67，CHDA 为 73.4；长回答 VL-Uncertainty (N=10) 的 AUROC 为 0.73。低温度 0.1 的熵明显更弱。
• 模型：Table 3 中 AUROC 只在 0.63–0.67 之间变动，覆盖则从 0.11 到 0.39，并随准确率、规模和代际上升。Qwen3-VL-8B 的 Verbal Abstain 跨基准 CHDA 为 73.2（Table 6）。数值置信平均有 79.4% 的可解析回答被赋到最大置信（Table 5）。
• 作者的结论：回答长度决定该用哪一族；token 级应在高于常规解码温度的 T=1.0 上估计；弃答随更新、更大的模型变好，数值置信则不能直接拿来排序。即便风险预算放到 20%，句长最高覆盖也只是 VASE 的 0.45，长回答 SE (N=10) 为 0.21。作者称现有方法还不能直接支撑安全部署，并认为缺口来自答错但仍被打成低不确定的样本。