VisER：面向 LVLM 物体幻觉检测的视觉证据与视觉依赖双面指标

训练时不更新模型的物体幻觉检测，如何区分“内部支持”来自物体级视觉证据，还是来自场景先验与已生成文本前缀。

• 场景：作者称 large vision-language models（LVLMs）在图像描述中会提到输入图像里不存在的物体；这类提及往往流畅、符合上下文，并嵌在其余正确的描述中。随着模型用于需要事实性视觉落地的场景，检测物体幻觉成为可靠性问题（引言）。
• 现有不足：一类方法依赖真值标注、参考文本或外部评审模型，作者称在没有参考的开放描述中难以部署，辅助评审也可能带入自身偏差。另一类用 token 概率、视觉置信、注意力或图文相似度等推理期内部信号，作者称它们主要衡量物体在模型内部被支持的强度，而不区分支持来自物体特异的图像 token，还是场景共现、相关视觉线索或自回归前缀。作者把这种歧义称为 source confounding。
• 核心观察：按 Rohrbach et al. (2018) 与 Li et al. (2023) 的定义，物体幻觉是生成提及在图像中不存在；难例是缺失物体仍获得高内部支持。作者认为可靠检测器还应问：这份支持是否物体特异且来自图像。
• 提出方法：VisER（Visual Evidence and Reliance），免训练的双侧物体级分数。Visual Evidence（VE）检查物体–上下文相容性是否有物体特异的图像 token 证据；Visual Reliance（VR）比较图像支持与已生成前缀支持。二者组合成 grounding score，不再做额外的物体级验证生成。
• 知识与能力：论文未把该任务写成攻击。检测在生成完成后进行，需要读取 LVLM 内部表示（hidden states、unembedding、输入 embedding）。Limitations 称这更适合 white-box 或 gray-box，而不是完全的 black-box API。受害对象是开放式图像描述中的物体提及；成功按排序质量（AUROC、AUPR）衡量，正类为与标注匹配的 grounded mentions，实验中不固定阈值 δ。

外部核验与评测

• Rohrbach et al. (2018)、Li et al. (2023)、Petryk et al. (2024)、He et al. (2025)——把生成的物体提及与真值物体标签、描述或物体存在标注比对。
• Liu et al. (2024a)、Jing et al. (2024)、Wang et al. (2023)、Jiang et al. (2024)、Cao et al. (2024)——用更强的 LLM 或 LVLM 作外部评审，判断回答是否忠实。作者称这些方法在受控评测中有效，但常需要标注、辅助模型或多阶段核验，物体级参考不可用时不太适合。

免训练内部信号

• LURE（Zhou et al., 2024）用生成物体 token 的负对数似然作幻觉线索。Internal Confidence（Jiang et al., 2025a）在图像隐状态上做 logit-lens 概率；Contextual Lens（Phukan et al., 2025）研究超出原始 logit-lens 的上下文嵌入。
• SVAR（Jiang et al., 2025b）看中间层对图像 token 的注意力；PAS（Hoang et al., 2026）用对初步或已生成文本 token 的注意力检测前缀驱动的幻觉。GLSim（Park and Li, 2025）结合全局与局部图文相似度做物体级检测。作者把 VisER 与主要衡量物体和图像–文本上下文相容性的相似度检测器区分开：VisER 还问相容性是否有物体特异视觉证据，以及是否主要由前缀驱动。

混淆支持的来源

• Li et al. (2023)、Zhou et al. (2024) 讨论物体共现、指令频率和场景先验如何让缺失物体显得合理；Leng et al. (2024) 的缓解工作表明，降低统计偏差或单模态先验可以减少幻觉，作者据此认为合理但无支撑的提及常常由先验驱动。
• Liu et al. (2024d) 报告 text inertia：视觉证据弱时模型仍可能写出相似描述；Hoang et al. (2026) 指出已生成前缀 token 会影响后续物体提及。图像侧方面，Jain and Wallace (2019)、Jiang et al. (2025b) 讨论注意力随层或头变化；Kang et al. (2025) 讨论 visual attention sinks；Gong et al. (2024)、Che et al. (2025) 指出注意力可能集中在背景或离群图像 token，而不是物体特异区域。

基线与基准

• 实验基线为 Entropy（Malinin and Gales, 2021）、NLL（Zhou et al., 2024）、Internal Conf.（Jiang et al., 2025a）、SVAR（Jiang et al., 2025b）、Contextual Lens（Phukan et al., 2025）、PAS（Hoang et al., 2026）、GLSim（Park and Li, 2025），以及第 4.2 节的 POPE（Li et al., 2023）。基准为 MSCOCO（Lin et al., 2014）与 Pascal VOC（Everingham et al., 2010），物体级标注协议跟随 CHAIR。

作者把本文定位为：用 VE 与 VR 同时处理物体特异证据和“图像相对前缀”的支持来源，而不只问物体在模型内部是否被支持。

VisER 在描述生成之后，给每个物体提及一个免训练 grounding score：VE 检查相容性是否有物体特异图像证据，VR 比较图像支持与前缀支持，再按权重相加。

问题设定

• 生成与标注单位：预训练 LVLM 接收图像 I 与文本指令 x，自回归生成 y = (y1, …, yT)。o 是回复中的物体提及，to 是与 o 匹配的生成 token 位置。目标是分数 s(o, I, x, y<to)，越大表示视觉落地越强。二值检测为 G = 1{s ≥ δ}；实验用 AUROC 与 AUPR，不需要固定 δ。
• 表示：图像被表示为视觉 token 序列 V = {v1, …, vN}，并投影到语言模型空间。hℓ_i 是第 ℓ 层 token i 的隐表示；ℓI 用于图像 token，ℓT 用于文本 token，物体 token 表示为 hℓo_T = hℓ_to_T。sim 为余弦相似度，sim+ 为其缩放到 [0, 1] 的形式。
• 视觉 logit lens：对图像 token 隐状态做 logit lens。WU 为 unembedding 矩阵，zi = hℓ_vi_I WU，pi(o) = softmax(zi)_o，即该图像 token 把概率质量分给物体 token o 的程度。

Visual Evidence

• 证据质量：Mvis(o) = Σ_{i=1}^{N} pi(o)，把各图像 token 上的 logit-lens 概率加总。证据门 g(o) = σ(Mvis(o) / (τ + ε))，σ 为 sigmoid，τ 为证据尺度，ε 用于数值稳定。τ 在与评测集不相交的无标注校准划分上，用平均视觉证据质量估计。
• 分数：V E(o) = sim(hℓctx_T, hℓo_T) · g(o)。hℓctx_T 是回复生成前最后一个提示 token 的隐表示。相容性项被保留，但被物体特异证据调制；证据弱时，相容性对 VE 的贡献下降。

Visual Reliance

• 图像支持：Simg(o) = Σ_i p̂_i(o) sim+(hℓ_vi_I, hℓo_T)，其中 p̂_i(o) = pi(o) / (Σ_j pj(o) + ε)。所有图像 token 都贡献，物体特异证据更强的 token 权重大。
• 前缀支持：Y<to 为物体之前的已生成前缀。用输入 embedding 估计词汇–语义支持：eo 为物体 token 的输入 embedding，ej 为前缀 token yj 的输入 embedding。取与 eo 最相似的 Ko = min(K, to − 1) 个前缀 token；Ko = 0 时 Stext(o) = 0，否则 Stext 为这些 token 上 sim+(ej, eo) 的平均。
• 比值：V R(o) = Simg(o) / (Simg(o) + Stext(o) + ε)。作者称 VR 更大表示支持更来自图像而不是前缀。

组合与贝叶斯视角

• 最终分数：sVisER(o) = α V E(o) + (1 − α) V R(o)，α ∈ [0, 1]。Figure 2 用两个幻觉例子说明互补：浴室场景中的 toothbrush 相容性较高但 VR 低；滑板场景中的 ski 因杆和运动得到较高 VR，但 VE 低。
• 分析透镜：作者用贝叶斯分解把 log pθ(o | I, x, y<to) 写成前缀侧支持加上图像侧相容增益，并明确 VisER 不直接估计这些概率。条件 PMI 对比为 log pθ(o | I, x, y<to) − log pθ(o | x, y<to)。作者称 VR 的 log-odds 是平滑后图像对前缀 log-ratio 的有界单调变换，保留同一来源比较，但不等于条件 PMI。VE 被描述为图像侧项的特异性校正代理：sim(hℓctx_T, hℓo_T) 表示与多模态上下文的相容，Mvis(o) 检验图像 token 是否给出直接的物体特异证据。

判定与实现要点

• 不额外生成：检测不再为每个物体做 yes/no 验证生成。POPE 对比中，POPE 对抽出的每个物体提问 “Is there a {object} in the image?”，仅当回复以 “yes” 一类肯定 token 开头才判为存在。
• 超参位置：K、α、图像层与文本层、τ 的具体取值在 Appendix B；正文 Figure 3 在 LLaVA-1.5-7B、MSCOCO 上扫描 K、α 和图像层（文本层固定）。附录 F 给出证据不足与前缀主导两种情形下 VE、VR 的间隔条件，作者用它们形式化两个分量的互补，而不是作为训练目标。

实验设置

• 模型：主实验为 LLaVA-1.5-7B、LLaVA-NeXT-7B、InstructBLIP、MiniGPT-4。扩展为 LLaVA-1.5-13B、InternVL3-8B、Shikra-7B、Qwen2.5-VL。全部 greedy decoding，最长 512 个新 token。提示词为 “Describe the given image in detail.”
• 数据：从 MSCOCO 与 Pascal VOC 验证集各随机抽 500 张图。MSCOCO 有 80 个物体类，Pascal VOC 有 20 个。按 CHAIR 物体级协议抽出物体提及，与图像级类别标注匹配，标为 grounded 或 hallucinated。POPE 对比另用 3000 张 MSCOCO 图像。
• 基线：Entropy、NLL、Internal Conf.、SVAR、Contextual Lens、PAS、GLSim，与 VisER 使用同一批描述、物体提及和图像。有参数的基线在原文给出设置时沿用原文超参。POPE 为提示式物体核验。
• 指标：物体级 AUROC、AUPR，正类为 grounded mentions。POPE 对比报告 ACC、PR(T)、PR(F)、F1、F1(F) 与核验时间。Table 4 报告检测阶段峰值显存。
• POPE 子集：因生成物体集不平衡，保留全部幻觉物体并随机抽取等量 grounded 物体。LLaVA-1.5-7B 为 2495+2495，LLaVA-13B 为 2216+2216；抽样重复 1000 次取平均。
• 层与硬件：层选择和超参见 Appendix B。显存测量在单张 NVIDIA A100、float16、batch size 1 上完成。

主结果

Table 1（MSCOCO / Pascal VOC，AUROC）。VisER 在八个模型×数据集格子上均为该列最高 AUROC；AUPR 有两处不是最高。

表格较宽，可左右滑动

模型	MSCOCO VisER	MSCOCO 最强基线 AUROC	VOC VisER	VOC 最强基线 AUROC
LLaVA-1.5-7B	86.17 / 95.37	GLSim 84.09	82.20 / 91.26	PAS 80.31（AUPR 91.36）
LLaVA-NeXT	81.44 / 96.74	Internal Conf. 78.00	87.31 / 98.08	GLSim 79.17
InstructBLIP	85.66 / 94.84	Internal Conf. 84.59	85.72 / 93.24	GLSim 84.89
MiniGPT-4	86.29 / 96.35	SVAR 85.94（AUPR 96.63）	80.34 / 92.93	SVAR 82.62（AUPR 94.74）

• 平均：作者称 MSCOCO 上 VisER 平均 AUROC 84.89、AUPR 95.82，比最强平均基线 GLSim 的 AUROC 高 3.63 个点。Pascal VOC 上 VisER 平均 AUROC 83.89、AUPR 93.88。Table 1 中 MiniGPT-4 的两套数据上，VisER 的 AUPR（96.35、92.93）低于 SVAR（96.63、94.74）；LLaVA-1.5-7B 的 Pascal VOC 上，VisER 的 AUPR 91.26 低于 PAS 的 91.36。
• 作者解读：增益在 LLaVA-NeXT 与 InstructBLIP 上更大。MSCOCO 上 LLaVA-NeXT 的 AUROC 从最强基线 78.00 到 81.44。Pascal VOC 上，相对最强基线，LLaVA-NeXT 高 8.14 个点，InstructBLIP 高 0.83 个点。作者称幻觉物体仍可从场景先验或自回归前缀获得强内部支持。
• Table 2：扩展四模型只报 MSCOCO。VisER 平均 AUROC 81.66、AUPR 96.03，作者称比最强平均基线 PAS 高 4.24 个点；相对各自最强基线，Qwen2.5-VL 高 6.15 个点（80.10 vs PAS 73.95），InternVL3 高 5.36 个点（82.54 vs Contextual Lens 77.18）。LLaVA-1.5-13B 为 83.82 / 95.35，Shikra-7B 为 80.18 / 93.68。Shikra 上 SVAR 的 AUROC 为 59.73，低于 Entropy 的 69.20。

与 POPE 及开销

• Table 3：LLaVA-1.5-7B 上 VisER 的 ACC 从 POPE 的 67.77 到 78.67，幻觉物体 F1(F) 从 54.75 到 79.42，时间从 3.19s 到 2.36s。LLaVA-13B 上 ACC 从 60.53 到 76.56，F1(F) 从 37.29 到 76.47，时间从 4.50s 到 3.27s。POPE 的 PR(T) 更高（7B 为 91.86 vs 76.72；13B 为 90.72 vs 76.78），PR(F) 更低（7B 为 61.28 vs 80.93）。作者称 POPE 对 grounded 物体精度高，但低 F1(F) 表示偏向预测物体存在。
• Table 4：LLaVA-1.5-7B、float16、batch size 1 的检测阶段峰值显存：Entropy/NLL 与 VisER 均为 13.33 GB；Internal Conf. 15.77；GLSim 13.54；SVAR/PAS 14.31。作者称 VisER 可通过只保留选定隐表示并分块计算 logit-lens 来实现。

消融与反事实

• Figure 3（LLaVA-1.5-7B，MSCOCO）：K 从 2 到 10，AUROC 从 84.85 到 85.66，之后饱和；全范围内 VisER 高于 PAS 与 GLSim。α 扫描中 VR 单独为 78.22，VE 单独为 83.88，组合在 α ≈ 0.4 时达到 85.66。图像层越靠后越强，最佳在第 32 层；作者认为语义更丰富的图像 token 表示改善了物体级信号。该 85.66 与 Table 1 的 86.17 同模型同数据集，但是敏感性扫描中的峰值，论文未说明二者设置是否相同。
• Figure 4：去掉证据门时 VE 只用物体–上下文相容性。作者称加门后各 LVLM 的 AUROC 都上升，并认为相容性在视觉来源未核验时是不完整的落地线索。图中给出曲线端点附近的刻度（约 60–85），正文未列出每个模型的精确读数。
• Table 5（AUROC）：LLaVA-1.5-7B 上，Original 的 VE/VR/VisER 为 83.88 / 78.22 / 86.17；空白图像 67.74 / 70.86 / 71.38；打乱图块 74.34 / 74.44 / 77.99；去掉前缀 83.88 / 50.00 / 83.88。LLaVA-1.5-13B 上，Original 为 80.01 / 77.78 / 83.82；空白图像 55.58 / 68.34 / 61.89；打乱图块 69.60 / 73.89 / 74.93；去掉前缀 80.01 / 50.00 / 80.01。作者称这些信号依赖连贯的视觉证据，而不只是图像 token 是否存在；去掉前缀支持时 VE 不变、VR 落到随机水平。作者同时写明，这不构成已校准的因果归因。

其他消融与分析

• Figure 5（MSCOCO，AUROC）：LLaVA-1.5-7B 上，相容性加证据门从 72.25 到 83.88，完整 VisER 为 86.17；LLaVA-1.5-13B 上从 65.15 到 80.01，完整 VisER 为 83.82。证据门单独也有信息，但用于核验相容性时更好。
• Appendix E.2：作者称给出了基线把语境上合理但缺失的物体打成 grounded、而 VisER 标为幻觉的例子；正文未给出这些例子的数值。
• 附录 F 只给间隔条件，没有新的实验数字。

作者指出的局限与后续方向

• 错误类型：VisER 关注开放式图像描述中的物体存在性幻觉；评测主要跟随 COCO/VOC 式物体类别，因此不直接评估开放词表幻觉、属性、关系、计数、动作或其他细粒度事实错误（Limitations）。
• 提及形式：物体 token 表示可能对多 token 表达、子词切分和重复物体提及敏感（Limitations）。
• 访问假设：VisER 需要 LVLM 内部表示，作者称更适合 white-box 或 gray-box，而不是完全的 black-box API（Limitations）。
• 后续方向：未来工作可以把双侧落地视角扩展到短语级和区域级幻觉检测，并探索 VE、VR 式信号能否在解码期间引导幻觉缓解（Limitations）。结论另称物体级 VisER 分数也可用于选择性弃答、描述修订或未来的解码期干预。
• 使用边界：作者称 VisER 是诊断性的物体级检测器，不应在安全关键部署中被当作视觉事实性的保证（Limitations）。

实验覆盖范围

• 被测模型为 LLaVA-1.5-7B、LLaVA-NeXT-7B、InstructBLIP、MiniGPT-4、LLaVA-1.5-13B、InternVL3-8B、Shikra-7B、Qwen2.5-VL，共 8 个；解码为 greedy，最长 512 个新 token（第 4 节）。
• 主基准为 MSCOCO 与 Pascal VOC 验证集各 500 张图；Table 2 的扩展模型只报告 MSCOCO；POPE 对比使用 3000 张 MSCOCO 图像，并在平衡物体子集上重复抽样 1000 次（第 4.1–4.2 节）。
• 检测基线为 Entropy、NLL、Internal Conf.、SVAR、Contextual Lens、PAS、GLSim；另与 POPE 的 yes/no 核验比较 ACC、精确率、F1 与时间（Table 1–3）。
• 机理实验包括 K、α 与图像层敏感性（Figure 3，文本层固定，仅 LLaVA-1.5-7B、MSCOCO）、证据门（Figure 4）、空白图、打乱图块与去掉前缀（Table 5，两个 LLaVA-1.5 规模）以及组件消融（Figure 5）。
• 论文报告了 LLaVA-1.5-7B 上检测阶段峰值显存（Table 4），未在正文给出各模型的物体提及条数，也未报告 AUROC 的统计显著性检验或人工一致性。

VisER 是面向 LVLM 开放式图像描述的免训练物体级幻觉检测分数，用来处理内部支持的来源混淆。

• 问题：生成的物体提及可能不在图像中，却因场景共现、相关视觉线索或已生成前缀而得到高似然、高注意力或高相似度。作者认为只问“模型内部是否支持该物体”不够。
• 方法：VE 用各图像 token 的 logit-lens 概率质量构成证据门，去调制物体与上下文隐表示的余弦相似度。VR 用证据加权的图像相似度对前缀输入 embedding 相似度做归一化比值。最终分数为二者的凸组合，不额外生成物体核验。
• 主结果：Table 1 中，MSCOCO 四模型平均 AUROC/AUPR 为 84.89 / 95.82，Pascal VOC 为 83.89 / 93.88；作者称分别相对最强平均基线有增益，但 MiniGPT-4 的 AUPR 低于 SVAR。Table 2 扩展四模型的 MSCOCO 平均 AUROC 为 81.66。
• 对照与消融：平衡子集上，LLaVA-1.5-7B 的 ACC 为 78.67、F1(F) 为 79.42，POPE 为 67.77 与 54.75（Table 3）。空白图和打乱图块降低 VE 与 VisER；去掉前缀时 VR 为 50.00、VE 不变（Table 5）。Figure 5 中两路合并后 AUROC 进一步到 86.17（7B）和 83.82（13B）。
• 作者结论：两个信号互补，VisER 可作为开放生成上的事后检测器。作者同时限定它不覆盖属性、关系、计数等细粒度错误，需要内部表示，且不应被当作安全关键场景中的事实性保证。