DIQ-H 基准与 VGIR 框架：评估 VLM 在对抗视觉条件下的鲁棒性

如何在会退化的连续视觉流中评测 VLM 的幻觉是否残留、能否恢复、价值一致性是否保持，并低成本生成伪标注。

• 场景：作者称 VLM 已用于自动驾驶、机器人操作和医疗辅助，须在不完美连续视觉流中保持作者所称可靠、合乎伦理、以价值为据的推理。短暂退化诱发的幻觉若留下持续错误信念，会进入下游价值敏感决策。
• 现有空档：作者列三点。LLaVA-Bench、MME 只评单帧；POPE、ToolBeHonest 评孤立回答，不建误差传播或跨时间伦理一致性；文献 [24] 的视频基准假设画质完好。作者把画质恢复后仍残留的幻觉称为 cognitive inertia（认知惯性）。
• 核心观察：作者将此写成 latent error propagation：t≤k 的退化帧引入的错误，仍可出现在 t>k 的清晰帧回答里。
• 本文提出：DIQ-H（Degraded Image Quality leading to Hallucinations）与 VIR（Value-Guided Iterative Refinement）。摘要称其为首个在连续序列的对抗性视觉条件下评测 VLM 的基准；引言称其为首个在时序动态视觉退化下评测 VLM 的基准。摘要一处写作 VGIR，正文用 VIR。
• 评测条件：被测对象是 VLM。输入是物理退化后的顺序视频加多轮问答，不是针对模型优化的攻击载荷。论文未写对权重、梯度或 logits 的访问，也未使用 white-box、black-box 等说法。难度会按上一轮表现调节退化强度。VIR 用于生成评测用伪真值，不是推理时防御。

作者按静态理解、判别式幻觉、生成式幻觉组织相关工作，并把 DIQ-H 放在连续退化与时间误差传播的空档上。

静态图像理解

• 早期任务：VQA v2 [3] 与 RefCOCO 系列 [13] 做视觉问答和指代定位；TextVQA [14] 加入图中文字以考察 OCR；VizWiz [5] 模拟视障辅助场景。
• 推理与综合：NLVR2 [15] 对两张图做逻辑判断；ScienceQA [12]、MMMU [23] 扩展到科学推理和多学科评估。
• 统一平台：LLaVA-Bench [10]、MME [2] 被作者称为在干净静态图上评指令跟随、物体识别和语义对齐的代表。

判别式幻觉基准

• 存在性判断：POPE [8] 用是否问题判断物体是否在图中；作者称 NOPE [11] 进一步提高规模和粒度。
• 编辑前后：BEAF [22] 用场景编辑前后的变化测试对改动的敏感，并考察结构化扰动。论文未与 DIQ-H 做数字对比。
• 标注协议：THRONE [7]、HQH [21] 用结构化标注，作者称目的是提高幻觉评测的可复现性和透明度。

生成式幻觉基准

• 开放回答：GAVIE [9]、HaELM [20]、Bingo [1] 评物体级正确性，并查看系统偏差以及对提示词措辞或视觉线索的敏感。
• 间接信号：M-HalDetect [4] 用奖励模型打分检测幻觉；MMHal-Bench [16] 把语言建模中的对齐策略引入多模态。
• 两类合一：作者称 HalEval [6] 同时纳入判别式和生成式框架，以做综合评估。

本文实验中的对照

• 标注对照：GPT-4o-lightweight，即直接把轻量 VLM 输出当作伪真值，对照人工核验标签，场景为 DIQ-H。Table 1 没有另设方法基线，而是并列各 VLM 的三项指标。

作者称既有基准限于静态输入、理想画质和孤立测试，未建模时间上的误差传播。引言另指出文献 [24] 一类视频基准假设画质完好。DIQ-H 在作者所称的真实视频序列上交错系统失真与多轮问答，查看幻觉是持续、放大还是自行纠正。论文未说明这些视频的来源数据集。

整体由 Multi-Agent Benchmark Generator 生成受控退化的时序视频和多轮问答，再由 VIR 用轻量 VLM 的不确定性过滤产生伪真值。Figure 1 把被测 VLM 的指标回送给难度标定。

时序设定与误差传播

• 交互形式：每个测试例是顺序视频流上的多轮对话。前段帧做物理退化，之后引入清晰帧。
• 要测的不是清晰帧本身：作者要看早先退化诱发的幻觉是否残留。输入写成 {(I_t, Q_t)}；t>k（清晰帧）的回答仍可反映 t≤k（退化帧）的错误。
• 对应场景：作者称这对应机器人里短暂视觉失败后，后续动作仍沿错误推断执行。

退化模拟

• 三类主退化：运动模糊用 6 自由度点扩散函数，相机运动参数 θ_t ∈ R^6；传感器噪声为与 ISO 相关的 Poisson-Gaussian；压缩为 H.265/HEVC，码率 B_t ∈ {1,…,5} Mbps。Figure 2 按列展示同一场景在递增强度下的这三类。
• 作者给出的选取理由：快速自运动或物体运动、弱光 CMOS、带宽受限的远程遥操作或机载记录。
• 图注中的分类：Figure 3 称有 12 类退化，分成 optical、sensor-induced、compression-related。正文未列出这 12 类的名称。

任务、难度与三种体制

• Task Designer：按时间记忆和物体轨迹生成连贯查询，探测空间变化、时间描述一致性和退化下的重识别错误。提示词为模板生成加改写。论文未给出模板。
• Difficulty Calibrator：难度由上一轮 EPI 与幻觉率加权后，映射到运动模糊、ISO 和码率。论文未定义 EPI，也未给出两个权重。
• 三种体制：正文主要写先退化、后清晰，以测恢复。Figure 3 图注另列 early corruption（测恢复）、late corruption（测记忆保持）、intermittent corruption（测稳定性）。论文未给出三种体制的帧调度。

VIR 伪标注

• 目标：减少对 GPT-4o 或人工标注的依赖。作者把信念不稳定或与 value-grounded reasoning 不一致，落实为不确定性量化。论文未给出价值准则清单，也未描述独立的价值分类器。
• 扰动：输入图像注入高斯模糊；解码时做随机 dropout。K 次前向后，不确定性为平均成对 JS 散度 Uncertainty_JS=2/(K(K−1))∑_i<jD_JS(p⁽ⁱ⁾(h)|p^(j)(h))。作者称选用 JS 是因其对称且有界于 [0, log 2]。K 未给出。
• 聚合与筛选：特征用 Hodges-Lehmann 估计 θ̂=median{(h⁽ⁱ⁾+h^(j))/2}，即成对平均的中位数。作者称它比均值更不容易被离群幻觉拉动，但未给出 breakdown point。仅当 Uncertainty_JS(t)<τ 才保留；τ 在留出验证集上标定，数值未给出。超阈值输出经选择性再推理直到收敛，轮数未给出。自适应 dropout 的基础率和系数也未给出。
• 作者给出的效果口径：3.2 节称相对直接使用轻量 VLM，幻觉误差降低 15.3%。摘要与 4.1 节把同一数字称为准确率从 72.2% 到 83.3% 的相对提升。

三项指标

• 幻觉率：式 (3) 为 1 减去 N_valid/N_total，再写成百分数。论文未定义何为 valid，也未说明由谁判定。
• 恢复率：正文称衡量出错后的纠正能力；式 (5) 是 E 个样本中最终回答等于真值的比例，式中未写出错条件。
• 时序一致性：作者称检验以价值为据的推理是否跨时间稳定。式 (6) 是 o_j 与 ϕ_j 满足 |= 的比例；论文未解释该符号和 ϕ_j。式 (4) 把准确率写成 (1−H)×100%，4.1 节则用 100% 减已是百分数的幻觉率。

实验设置

• 被测模型：Table 1 共 17 行：LLaVA-7B-strict、InternVL2-8B-strict、Phi-3-Vision-strict、Qwen2-VL-7B-strict、Qwen2-VL-72B-strict、Llama-3-11B-strict、Llama-3-90B-strict、Molmo-7B-strict、Molmo-72B-strict、Pixtral-12B-strict、NVLM-D-72B-strict、Gemini-1.5-Flash-strict、Gemini-1.5-Pro-strict、Claude-3.5-Sonnet-strict、GPT-4o-mini-strict、GPT-4o-lightweight、GPT-4o-strict。
• 基准：DIQ-H。视频数、帧数、问答数论文未报告。正文详述运动模糊、Poisson-Gaussian、H.265；Figure 3 图注称 12 类退化和 early、late、intermittent 三种体制。
• 指标：Hallucination Rate、Recovery Rate、Temporal Consistency。标注比较另用准确率。4.3 与 Conclusion 写作 GPT-4o、Gemini-1.5-Pro，所引数字与 Table 1 的 *-strict 行相同。
• 对照标签：4.1 称对照 human-verified validation labels。论文未写标注人数、一致性，也未写主表由哪个模型打分。
• 未报告项：样本量、重复次数、K、τ、统计检验。Figure 4 比较干净与退化、以及幻觉率随 λ 的变化，正文无对应读数。

主结果

下表只列 Table 1 的一部分，单位均为 %，设置均为 DIQ-H。

表格较宽，可左右滑动

模型	幻觉率↓	恢复率↑	时序一致性↑
Phi-3-Vision-strict	31.4	38.9	29.8
LLaVA-7B-strict	27.5	41.2	32.5
Qwen2-VL-7B-strict	29.8	42.5	34.2
GPT-4o-lightweight	27.8	54.0	55.6
Llama-3-90B-strict	19.8	63.7	59.4
Gemini-1.5-Pro-strict	15.2	75.3	70.6
GPT-4o-strict	16.7	78.5	72.8

• 作者解读：作者称 GPT-4o 与 Gemini-1.5-Pro 在误差恢复和时序一致性上更强，并称这表示动态退化下的价值稳定性更强；LLaVA-7B 与 Phi-3-Vision 幻觉率高、恢复差，易出现持续误差传播。
• 全表极值：幻觉率最低、恢复率最高、时序一致性最高的行已在表中。Phi-3-Vision-strict 同时是全表幻觉率最高、恢复率最低、时序一致性最低的一行。Conclusion 称开源实现中时序一致性最高为 59.4%，与 Llama-3-90B-strict 一行相同。
• 省略的 10 行（幻觉率/恢复率/时序一致性，均据 Table 1）：InternVL2-8B-strict 25.7/53.6/47.1；Qwen2-VL-72B-strict 24.2/58.3/51.7；Llama-3-11B-strict 26.5/55.1/49.3；Molmo-7B-strict 27.6/45.1/36.8；Molmo-72B-strict 23.9/56.2/48.5；Pixtral-12B-strict 26.2/49.8/42.7；NVLM-D-72B-strict 22.4/60.5/54.2；Gemini-1.5-Flash-strict 18.5/68.9/63.1；Claude-3.5-Sonnet-strict 19.1/65.2/60.3；GPT-4o-mini-strict 22.3/52.4/46.9。

标注质量

• 4.1 的换算：作者把 GPT-4o-lightweight 的幻觉率 27.8% 写成对人工核验标签的准确率 72.2%，把 GPT-4o-strict 的 16.7% 写成 83.3%，并称后者是 VIR 精炼标注、前者是直接采用轻量输出，相对提升 15.3%。
• 4.2：作者称在 DIQ-H 的一组代表性序列上，有 VIR 的伪真值相对无 VIR 平均提高 15.3%。该节未另给数字，也未报告序列数量或统计检验。
• 口径：3.2 节把同一 15.3% 称为幻觉误差降低。论文未把 Table 1 两行幻觉率之差写成 15.3。

退化条件

• 4.1：作者称退化条件下性能下降，并称因此有必要在基准中建模退化。该段未给出干净与退化的分项数字。
• Figure 4： (a) 为雷达图，轴为倒置的 Hallucination Rate、Recovery Rate、Temporal Consistency；(b) 为干净与退化输入的幻觉率分组柱状图；(c) 为幻觉率随 λ 变化。作者称更强退化下模型间差距变大。文本未给出柱高或曲线端点。

其他消融与分析

• 论文未按 12 类退化、三种体制或 λ 取值分列指标。
• 论文未报告 K、τ、α、β 或 dropout 系数的取值与消融。
• 作者称模型规模与恢复表现相关，未给相关系数。Table 1 同名系列恢复率：Qwen2-VL-7B-strict 42.5% 与 Qwen2-VL-72B-strict 58.3%；Llama-3-11B-strict 55.1% 与 Llama-3-90B-strict 63.7%；Molmo-7B-strict 45.1% 与 Molmo-72B-strict 56.2%。
• Conclusion 称当前模型仍难做复杂时空推理和一致的自我纠正；开源实现中时序一致性最高为 59.4%。

作者指出的局限与后续方向

论文没有单独的 Limitations、Discussion 或附录局限说明。Conclusion 写出的后续方向如下。

• 内部一致性：作者称未来研究需要更稳健的内部一致性机制，以降低幻觉，同时不牺牲创造性推理（Conclusion）。
• 长期依赖：作者称需要能在多事件场景中维持长期时间依赖的架构（Conclusion）。
• 规模与适配：作者称模型规模与恢复表现相关，并认为这为 parameter-efficient adaptation 指出方向（Conclusion）。论文未给相关系数。
• 评测扩展：作者计划把该评测扩展到动态多模态交互和实时学习场景（Conclusion）。这是计划，不是已完成的实验。

论文未把 DIQ-H 的规模、三种体制未分列、或 VIR 的未给参数写成自身局限。

实验覆盖范围

• Table 1 报告 17 个模型变体在 DIQ-H 上的幻觉率、恢复率、时序一致性。
• 正文的退化是运动模糊、Poisson-Gaussian 噪声和 H.265，码率取 1 至 5 Mbps；Figure 3 图注称 12 类退化及 early、late、intermittent 三种体制。结果表未按体制或退化类型拆开。
• VIR 对比写的是 GPT-4o-lightweight 与 GPT-4o-strict 相对人工核验标签的准确率 72.2% 与 83.3%（4.1 节）。
• 论文未报告视频或问答规模、重复次数、主指标判定者、人工一致性，以及 K、τ。
• Figure 4 包含干净与退化的对比，以及幻觉率随 λ 的变化；正文未给出这些图的读数。

DIQ-H 评测 VLM 在连续视觉退化中的幻觉、恢复和跨时间一致性；VIR 用轻量模型的不确定性过滤生成伪真值。

• 问题：作者认为自动驾驶和机器人等部署中，运动模糊、传感器噪声和压缩会诱发幻觉，且画面恢复后错误仍可能留下。作者称既有基准多是单帧、孤立回答或完好视频。
• 做法：退化模拟、任务设计、难度标定三个智能体生成多轮视频问答。正文写先退化、后清晰；Figure 3 另列早期、晚期、间歇三种体制。VIR 用高斯模糊和 dropout 估计 JS 不确定性，低于在留出集上标定的阈值才保留输出。论文未给出具体价值准则。
• 主表：Table 1 有 17 行。幻觉率最低为 Gemini-1.5-Pro-strict 的 15.2%，最高为 Phi-3-Vision-strict 的 31.4%。恢复率 78.5% 与时序一致性 72.8% 同为 GPT-4o-strict 一行。作者称开源实现中时序一致性最高为 59.4%，与 Llama-3-90B-strict 相同。
• 标注数字：作者称直接轻量输出的准确率是 72.2%，VIR 精炼后是 83.3%，相对提升 15.3%。前两个百分数是作者用 100% 减去 Table 1 中 GPT-4o-lightweight、GPT-4o-strict 的幻觉率。干净与退化的分项数字正文未给。
• 作者的结论：当前模型仍难做复杂时空推理和一致的自我纠正。后续需要内部一致性机制和长期时间依赖；作者计划把评测扩展到动态多模态交互和实时学习。