知道什么不该回答：视觉语言模型的选择性不遵从

视觉语言模型需要在同一条查询中，只对不正确、不可见、不可知、不可行或不安全的成分纠错、弃权或拒绝，并继续回答其余可答成分。

• 场景：作者称 VLM 越来越多地用于真实应用，有用且符合上下文的回答是核心设计目标；面对错误假设、图像推不出的信息，或不安全、不可行请求时，应纠正前提、表达不确定或拒绝相关成分，而不是给出误导性回答。
• 现有不足：作者称现有基准主要在整条查询上评测不遵从，默认一条请求要么应遵从、要么应整体不遵从。真实查询可以混有可答内容与应不遵从的成分，选择性处理仍缺少专门评测。
• 配对观察：同一图像、同一不遵从来源可以配成单查询和复合查询。作者在引言中称复合查询可再含一个或多个可答成分，用来看模型是否只对受影响成分拒绝、纠正或弃权。
• 论文提出：作者提出基准 KoNA，覆盖 False Premise、Visual Inaccessibility、Universal Unknown、Task Feasibility、Safety，并同时评测 query-level 与 component-level 不遵从。作者还用选择性不遵从样本和全可答样本微调 VLM。

视觉问答与可答性假设

• 标准 VQA：Antol et al.（2015）、Goyal et al.（2017）等在图像和语言上评测事实回答与视觉定位。作者称这类设置通常默认问题有效且可答。
• 先验、幻觉与孤立对抗：作者称模型会依赖语言先验或幻觉视觉细节（Agrawal et al., 2016; Clark et al., 2019; Whitehead et al., 2022）。对抗或反事实问题多在孤立条件下评测（Liang et al., 2020; Li et al., 2021; Wu et al., 2024a）。

语言侧不遵从

• 对齐中的拒绝：Amodei et al.（2016）、Askell et al.（2021）、Bai et al.（2022a）讨论模型应有帮助，同时在不当情形下不遵从。
• 具体机制：策略驱动的拒绝（Ouyang et al., 2022; Bai et al., 2022b）、错误前提检测（Ray et al., 2016），以及不可答时的弃权或不确定校准（Rajpurkar et al., 2018; Brahman et al., 2024）。

多模态不遵从

• 幻觉与错误前提：Rohrbach et al.（2018）、Li et al.（2023b）、Wang et al.（2024）、Wu et al.（2024b）等处理视觉幻觉或视觉任务中的错误前提。
• 安全与可答性：Qi et al.（2024）、Liu et al.（2024b）、Li et al.（2024）涉及视觉安全；Gurari et al.（2018）、Guo et al.（2024）、Eisenschlos et al.（2024）、Miyai et al.（2025）、Zhu et al.（2026）涉及可答性与弃权。作者称这一路工作通常在查询级评测，并预期整条回答要么遵从、要么不遵从。

基线方法与基准

• 基线：默认推理、Chain-of-Thought（Wei et al., 2022）、Behavior Guidance prompting；训练对照包括有无 answerable 集的 SFT、全量 SFT，以及 SFT 加 GRPO。
• 基准：主评测用 KoNA。扩展用 HaloQuest、MM-SafetyBench、R-Bench、UPD；通用能力用 TextVQA、MIA-Bench、MMBench、POPE；过度拒绝用 MOSSBench。

作者把本文放在不遵从条件嵌进更宽查询的情形：评测模型能否回答有效成分，同时对其余成分按情况拒绝、纠正或弃权。

作者用基准 KoNA 把五种不遵从做成可比较的单查询与复合查询，再用监督微调（SFT）加 Group Relative Policy Optimization（GRPO）在混合样本上微调两个开源 VLM。类别改编自先前的不遵从和 VQA 可靠性工作，并保持单查询与复合查询可比较。

五类不遵从

• 错误前提与不可见：False Premise 针对可核验视觉属性，只改一个精确细节，其余描述与图像一致；期望用视觉证据纠正，而不是默接受。Visual Inaccessibility 询问场景中存在、但因遮挡、模糊、视角或光照无法确定的属性；期望说明不可见，而不是推断或幻觉。
• 不可核实的假设：Universal Unknown 涉及关系、角色或意图等无法仅凭图像核实的假设。期望明确说明无法核实；只有清楚表述为可能而非已确认时，有限定的推断才可接受。
• 不可行与安全：Task Feasibility 请求超出被评测 VLM 能力的动作，例如物理任务；期望承认不能执行不可行成分，同时回答可行成分。该标准限于 VLM，不用于图像生成等其他能力的模型。Safety 针对图像中清晰可见的物体或地点，请求不道德、恶意或未授权行为；期望识别有害意图并明确拒绝协助。

三阶段数据与过滤

• 单查询：图像从 MS COCO 与 Open Images V7 随机抽样。每条单查询只针对第 3.1 节的一种不遵从条件，用于测 query-level 不遵从。
• 复合与全可答：第 3.2 节为每条单查询加入一个额外的、可由图像回答的成分。最后把应不遵从的成分改成全可答形式，保留原查询结构；对应答案是直接、基于图像的回答，不含纠正、拒绝或不确定。
• 生成与过滤：查询—答案由 GPT-5 与 Gemini-2.5-Flash 在固定配置下生成。自动过滤检查一致性、任务定义、视觉定位和查询—答案对应。测试集全部经 Amazon Mechanical Turk 核验；token 重叠低于 0.2 的抽取作废，并插入 10% 全可答查询检查工人。只有同时通过自动过滤和人工核验的样本保留。
• 规模：最终 3,100 个图像级实例，各含 single QA、compound QA 和 fully answerable QA，共 9,300 个 QA 对（Table 1）。五类均等。训练、验证、测试分别为 1,300、300、1,500。

SFT 与 GRPO

• 两阶段：SFT 主要在复合查询上学习成分级不遵从，并处理可答成分；再用 GRPO 平衡不遵从与可答成分的事实性。微调对象为 InternVL3-2B-Instruct 与 Qwen2.5-VL-3B-Instruct，视觉编码器冻结。
• 数据分配：1,300 个训练实例中，1,200 用于 SFT、100 用于 GRPO。SFT 含 1,000 条复合、100 条可答、100 条单查询。GRPO 随机抽 80 条复合和 20 条可答，跨任务与图像来源平衡，且与 SFT 集不重叠。
• 奖励：GPT-5-mini 给出 Rnon（成分级不遵从不通过则为失败）和 Rfac（可答回应是否基于图像）。Rnon 失败时奖励为 0；通过时为 1.0−λ· 1(Rfac=FAIL)。实验取 λ=0.3。作者称该结构优先保证选择性不遵从，同时惩罚有效成分上的事实错误。
• 训练量：SFT 为 3 个 epoch；GRPO 为 30 个 epoch，每条输入采样 4 个回应，并用相对参考策略的 KL 正则。学习率等细节在附录 B.1。

成功判定与推理设置

• 三项比例：都由 GPT-5-mini 按 PASS 计算。query-level 看是否识别该类触发并给出期望的纠正、弃权或拒绝。component-level 针对复合查询，只有选择性处理无效成分且准确处理可答成分才算正确。factual accuracy 看可答成分是否事实正确且视觉上有依据。
• 全可答对照：附录的成分级评审提示另有 Contrast 标准：全可答查询应直接回答，不含无依据的拒绝、纠正或不确定。
• 推理变体：默认推理之外，Chain-of-Thought 在查询后附加 “Let’s think step by step.”；Behavior Guidance 明确指示何时纠正前提、表达不确定或拒绝动作。开源模型用 vLLM 贪心解码，最长 2,048 tokens；闭源模型用公开 API 的默认设置。

实验设置

• 被测模型：InternVL3-2B-Instruct、InternVL3-78B-Instruct、Qwen2.5-VL-3B-Instruct、Qwen2.5-VL-72B-Instruct、GPT-5、Gemini-2.5-Flash，以及微调后的 InternVL3-2B-KoNA、Qwen2.5-VL-3B-KoNA。
• KoNA 测试：1,500 个图像级实例（Table 1），五类均等；图像来自 MS COCO 与 Open Images V7，生成器为 GPT-5 与 Gemini-2.5-Flash。每实例有单查询、复合查询和全可答查询。
• 对照：默认推理、Chain-of-Thought、Behavior Guidance；附录另有 5-shot。训练对照包括无 answerable 集的 SFT、含该集的 SFT、全量 SFT，以及 SFT+GRPO。
• 指标：Table 2 为五类 task accuracy 的单/复合结果和两类平均。Table 3 在默认推理下报告 Answerable Average 与 Factuality Average。第 4.3 节另定义 query-level、component-level 不遵从准确率和 factual accuracy。
• 评审：主指标由 GPT-5-mini 判定。640 条输出上，与人工的一致率为查询级 94.0%、成分级 93.8%、事实性 97.0%、总体 94.8%；Gemini-2.5-Flash 复评与 GPT-5-mini 总体一致 95.2%（附录 C）。GRPO 训练集上，GPT-5-mini 与 Gemini-2.5-Flash、Claude Haiku 4.5 的奖励完全一致比例为 85.2% 与 90.1%，与两名替代评审均值的 Pearson 相关为 0.887（附录 B.1）。
• 解码：开源模型贪心解码。论文未报告主结果的重复次数。

主结果

模型	Single Average	Compound Average
InternVL3-2B	0.25	0.10
InternVL3-78B	0.35	0.23
Qwen2.5-VL-3B	0.29	0.11
Qwen2.5-VL-72B	0.59	0.34
GPT-5	0.55	0.42
Gemini-2.5-Flash	0.49	0.39
InternVL3-2B-KoNA	0.92	0.90
Qwen2.5-VL-3B-KoNA	0.91	0.87

据 Table 2。前六行为 Default Inference，后两行为 Fine-Tuned with KoNA。

• 复合查询：作者称多数模型在多数任务上，复合查询准确率低于单查询，说明难以把应不遵从成分与可答成分分开。模型平均层面，开源模型的单—复合差距往往大于闭源，但并不整齐。默认设置下也有持平，如 InternVL3-78B 的 Task Feasibility 为 0.04/0.04，Gemini-2.5-Flash 的 Task Feasibility 为 0.12/0.12。
• 类别差异：默认设置下 Task Feasibility 偏低，Qwen2.5-VL-72B 为 0.14/0.09。GPT-5 的 Safety 为 0.95/0.91，但 False Premise 复合仅为 0.14；Qwen2.5-VL-3B 的 Safety 为 0.43/0.01（Table 2）。
• 微调与可答性：作者称微调缩小单查询与复合查询差距，且提升不限于单一类别。Table 3 默认设置下，两微调模型的 Answerable Average 为 0.70 与 0.71，对应基座为 0.77 与 0.73；Factuality Average 为 0.88 与 0.89，对应基座均为 0.84。作者称微调模型大体保持全可答查询上的准确率。

推理时提示

• Chain-of-Thought：变化不稳定，对复合查询影响有限。Qwen2.5-VL-3B 的 Single/Compound Average 从 0.29/0.11 到 0.18/0.10；Qwen2.5-VL-72B 从 0.59/0.34 到 0.43/0.32（Table 2）。
• Behavior Guidance：对部分较大模型、以及 Task Feasibility 和 Safety 提升更大。Qwen2.5-VL-72B 为 0.87/0.79，Gemini-2.5-Flash 为 0.85/0.77；InternVL3-2B 的 Compound Average 为 0.08，低于其默认 0.10。作者称提示本身并不能稳定支持复合查询中的选择性不遵从；False Premise 与 Universal Unknown 的提升更有限，因为需要更细、依上下文而定的回应，而不是直接拒绝。

跨基准、通用能力与失败形态

• 扩展基准：原查询作单查询，再按同一流程加入可答成分。UPD 只用 IVQD，排除 AAD 与 IASD，因为后两者的不可解主要来自选项缺失或不兼容。基座复合查询往往更低，如 InternVL3-78B 的 MM-SafetyBench 为 0.88/0.05（Table 5）。微调后 InternVL3-2B-KoNA 四项复合为 0.62、0.60、0.56、0.60。例外：Qwen2.5-VL-72B 的 HaloQuest 为 0.67/0.79；Qwen2.5-VL-3B-KoNA 的 MM-SafetyBench 单查询为 0.65，低于基座 0.75。
• 通用能力与拒绝率：Table 6 中，InternVL3-2B 微调后 TextVQA 仍为 0.79，MIA-Bench 从 0.64 到 0.62，MMBench 从 0.80 到 0.76，POPE 从 0.92 到 0.93，MOSSBench 拒绝率从 0.01 到 0.04。Qwen2.5-VL-3B 对应为 0.83 到 0.84、0.70 到 0.69、0.79 到 0.76、0.89 到 0.90、0.02 到 0.05。作者称未见这些能力上的广泛下降，安全查询上的拒绝率仍低。WildGuard 复评为 0.03 到 0.04、0.03 到 0.06（Table 7）。
• 错误形态：第 6.4 节与 Figure 3 给出三类：Task Feasibility 上把拒绝延伸到本可文本回答的说明；Visual Inaccessibility 上对不可读细节弃权，但漏掉可答属性；False Premise 上认出错误前提，但纠正本身不准确。作者称选择性不遵从还要求保留全部可答内容，并把纠正建立在准确的视觉证据上。

其他消融与分析

• Table 4：无 answerable 集时，InternVL3-2B-KoNA 与 Qwen2.5-VL-3B-KoNA 的 Answerable Average 为 0.38 与 0.53；加入后为 0.60 与 0.64；再加 GRPO 为 0.70 与 0.71。作者称缺少该集时会出现不必要的拒绝。
• Table 10：全量 SFT、无 GRPO 的 Answerable Average 为 0.62 与 0.65，低于 SFT+GRPO 的 0.70 与 0.71。作者认为 GRPO 有助于在不遵从查询和全可答查询之间更平衡。
• Table 11：GRPO 样本 50/100/150 时，InternVL 的 Compound Average 为 0.84/0.90/0.90，Answerable Average 为 0.59/0.70/0.71。作者称增至 150 没有一致的额外收益。
• Table 8：CC3M 外分布测试 750 条、每类 150。微调模型 Compound Average 为 0.88 与 0.86，对应 2B/3B 基座为 0.11 与 0.07。
• Table 9：5-shot 复合平均中，InternVL3-78B 为 0.64，Qwen2.5-VL-72B 为 0.68，Gemini-2.5-Flash 为 0.71；两微调模型仍为 0.90 与 0.87。作者称更大的 VLM 更能利用上下文示例。
• 附录 K：250 题 VizWiz-VQA 子集上，选择性不遵从率从 InternVL3-2B 的 0.32 到 0.72，Qwen2.5-VL-3B 的 0.39 到 0.73。作者称该子集按复合结构和部分不可答筛选，问题原文未被改写，不应理解成完整 VizWiz-VQA 分布上的表现。

作者指出的局限与后续方向

• 模型规模：实验未包含参数量超过 80B 的开源 VLM，作者写明原因是计算约束（Limitations）。
• 模态范围：研究只针对 VLM，未考虑音频模型或图像生成模型等其他模态（Limitations）。
• 后续方向：作者称可以把任务表述和评测框架扩展到更多模态与模型类别，并探索在任务、模态和模型规模上整合不遵从评测的更完整基准（Limitations）。

实验覆盖范围

• 主评测模型为 InternVL3-2B/78B-Instruct、Qwen2.5-VL-3B/72B-Instruct、GPT-5、Gemini-2.5-Flash；参数更新只做了 InternVL3-2B-Instruct 与 Qwen2.5-VL-3B-Instruct（第 4 节、Table 2）。
• KoNA 测试分割为 1,500 个图像级实例，五类均等；图像来自 MS COCO 与 Open Images V7，查询由 GPT-5 与 Gemini-2.5-Flash 生成，测试实例经过自动过滤和 MTurk 核验（Table 1、第 3 节）。
• 判定由 GPT-5-mini 完成；人工一致率基于 640 条输出（附录 C）。开源推理为贪心解码。论文未报告主结果的重复次数。
• 额外评测包括 HaloQuest、MM-SafetyBench、R-Bench、UPD 的复合查询扩展，以及 TextVQA、MIA-Bench、MMBench、POPE、MOSSBench（Table 5、Table 6）。
• 附录还报告 CC3M 上 750 条外分布测试、5-shot 上下文学习、GRPO 样本数 50/100/150，以及 250 题 VizWiz-VQA 子集（附录 H、I、J、K）。

KoNA 用来评测视觉语言模型能否对混合查询做选择性不遵从：只处理不该遵从的成分，同时回答其余成分。

• 问题：作者称现有评测多把不遵从当成整条查询的二元选择。一条查询却可以同时含可答成分，以及应纠正、弃权或拒绝的成分。
• 做法：五类任务各有成对的单查询和复合查询，并另建全可答对照。图像来自 MS COCO 与 Open Images V7，共 3,100 个图像级实例、9,300 个 QA 对。作者再用 SFT 和 GRPO 微调 InternVL3-2B-Instruct 与 Qwen2.5-VL-3B-Instruct；成分级不遵从失败时奖励为 0。
• 默认结果：Table 2 中，InternVL3-2B 的单/复合平均为 0.25/0.10，Qwen2.5-VL-72B 为 0.59/0.34，GPT-5 为 0.55/0.42。多数模型的复合查询更低，但差距并不整齐。
• 微调：InternVL3-2B-KoNA 为 0.92/0.90，Qwen2.5-VL-3B-KoNA 为 0.91/0.87。全可答平均为 0.70 与 0.71（Table 3）。去掉 answerable 训练集后，这两项可答平均为 0.38 与 0.53（Table 4）。
• 提示并不替代训练：Behavior Guidance 下 Qwen2.5-VL-72B 复合平均为 0.79，InternVL3-2B 仅为 0.08（Table 2）。作者认为微调后的模型能够区分可答成分与需要不遵从的成分；第 6.4 节同时给出过度拒绝、漏答和纠正错误。作者在结论中称，这项工作指出了现有 VLM 的关键限制，并为发展更可靠的不遵从行为提供基础。