图像比文字更有说服力吗？探究文本错误信息对 VLM 的影响

VLM 在误导文本与视觉证据冲突时，会不会放弃原本正确的视觉答案。

• 场景：作者认为可靠部署要求模型在模态冲突中仍忠实于视觉证据。文中例子包括自动驾驶中的语音指令与路况、带误导文字的内容审核，以及影像和病历摘要不一致。
• 现有工作：作者称文本域已有与参数知识冲突的外部信息、对抗提示和说服研究，VLM 侧更多是低层视觉扰动；与清晰视觉冲突的可读文本，尤其在本来答对的题上，仍缺系统评测。
• 作者的标准：稳健模型应平衡多模态证据、维持对视觉的理解，并把回答锚定在给定证据上。
• 本文提出：CONTEXT-VQA（Conflicting Text）为图像–问题对配上故意冲突的说服文本；多轮对话框架在 11 个 VLM 上记录答案是否改变，以及置信度如何移动。
• 输入与判定：图像和原问题不变，注入人类可读的误导文本。目标是离开金标，转向过滤阶段平均置信度第二高的错误选项。论文未用 white-box 或 black-box 描述对权重的访问。成功主要看准确率是否下降，并记录对金标和 target 的置信度。

幻觉与外部误信息

• 自发幻觉：Huang et al. (2025)、Bang et al. (2023)、Bai et al. (2024)、Huang et al. (2024b)、Guan et al. (2024b) 讨论文本输出与视觉输入矛盾。Wang et al. (2025a)、Sarkar et al. (2025)、Yang et al. (2025)、Tahmasebi et al. (2024) 提出缓解方法。
• 与本文的分界：作者把上述工作定位为模型自发写出不忠实文本；本文看外部误导文本如何改变本可答对的题。
• Shu et al. (2025)：研究模型因语义上追随文本而忽视视觉一致性，尤其在场景文字识别中。作者称本文更强调对冲突多模态输入的整体稳健性。

多模态对抗

• 攻击线：Zhong et al. (2024)、Zhao et al. (2023)、Huang et al. (2024c)、Carlini et al. (2023)、Guan et al. (2024a)、Zhou et al. (2024a) 被作者归入多模态 LLM 的对抗脆弱性。
• 视觉侧手段：Liu et al. (2024)、Zhou et al. (2024c)、Wang et al. (2025b) 使用低层、常不可感知的图像扰动，或可学习 token。Wu et al. (2025)、Liu et al. (2023) 研究多模态误信息的缓解。
• 作者的空白判断：用人类可读文本故意对抗清晰视觉证据、从而误导视觉–语言推理，仍缺少专门研究。

纯文本中的冲突与说服

• 知识冲突：Wang et al. (2024b)、Xie et al. (2023)、Ding et al. (2024) 研究与参数知识冲突的外部信息。Jia and Liang (2017)、Xie et al. (2024) 研究精心构造的对抗提示。
• 说服：Xu et al. (2024)、Zeng et al. (2024a) 用说服性误信息影响 LLM。作者称四类修辞策略受 Xu et al. (2024) 与 Rapp (2023) 启发。

数据与对照

• 源数据：A-OKVQA（Schwenk et al., 2022）。作者称它要求图像、文本与外部世界知识联合推理，并将其改成 MCQ。
• 基线：论文未把其他攻击方法当作数值基线。对照是 920 题上说服前的 100% 准确率，以及过滤前 2000 题上的初始能力。

作者称据他们所知，这是首次用说服式对话研究误信息对 VLM 的影响，并系统看模型如何在冲突的视觉与文本之间取舍。

作者用 CONTEXT-VQA 和多轮对话，测量 VLM 在本来答对的题上，被人类可读、且与图像冲突的文本说服后，答案和置信度如何变化。

题目筛选

• 来源：A-OKVQA。作者将其改成四选一，以便看各选项置信度，并选定一个错误项作 target。
• 公共子集：先抽 2000 对，评测全部被测 VLM，只保留每个模型都答对的题，得到 920 题。作者称这样后续变化可归因于文本操纵，而不是题目本身难。
• target：取过滤阶段平均置信度第二高的错误选项，写成 Non-Fact。作者称这样挑战的是最像真的干扰项。

四类说服文本

• 策略：Repetition 重述 Non-Fact；Logical 误读视觉细节，构造看似理性的论证；Credibility 以专家或权威来源为错误说法背书；Emotional 用唤起情绪的语言偏向错误选项。
• 生成：Gemini 2.5-Pro 按结构化模板和示例生成。附录给出完整提示词；其中的具体句式和伪技术约束这里不转写。
• 成稿：Table 2 把策略正文与 Non-Fact 拼成最终输入。Table 1 是一条样例，Figure 1 是对应图像。
• 人工过滤：4 名合作者检查是否通顺，并去掉含冒犯内容的文本。失败 30/920，对这些题重跑生成（附录 C.3）。

多轮框架

1. Stage I：在 920 题上记录初始答案和对各选项的置信度。按过滤设计，本文所测模型的初始准确率为 100%。
2. Stage II：每个策略单独对话。每轮把原图与问题、已有说服和模型自己的回答，与新误导文本拼接。只对上一轮仍答对的题继续；答案被改到预定 target 后，该题停止。
3. 轮数：收到第 4 轮。作者称轮数取决于所测模型的上下文窗口。n=0 为说服前。
4. Stage III：记录最终准确率，以及对金标和错误 target 的置信度。

指标

第 n 轮准确率定义为 ACC@n = |Q_co@n| / |Q|，即仍答对题数除以全部题目。正文同时称 ACC@n 是各策略准确率的平均。Capability 是 2000 题过滤前的初始准确率；robustness 是全部轮次后的最终准确率。答错集随轮次只增不减。开源模型的置信度取最后一层 logits 上、对应选项 token 的 softmax 概率。

实验设置

• 模型：11 个。开源为 QwenVL-2.5-3B/7B、InternVL-3-1B/2B/8B、LLaVA-OneVision-0.5B/7B；专有为 Gemini-2.5-Flash、Gemini-2.5-Pro、GPT-4o-mini、GPT-4o（§5.1）。误信息由 Gemini 2.5-Pro 生成，该模型也在被测列表中。
• 数据：A-OKVQA 抽 2000 对，保留 11 个模型都答对的 920 题，四选一。四策略各一套文本。说服前该子集准确率按设计为 100%。
• 协议：温度 0.2，§5.2 写明 single run；关闭 thinking。开源用 vLLM、bfloat16，batch size 10。每策略单独测，最多 4 轮。只对仍答对的题继续注入。
• 指标：ACC@n；capability 为 2000 题初始准确率；robustness 为全部轮次后的最终准确率。另有 misinformed rate。论文未给出该比率的公式。
• 判定：用格式约束解析选项字母，不是 LLM 裁判。§6.1 的置信度是输出 token 的 softmax。论文未说明专有模型置信度如何计算。详细分布图只覆盖开源模型。
• 对照：没有其他攻击方法的数值基线。alarm 只在 4 个专有模型上报告第 1 轮（Table 6）。

主结果

第 1 轮准确率（%）。说服前均为 100%。据 Table 3；表中写作 Qwen-VL-2.5、Intern-VL-3。

表格较宽，可左右滑动

模型	Repetition	Logical	Credibility	Emotional	平均
GPT-4o-mini	16.9	14.0	16.7	17.5	16.3
Gemini-2.5-Flash	59.3	10.5	16.6	23.3	27.4
QwenVL-2.5-3B	20.8	19.2	25.6	55.6	30.3
InternVL-3-1B	38.2	38.4	44.7	47.1	42.1
LLaVA-OneVision-0.5B	31.6	49.6	52.5	64.6	49.6
QwenVL-2.5-7B	81.8	42.6	59.1	73.9	64.4
GPT-4o	26.4	79.6	86.3	87.4	69.9
Gemini-2.5-Pro	62.3	90.7	93.8	91.6	84.6

未列入的第 1 轮平均：InternVL-3-2B 61.3%，InternVL-3-8B 64.7%，LLaVA-OneVision-7B 59.1%（Table 3）。

• 作者称多数模型会优先冲突文本。摘要、贡献列表、Finding I 与结论写平均下降超过 48.2%；引言正文一处写 48.2%。Table 3 总平均准确率为 51.7%，附录 Table 8 第 1 轮总平均为 51.8%。
• 作者称初始能力不必然对应鲁棒性，并称 QwenVL-2.5-3B 在 2000 题上为 86.7%、排第五，说服后为 18.3%。Table 4 中最终准确率更低的是 GPT-4o-mini 的 12.0%，最高是 Gemini-2.5-Pro 的 79.4%。
• 作者称同家族增大参数通常同时提高能力与鲁棒性，并称 InternVL-3 上 8B 最高、其次 2B、再次 1B（Figure 3）。Table 4 中该家族 robustness 为 25.9、44.0、50.1。Figure 3 有标注数值，文本抽取后无法把每个数对应到轮次。

多轮结果与策略

• 轨迹：作者称第 1 轮影响最大，第 2 轮之后的平均降幅通常小于 10%。附录 Table 8 总平均：第 1 轮 51.8，第 2 轮 43.9，第 3 轮 41.7，第 4 轮 40.5。Gemini-2.5-Pro 的 Logical 在附录中为 90.7、88.0、86.6、85.8；作者称四轮后仍高于 85%（Figure 2）。图中曲线端点无法从文本读取。
• 谁更有效：Table 3 分策略平均准确率：Repetition 50.9，Logical 43.5，Credibility 51.3，Emotional 61.5。Table 5 获胜次数：Logical 25，Repetition 13，Credibility 3，Emotional 3。作者称 Logical 整体最有效，且更多带动开源模型；Repetition 更多带动专有模型。
• 表内例外：LLaVA-OneVision-0.5B 的 Repetition 低于 Logical；GPT-4o-mini 的 Logical 低于 Repetition；Gemini-2.5-Flash 最低的是 Logical，不是 Repetition。GPT-4o 与 Gemini-2.5-Pro 的 Repetition 低于同模型其余三列。

置信度变化

• 设置：InternVL-3-8B，四策略汇总，比较第 0 轮与第 4 轮（Figure 4）。区间为 [0, 0.25] 到 (0.99, 1.0]。
• 数字：仍答对的题中，高于 99% 的比例从 84.9% 到 38.8%。target 侧，第 0 轮 98.9% 低于 25%；第 4 轮 28.7% 落入最高区间。
• 作者解读：作者称抵抗误信息时，对正确答案的置信度也会下降；翻到错误答案时，往往以高置信度采纳。附录 Figure 5 还有其余开源模型的图，文本抽取后各柱与区间的对应不稳定，这里不逐柱转写。

提示词防御与长度对照

• alarm：写入 system prompt，内容是提醒仔细看图、答案须与所见一致。只测 4 个专有模型的第 1 轮（Table 6）。平均准确率：Flash 27.4 到 36.0（Difference +8.6），Pro 84.6 到 89.0（+4.4），mini 16.3 到 22.9（+6.6），GPT-4o 69.9 到 74.6（+4.7）。
• 策略差：Repetition 列差值：mini +16.3（16.9 到 33.2），Flash +11.9（59.3 到 71.2），Pro +7.1，GPT-4o +5.5。作者称 alarm 对 Repetition 更明显，较弱模型的提升更高，并认为可能是因为这类文本缺少复杂修辞。
• 长度：附录 Table 9，QwenVL-2.5-7B 与 GPT-4o，策略平均。Neutral 第 1 轮 97.8% 与 99.2%，第 4 轮 95.2% 与 97.0%。Early-Misinfo 第 1 轮 64.3% 与 70.1%，Baseline 为 64.4% 与 69.9%；第 4 轮 Early-Misinfo 为 61.5% 与 68.7%，Baseline 为 56.6% 与 66.5%。作者称长度本身影响小，说服内容造成主要下降，重复说服的额外伤害有限。

其他消融与分析

• Table 4 的 capability（2000 题）：InternVL-3-8B 91.8 最高，GPT-4o-mini 73.9 最低；QwenVL-2.5-7B 的 robustness 为 56.6，是开源模型中 Table 4 的最高值。
• Table 4 与附录 Table 8 的最终平均不一致：LLaVA-OneVision-7B 为 36.4 与 40.8，Gemini-2.5-Flash 为 22.0 与 21.5。上文最终鲁棒性用 Table 4。
• Table 7 第 1 轮平均 misinformed rate：Temporal 85.7%（附录 A 为 21 题），Reasoning/knowledge 78.1%，Activity/action 63.8%，Spatial 63.5%；Object recognition 47.9%，Other 46.7%。Counting 与 Scene understanding 各 2 题，均为 50.0%。作者称知识、时间、动作类更高，感知类较低但仍会被说服。
• 附录 D：火车例中，作者称除 GPT-4o 外，Logical 把其余模型从 tunnel 改到 extreme distance。风筝例中，作者称除 Gemini-2.5-Flash 与 GPT-4o-mini 外都保持 red，二者只偶尔被 Repetition 说服。
• 附录 C.3：4 名合作者过滤生成文本；失败 30/920 后重跑。论文未报告标注一致性。

作者指出的局限与后续方向

• 规模：作者写 CONTEXT-VQA 建在仔细过滤的 A-OKVQA 子集上，但因预算，数据集规模受限；后续可扩到更大、更多样的数据，以考察面对文本误信息时如何泛化（Limitations）。
• 机制：作者写现有行为结果没有触及 VLM 的内部推理；下一步是解释为何模型频繁用矛盾文本覆盖清晰视觉证据（Limitations）。
• 缓解：作者写缓解只限于简单的 prompt-based defense；后续可研究架构或微调方案（Limitations）。§6.2 亦称更复杂的架构或微调超出本文范围，留作 future work。

实验覆盖范围

• 被测为 7 个开源模型与 4 个专有模型，共 11 个：LLaVA-OneVision-0.5B/7B、QwenVL-2.5-3B/7B、InternVL-3-1B/2B/8B、Gemini-2.5-Flash、Gemini-2.5-Pro、GPT-4o-mini、GPT-4o（§5.1、Table 3）。
• 数据为 A-OKVQA 的 2000 对中、全部模型都答对的 920 题；四类策略分开测，最多 4 轮；温度 0.2，§5.2 写明 single run。
• alarm 只报告 4 个专有模型的第 1 轮（Table 6）；长度对照只报告 QwenVL-2.5-7B 与 GPT-4o（附录 Table 9）；置信度分布图为开源模型（Figure 4、附录 Figure 5）。
• 误信息由 Gemini 2.5-Pro 生成，该模型同时在被测列表中；人工过滤为 4 名合作者，生成失败 30/920 后重跑（§3、附录 C.3）。
• 论文未报告多种子重复、统计检验、人工一致性、专有模型置信度的计算方式，以及与低层视觉扰动攻击的数值对比。

作者用 CONTEXT-VQA 评测 VLM：当说服性文本与图像证据冲突时，模型是否仍按视觉作答。

问题来自部署场景。作者认为自动驾驶、内容审核和医疗诊断需要模型在模态冲突中优先视觉证据。已有工作更多处理自发幻觉或低层视觉扰动，而不是本来能答对的题上的可读文本误导。

做法是从 A-OKVQA 保留 11 个模型都答对的 920 道四选一题，由 Gemini 2.5-Pro 按 Repetition、Logical、Credibility、Emotional 生成冲突文本，最多做四轮对话；只对仍答对的题继续。说服前该子集准确率按设计为 100%。

• Table 3 一轮后总平均准确率 51.7%。摘要与结论写平均下降超过 48.2%，引言正文一处写 48.2%。单格最低是 Gemini-2.5-Flash 在 Logical 下的 10.5%。
• 四轮后 Table 4：Gemini-2.5-Pro 为 79.4%，GPT-4o 为 66.5%，GPT-4o-mini 为 12.0%，QwenVL-2.5-3B 为 18.3%（其 2000 题能力为 86.7%）。作者称初始能力不必然换成抗误信息能力。
• Table 5 中 Logical 获胜 25 次，Repetition 13 次，另两种各 3 次。作者称后几轮收益递减。Table 3 里策略效应有例外，例如 LLaVA-OneVision-0.5B 的 Repetition 低于 Logical。
• InternVL-3-8B 上，答对题高于 99% 的比例从 84.9% 到 38.8%；第 4 轮有 28.7% 的 target 落入最高置信区间（§6.1、Figure 4）。
• 专有模型的 alarm 提高了第 1 轮准确率，GPT-4o-mini 在 Repetition 上的 Table 6 差值为 +16.3。长度对照中，Neutral 第 4 轮仍为 95.2% 与 97.0%（附录 Table 9）。

作者的结论是：当前 VLM 常采纳与图像冲突的文本，可靠部署需要针对文本操纵的防护；文中 alarm 只是不训练的提示。作者称据他们所知，这是首次用说服式对话研究这类误信息对 VLM 的影响。附录 E 中，作者把该现象联系到智能体感知，并认为指令跟随训练可能使模型在看见与被告知冲突时默认服从文本。