MIST 压力测试：无关图像会扰动 VLM 评判者标签

可替代性协议给出的裁决，描述的是VLM judge，还是连同无关图像在内的测量配置？

• 场景：作者称大模型正代替人类做标注，alt-test与He等人的统计不可区分检验都只对一种提示、一种呈现给出一个裁决。真实条目常带指南声明无关的图像或前文；人类通常可被指示忽略，模型未必能。
• 重要性：作者称人类小组一旦被替换，其标签会变成评测集和训练数据，错误会进入有缺陷的比较和错误结论。长度偏好、自我偏好、评分格式和提示敏感性被当作要修掉的准确率问题，而不是对“可否换人”这一决定的威胁。
• 已有工作：作者称IRFL与AdMIRe把图像当作决策对象，换图会合法改答案；无关上下文工作衡量任务准确率，而不是与将被替换的标注者的一致。ID10M-JAM保持标签，但扰动文本并计识别准确率。
• 做法：同一习语字串可在句中作比喻或字面解读，因此可换旁边的图而不改正确答案。作者提出MIST：200条英语句子，指南要求只凭句子定标签，对齐图、误导图或无图都不应改变答案。作者预期图像把标签拉向所绘义项，两种图都没有。

Judge的偏差与可替代性协议

• Zheng等人（2023）与Chen等人（2024）——分别写LLM judge受位置、冗长和自我增强影响，以及多模态judge在评分、排序下更偏离人类偏好。论文此处是描述，没有把对本文的批评安到这两篇上。
• Li等人（2025）——分数随提示变化。作者称该工作把提示当作待优化的设计，而不是对可替代性决定的威胁。
• Calderon等人（2025）的alt-test与He等人（2025）——分别问judge是否至少不差于被留出的人类，以及标签是否与人类统计不可区分。作者称二者都只对一种输入、一种配置给裁决。

不想要的上下文

• Shi等人（2023）、Gonen等人（2025）、Deng等人（2025）——无关文本降低推理，无关提示内容渗入生成，图文冲突时VLM更信文本，且被破坏的是文本不是图像。作者称这些工作按任务准确率计分，不是与人类的一致。
• Hashiloni等人（2026）的ID10M-JAM——在人类仍无歧义阅读的习语前加冲突线索。作者称扰动同时加长输入，人类基线是两名标注者和原始一致率，计的是识别准确率而非与将被替换的标注者的一致。

比喻语言基准

• MAGPIE、FLUTE、DICE——纯文本习语或比喻基准。
• IRFL、V-FLUTE、AdMIRe——加入图像并含不匹配配对。作者称在这些基准里图像是决策对象（哪张图合适，或是否蕴含主张）；MIST里图像不被评判，决策关于文本，指南要求忽略图像。

对照：论文没有与另一套标注方法对打。同一judge比较无图、对齐图、误导图；另有图像固定、只删“忽略图像”段落的提示编辑，作者称其给出仅改提示能移动多少标签的上界。条目来自AdMIRe共享任务衍生的指令微调发布。

作者称据其所知，此前没有工作追问可替代性裁决实际依赖哪些测量条件。Ribeiro等人（2020）的CheckList把标签保持扰动下预测不变当作不变性期望，并配有方向性期望，但用于任务模型；作者称MIST把前一种检验用在judge上，扰动在第二模态，并对照可替代性裁决而不是一致性分数来读。

作者用MIST（Misleading-Image Stress Test）固定正确答案、只改旁边的图：指南要求标签只由句子决定，因此对齐图、误导图或无图都不应改变标注。

标签由句子决定

• 两步四标签：第一步问该短语在这句里是否承担字面义。只字面为Fully Literal（LL）；字面与比喻同时在场为Figurative and Literal（FL）；否则进入第二步。第二步放下句子和图像，问字面词与比喻义是否仍有语义联系：有则Weak Figurative（WF），无则Fully Figurative（FF）。
• 序与指南：作者把标签当作从FF到LL、由最比喻到最字面的部分有序。指南写明字面图像本身不使短语成为LL；觉得图像干扰时，应像图像被遮住那样标注后再核对（附录C）。作者称换图在构造上保持正确答案，标签一变就是错误。两张图都描绘目标短语的一种读法，变的是画了哪一种，不是图是否关于该句。

条目与四种条件

• 来源：AdMIRe共享任务衍生的公开指令微调发布，含551个英语潜在习语表达式。抽200个，各留一句，比喻句与字面句各100；丢掉的那一行的图仍可用，故每句都能配两种图。
• 条件：对齐图描绘句义，误导图描绘相反义项，或无图。与句义交叉得到Figure 1的四种条件，各50条：T1比喻句配字面图、T4字面句配比喻图为误导；T2、T3为对齐。Figure 2示意T1的句子来自比喻行、图像来自字面行的correct_image。
• 抽样：附录D写明用random.seed(123)从合格池均匀抽取并分成四组。200句中164句（82%）为复合词精确子串，36句（18%）为形态变体。图像用源发布的correct_image，为生成图、约五十种画风；作者未再筛选，也未自行生成。目标短语在句中用双星号标出。

人类与VLM如何看到条目

• 人类：六名流利英语使用者，分为知情组（知道设计且熟悉任务）和盲组（只有指南），各三人。每组对同一100条独立标注，两组无共享条目。每人每表达式只看一种条件，以免比较版本推断操纵。
• VLM：看到每条的全部三种输入。十三个模型，四个专有、九个开源权重，主动参数3B到32B。有推理模式则关闭，使显式推理只作为受控提示因素。
• 提示：zero-shot、few-shot、chain-of-thought、few-shot加CoT，共用同一任务说明和输出约定；附录I给出完整提示词。再与显式臂（要求忽略图像）和静默臂（不提图像）交叉。few-shot的四个示范是纯文本，从知情组一致标注的20条里按标签抽取，各judge相同，且不是当前目标条；CoT版本还要求thought_process。
• 解码：论文写每judge每条4×(1+2×2)=20个标签，共52,000。结合同段的四种提示、两种图和两臂，无图不按两臂重复计。贪心解码，输出约束为四标签。未另作说明时报告显式臂，并在四种提示上合并。作者称已发布MIST及全部人类与VLM标签。

四个测量量

• 变化率：(item, prompt, judge)格子里两种输入标签不同的比例，分别比较无图到对齐图、无图到误导图。对照是图像固定、只删要求忽略图像的那段；作者称这是仅改提示能移动多少标签的上界。
• 方向：两图标签不同的格子中，朝所示义项移动的比例；机会水平为50%。
• 一致：与看到该条的那个人类三人组之多数标签做精确匹配。
• 可替代性：alt-test按trio分开。slack为知情组ε=0.20、盲组ε=0.15。judge只在其人类对照者看到的那种输入上计分。

实验设置

• Judge：十三个VLM。至少在一个配置通过alt-test、因而写入正文的七个是GPT-5.2、Gemini 3.1 Flash-Lite（G3.1-FL）、Gemini 3.5 Flash（G3.5-F）、Gemma-3-27B（Gm3-27B）、Mistral-Small-3.2-24B（MiS-24B）、Qwen3.6-27B（Q3.6-27B）、Qwen3.6-35B-A3B（Q3.6-35B）。从未通过的六个在附录F：GPT-4o、InternVL3.5-30B-A3B（IV-30B）、Kimi-VL-A3B-Instruct（K-VL）、Qwen3-VL-32B（Q3-32B）、Qwen2.5-VL-7B（Q2.5-7B）、Qwen2-VL-7B（Q2-7B）。主动参数3B到32B；有推理模式则关闭。
• 数据：MIST 200条英语句子、200个不同复合词，四种条件各50。六名标注者分两个三人组，各标100条，每条三个独立标签。
• 提示与解码：四种提示技术，各与显式、静默图像指令交叉；默认是显式臂、四种提示合并。贪心解码，输出约束为四标签。每judge每条20个标签，共52,000。
• 对照：图像固定，只删忽略图像的段落。作者称这是仅改提示的上界。
• 指标：变化率；两图标签不同时朝所示义项移动的比例（机会50%）；与该条所属trio的人类多数标签精确匹配；alt-test按trio，ε=0.20（知情）与0.15（盲），judge只在人类对照者看到的输入上计分。附录H的通过线为winning rate≥0.5，并同时用精确匹配ACC和序数MAE（FF=0到LL=3）。
• 人类一致：知情组Fleiss κ=0.65、全体一致63.0%；盲组κ=0.57、全体一致56.0%（Table 3）。

主结果

显式臂、四种提示合并。列为标签变化率；末列是两图标签不同者中朝图像移动的比例。据Table 6。

Swipe horizontally to read the table

Judge	对齐图	误导图	提示编辑	朝图像
GPT-5.2	10.0%	9.1%	7.7%	28%
G3.5-F	10.9%	11.8%	7.9%	34%
Gm3-27B	17.9%	19.2%	10.6%	30%
MiS-24B	21.2%	16.9%	9.1%	21%
K-VL	28.5%	29.8%	16.7%	38%
Q2.5-7B	30.1%	29.1%	15.2%	50%
Q2-7B	42.2%	39.6%	29.3%	52%

• 表中后三个在任何配置都未通过alt-test。省略GPT-4o、G3.1-FL、IV-30B、Q3.6-35B、Q3.6-27B、Q3-32B。图像变化率最高的是Q2-7B，已列入。
• 作者称每个judge上两种图的变化率接近，相差不超过五个百分点；移动标签的是有图像，不是哪一张。Table 6注记每个judge的两列图像变化率都高于该judge自己的提示编辑列。
• 正文七人在Table 1的均值为对齐15.9%、误导14.7%、提示编辑8.8%。作者称这小于从未通过的六个的25.8%（Discussion；15.9%与Table 1对齐图均值相同），但两组都是图像多于提示编辑。十三人均值是对齐20.5%、误导19.4%、提示编辑11.6%；列4按格子合并为37%，不是表底34%的非加权均值。

变化不跟随图像

• 十三judge上，两图在10,400个格子中的1,776个（17.1%）标签不同。其中37%朝误导图所绘义项移动，63%反向；比喻句683格中38%跟随图像，字面句1,093格中35%。
• 通过alt-test的judge都低于50%机会水平，Table 1最高为39%。作者称十三人中只有一个超过机会水平、高出两个百分点；Table 6里高于50%的只有Q2-7B一行，Q2.5-7B一行等于50%。Table 1中朝图像比例最低为G3.1-FL的12%。
• 作者称图像重排答案，但多半不改变judge认定的读法：七个通过者中，71%的移动留在比喻–字面分界的同一侧。

一致率与alt-test

• 与人类多数标签的精确匹配为无图54.4%、对齐53.7%、误导54.7%；13个judge里只有5个在有图时准确率下降。作者称图像改变的是哪些条目与人类一致，不是多少条；按构造每次改标签都是错误，但在总量上抵消，总体一致率看不见实例级不稳定。
• 对知情组，52个judge×提示格子无一通过alt-test。对盲组，规定slack ε=0.15下G3.5-F与Gm3-27B通过；更宽的ε=0.20下七个通过，六个从未通过。作者称正文的七个是网格中某处通过者，并非都在规定slack下通过。
• 附录H：知情组在两种slack、ACC与MAE、任何条件与提示下都无通过格（仅Q3.6-27B有一处0.33，低于0.5）。通过都在盲组的合并条件上，两种计分下通过者集合相同。作者称ε=0.20时五十条切片不稳定（如G3.1-FL的Zero-Shot在对齐半通过、在包含它的一百条上不通过），并读作噪声而非条件效应；同一judge在盲组上优势概率更高，是因为该组标注者彼此一致更低，被留出人类所设的门槛更低。

人类对比未决

• 两组κ差为+0.08，95%区间[−0.05, +0.22]，p=0.22（附录E.1）。作者称不能拒绝两组一致率相同。
• 对齐减误导：知情组∆κ=−0.00，p=0.92；盲组∆κ=+0.10，p=0.27，区间都含0（Table 5）。作者称每条件50条时，人均一致约0.15、Fleiss κ约0.20以上的差异才可分辨，故把人类对比报告为未决，不把任一组当作展示了稳健。
• 作者称误导条目上的一致低于对齐条目，但该差距在无图时最大，反映两套不相交表达式的难度，而不是图像所为。附录E写明长度随句义而不是随是否对齐变化（字面句略长；全体9到36 token，均值19.6）。

其他消融与分析

• 附录G：字面句上，十三人中十二人的text-only到misleading总位移为负，K-VL例外为+0.03；对齐到误导项对其中十人方向相反，仅Q2-7B为−0.13，IV-30B与Q2.5-7B为0。
• Few-Shot+CoT下，作者称仅一个judge在两种句型上让对齐到误导项处于预测方向；换图后200个多数票标签中179个不变。
• 按最有利于顺图像的提示固定后，26个对齐到误导位移的95%区间中23个含0，全部在[−0.42, +0.25]；两种句型的所选提示对8/13个judge不一致。作者称三个例外接近仅由选择产生的数量。全程改用Few-Shot+CoT时，22/26个区间含0，四个例外都在字面句、且逆图像。
• Table 8（Few-Shot+CoT，对齐图）：F/S超过0.5的是Q2.5-7B（0.60，S=65，F=39）。作者称六个judge低于0.4；Table 8中低于0.4的有七行，含0.36与0.14。作者称模态模式是主动抑制，而不是不看图像。
• 多数格子里，text-only到对齐的幅度大于对齐到误导（附录G）。作者称若只比无图和误导图，会把“有任何图”的效应算到操纵上。
• Table 2：比喻句条目上87%的人类标注在比喻侧，字面句上86%在字面侧。作者称对齐图标签集中在量表两端，顺图像的位移比向中间的位移更缺空间。

作者指出的局限与后续方向

• 两张图都与短语相关（附录B）：对比的是两张相关图，不是相关图对句中毫无对应物的图。未检验后一种图是否会移动同样多的标签。对齐臂只说明与句子一致的图并没有少改标签。
• 标签只是部分有序（附录B）：FF对WF问的是短语类型，FL对LL问的是该句实例，一步移动并非处处同一量。Table 7的净位移把这一差别平均掉了。变化率是精确匹配，不受此影响；留在第一步分界同一侧的71%只用了量表编码清楚的那个区别。
• 没有人类变化率（附录B）：每人每表达式只看一种条件，无法测量人的标签因与图像无关的原因改变多少。提示编辑对照是judge内部基线，每个人都超过它，但人类数字仍是设计假设，不是测量。
• 范围（附录B）：条目都是英语，来自一个潜在习语语料；推理模式关闭，以便把显式推理留作受控提示因素。作者同时称效应出现在十三个judge、七个模型族、约十倍参数范围，所以不是某一个模型或厂商的性质。
• 互补测量（Discussion，并指向附录B）：句子读法真正改变时judge是否也移动，MIST没有测。效应是否特定于alt-test和比喻标注，作者称为下一个问题。

实验覆盖范围

• 被测对象为13个VLM judge，4个专有、9个开源权重，主动参数3B到32B；附录B称覆盖七个模型族（§3.1、附录F）。
• MIST为200条英语句子、200个不同复合词，四种图文条件各50；六名英语使用者分两个三人组，各独立标注100条（§2、附录E）。
• 四种提示技术与显式/静默图像指令交叉，每judge每条20个标签，贪心解码，合计52,000（§3.1）。
• alt-test按trio分开，slack为知情组0.20、盲组0.15；附录H报告ACC与MAE，以及对齐、误导、合并切片。单个T条件因n≈25未列入该表。
• 图像取来源发布的correct_image，约五十种画风，作者未自行生成；有推理模式的模型关闭推理（附录B、附录D）。

作者用MIST问：VLM代替人类标注时，可替代性裁决会不会被指南要求忽略的图像改写。

• 问题：alt-test一类协议对一种提示、一种呈现给出一个裁决。习语句的标签只应由句子决定，换图在构造上不该改答案，改了就是错误。
• 做法：200条英语句子，句义为比喻或字面；输入是描绘该义项的对齐图、描绘相反义项的误导图，或无图。十三名VLM在四种提示、显式忽略图像的设定下贪心标注，并与两个人类三人组的多数标签和alt-test比较。两张图都关于目标短语。
• 变化率：十三judge合并，对齐图改变20.5%的标签，误导图19.4%，都高于图像固定、只删忽略指令的11.6%（附录F）。正文七个曾通过alt-test者的对齐图均值为15.9%（Table 1）；作者称从未通过的六个为25.8%，但两组都是图像多于提示编辑。
• 方向与一致：两图标签不同的1,776格中，37%朝误导图义项移动。与人类多数的一致率为无图54.4%、对齐53.7%、误导54.7%。知情组的52个judge×提示格无一通过alt-test；盲组在规定slack下有G3.5-F和Gm3-27B通过。
• 作者结论：移动judge的是图像在场，不是哪一张、画了什么。总体一致率会把实例级改标签抵消，所以称一个judge可替代，同时描述了judge和配置。作者称部署报告应写明所用提示和附带的无关上下文，并称无图时54.4%的人类一致说明这些judge在读输入；这种不变性检验本身可以被不读输入的judge通过。句子读法真正改变时是否也移动，MIST没有测。