当图表与正文不一致时:评估科学论文中的自主视觉证据核查
When Figures Disagree with Text: Evaluating Autonomous Visual Evidence Verification in Scientific Papers
作者让六个多模态模型自主评审31篇藏有图文矛盾的论文:60.6%的评审提到问题图,仅3.3%被接受为诊断出矛盾。
- 现有图文一致性评测把图、声明或
- 从PRISMM-Bench取31篇含审稿人记录图文矛盾的完整论文,六个多模态模型在中性提示下写评审,按提及、质疑、诊断三级嵌套结果打分;再逐臂加入点名图、一致性指令、高亮、裁剪等单一输入,并测模型自选候选的两阶段基线。
- 1,445篇开放式评审中60.6%提到缺陷图、3.3%被接受为诊断;受控实验中点名图使S3从4.3%升至20.4%,一致性指令和视觉提示无效;模型按中心性自选候选仅4.8%。
- 作者称rubric偏宽松(人工盲审仅确认52.6%的接受诊断)、受控臂无人工审计、结论限于31篇以图为主的论文和六个模型;两阶段结果只约束一种候选选择规则。
- 被测模型
- Claude Sonnet 4.6GPT-5.4GPT-5 miniGPT-5 nanoGemini 3.1 ProGemini 3.1 Flash-Lite
- 基准
- PRISMM-Bench(31篇完整论文及其审稿人记录的图文不一致)
- 指标
- S1 mention(提及率)S2 concern(质疑率)S3 rubric-accepted diagnosis(评分规则接受的诊断率)shortlist recall(候选召回率)
研究者提出在完整科学论文稿件中自主核查图文一致性的评测设置,让六个多模态模型审查 31 篇含审稿人记录、对模型隐藏的图文矛盾的完整稿件,矛盾来自 PRISMM-Bench。在 1,445 份开放式审稿意见中,60.6% 提到有缺陷的图表,但按评分细则只有 3.3% 被接受为诊断出矛盾;盲审发现细则偏宽松,作者因此把这些比例当作细则接受率,用于条件间比较而非绝对水平。对照实验显示,不告知缺陷而点名图表可把细则接受诊断率从 4.3% 提到 20.4%,一致性指令和粗略视觉提示则无效;矛盾只在渲染后的图中可见时,纯文本审稿没有获得接受的诊断,点名图表后审渲染页面达到 15.8%;按中心度自选待查图表的基线停在 4.8%。作者据此认为决定核查什么是主要难点,其测试的选择规则未能解决,多模态文档理解应评测模型能否提出核查对象,而不只是回答给定图表的问题。
深度解读
这篇论文试图解决什么问题?
评测多模态模型能否在完整论文中自主发现、对齐并验证图文矛盾,而非回答给定图的问题。
核心问题:多模态模型能否在没有任何提示的完整论文中,自主找到并诊断图文不一致(figure–text inconsistency)?
- 场景与重要性:作者认为,科学图是文中所引声明的证据,评审论文不只是描述图,还要核对图与文字是否一致;多模态模型已被用于给真实稿件写反馈,但流畅描述一张图不代表它曾与文字比对过。
- 现有评测的不足:作者称,现有基准把图、声明或
有哪些相关研究?
相关工作按
声明与证据已给定
- ChartCheck(2024)——对真实图表图像做可解释的事实核查。
- MuSciClaims(2025)——将声明与图及其图注配对;论文指出其诊断任务显示模型在图中定位支持证据的能力差,且倾向判声明为被支持。
- SciVer(2025)与SPIQA(2024)——分别在单篇论文的文本、表格、图上做专家标注的声明验证,以及对论文图提问。论文指出这类基准因声明和图已给定,无法测模型能否自行选出该查的声明与图。
不一致的存在已给定
- MMIR(2025)——向网页、幻灯片、海报注入合成不一致;论文转述其发现:模型处理两元素间冲突优于复杂布局中单元素内的冲突。
- PRISMM-Bench(2026)——收集384条审稿人标记的跨文本、图、表、公式的不一致,以选择题测识别、修复与配对;论文指出即使题目声明存在不一致,模型得分仍低。本文复用其记录的不一致,但改为完整论文加中性评审请求、无选项,并逐臂恢复一个提示。
目标在查询中给定
- 图表/文档问答与长文档基准——ChartQA、DocVQA、CharXiv、MMSci、MMLongBench-Doc等,对给定图或页面提问。
- 定位类基准与研究——SeeClick、ScreenSpot-Pro测密集屏幕上的小目标定位,Visual Haystacks测多图中找线索;Eyes Wide Shut?(2024)报告模型在基础视觉模式上的系统性失败,幻觉基准研究报告不存在内容的错误。论文指出本文设置中内容存在而矛盾未被报告,与幻觉相反。
只给论文(自动评审)
- PeerRead(2018)收集评审语料;Liang等(2024)、ReviewerGPT?(2023)测模型反馈是否有用;Thakkar等(2026)做了模型反馈的大规模随机研究;Zhang与Abernethy(2025)让推理模型找论文的关键问题。论文指出这些工作评判评审整体说了什么,而流畅的评审可以谈图却不比对图文,本文则检查每篇评审内部是否发生了这一具体行为。
定位:作者称本文与上述工作的区别在于什么都不给——只给完整论文,测的是模型能否自己提出要验证什么。
论文如何解决这个问题?
用31篇藏有审稿人记录矛盾的完整论文,让六个模型在中性提示下写评审,按嵌套四级结果打分,再逐臂改变单一输入。
整体思路:把PRISMM-Bench中审稿人记录的真实图文不一致藏进完整论文PDF,让模型在自主验证(autonomous verification)设置下写自由评审,按评审走到哪一步打分;再每次只改一个输入,看哪种改变能把评审推得更远。
任务与数据
- 研究单元:一篇完整论文配一条PRISMM-Bench记录的不一致,该记录指明一个视觉元素(图或表)及与之冲突的声明;模型看到渲染页面和中性评审请求,不被告知存在错误或其位置,记录的不一致仅用于事后打分。
- 论文集:31篇含图的论文,按评审读取前冻结的计划入选;比基准候选池更长(中位17页对15页),全部结论限于这个以图为主的集合(附录A:29篇仅图问题、0篇仅表问题)。
- 三个研究问题:RQ1无引导评审停在哪一步;RQ2哪种单一输入改变(点名图、要求一致性检查、高亮、移除视觉通道)能推进诊断;RQ3模型能否自己选出候选图。RQ3是诊断性基线而非提出的方法。
四级嵌套结果与打分
- 结果定义:评审可能遗漏缺陷元素、提及它、对它提出质疑、或诊断出记录的矛盾。L1标记点名目标图/表的评审,L2标记点名且同句带质疑的评审,P标记两个评分模型都接受为诊断出记录矛盾并附引用文本的评审。
- 嵌套率:S1 = L1 ∪ P(提及)、S2 = L2 ∪ P(质疑)、S3 = P(rubric接受的诊断)。作者强调这些率描述评审说了什么,并不分别测量候选发现、对齐、验证三个内部步骤。
- 评分与审计:Gemini 4 Argon与GPT-5.4在看不到模型和条件的情况下双评,1,221对可判定样本上κ=0.62;另一对模型(GPT-6 Astra、Claude Opus 5)重放rubric,接受率2.74%对主评分3.28%;两名作者盲审100篇开放式评审,19条可判定的rubric接受中仅10条(52.6%)被两人确认,故作者称rubric偏宽松,所有率只作rubric接受率解读、比较条件而不读绝对值。175篇无法判定的评审留在分母中计为未诊断。
实验条件
- 开放式队列:1,445篇评审=31篇论文×6个模型×2次重复×4种输入条件(原始页面、字节相同重复、缺陷图加边框、无关图加边框);提示不点名图、不提错误,但两种条件加了视觉提示,故合并队列并非无提示。
- 受控臂:同31篇未修改PDF的后续运行,每臂186篇(31×6)。未提示臂复用队列提示;其余臂各加一种成分:目标图身份(不说明有错)、检查矛盾的指令、放在不同位置的缺陷元素裁剪、裁剪加冲突从句;另有text-only臂(仅PDF文本层,图以占位符命名)和OCR-only臂(仅图内文字、无渲染痕迹)。
- 两阶段基线(RQ3):Stage 1读未修改PDF,按对论文声明的中心性选出5个图/表并记录各自的图注声明与正文声明,再排名3对供验证,明确告知不要报告错误;Stage 2把前三名及其页码连同一致性指令交回模型写一篇评审。两阶段token用量为单遍的2.04倍;Stage 1无可用标识符的单元计为未诊断。
- 统计:区间为按论文重采样的95% bootstrap区间(10,000次抽取),配对对比用逐论文差值与精确符号检验。
论文做了哪些实验?
开放式评审60.6%提及缺陷图、3.3%被接受为诊断;点名图升至20.4%,一致性指令与视觉提示无效,自选候选仅4.8%。
实验设置
- 被测模型(评审者):Claude Sonnet 4.6、GPT-5.4、GPT-5 mini、GPT-5 nano、Gemini 3.1 Pro、Gemini 3.1 Flash-Lite,共6个。
- 数据:31篇完整论文,每篇藏一条PRISMM-Bench审稿人记录的图文不一致;开放式队列1,445篇评审(31×6×2重复×4条件),受控运行每臂186篇(31×6)。
- 评分:Gemini 4 Argon与GPT-5.4双评rubric(κ=0.62,1,221对);GPT-6 Astra与Claude Opus 5独立重放;两名作者盲审100篇开放式评审(仅覆盖开放式队列)。
- 指标:S1提及、S2质疑、S3 rubric接受诊断;区间为论文聚类95% bootstrap CI。
- 重复与样本量:开放式队列每模型每论文2次重复;受控臂每模型每论文1篇评审(每模型31篇);逐模型受控数值基于31篇评审,作者称其为描述性。
主结果
条件 S3(rubric接受诊断) 出处 开放式队列(1,445篇,4条件合并) 3.25% [1.60, 5.18] 4.1节、Table O.1 受控·未提示(186篇) 4.30% [1.08, 8.06] Table 2 受控·全局一致性指令 6.99% [2.69, 12.37] Table 2 受控·点名目标图 20.43% [13.44, 28.49] Table 2 受控·点名图+一致性指令 17.20% [10.22, 25.27] Table 2 受控·两阶段自选候选 4.84% [1.61, 8.60] Table J.1 - 开放式队列中39.4%遗漏缺陷元素、34.2%仅提及、23.2%提出未被接受的质疑、3.3%(47篇)被接受为诊断;嵌套率S1=60.6%、S2=26.4%(4.1节)。
- 作者称,点名图把诊断率提高+16.13 pp [+9.14, +24.19],而一致性指令的所有区间都包含零;点名图后仍有约五分之四的评审未诊断出矛盾。
- 作者称,两阶段基线比未提示仅+0.54 pp [−3.76, +5.38],比点名图低−15.59 pp,仅恢复点名图收益的3.3%(区间[−33.30, +27.30]过宽,不能排除任何极端)。
RQ1:评审停在哪一步
- 测了什么:1,445篇开放式评审的四级结果分布、缺陷元素与最近同类无缺陷邻居的提及对比、边框高亮的作用。
- 结果:47篇接受诊断中Claude Sonnet 4.6贡献37篇(其242篇的15.3%),其余五模型合计0.83% [0.17, 1.65],尽管它们55.4%的评审提及缺陷元素;1篇论文贡献10条诊断,剔除后为2.65%。缺陷元素提及率57.9%对邻居53.6%(+4.3 pp [−5.5, +14.0],1,309对)。缺陷图边框相对无关图边框使质疑率+5.6 pp [+0.8, +10.5]、诊断+1.1 pp [−0.4, +2.7],而字节相同重复的逐论文平均绝对波动为11.6和3.5 pp,作者称两种移动都在运行间波动之内。
- 近似失误分析:637条近似失误记录中82.1%未匹配记录的元素、16.8%匹配元素但未匹配关系、1.1%两者皆匹配(Figure 2c);盲审中30条元素不匹配记录有21条被至少一名读者认为确实批评了目标元素,作者称第一个标签高估了对图本身的遗漏。
RQ2:哪种干预推进诊断
- 逐模型增益(Figure 2b,每模型31篇):点名图后Claude Sonnet 4.6从16.1%升至45.2%,Gemini 3.1 Pro从9.7%升至35.5%;GPT-5.4、Gemini 3.1 Flash-Lite、GPT-5 mini、GPT-5 nano分别从0%到19.4%、16.1%、6.5%、0%;五模型合并从1.9%升至15.5%。
- 失误性质变化:点名图后,近似失误中未匹配记录元素的比例从78.4%降至55.8%,匹配元素但关系不符的比例从9.8%升至41.8%(Figure 2c);作者称评审常到达正确元素却陈述了不同的关系。
- 提供冲突从句:14篇有具体对照面的论文上,裁剪加冲突从句诊断15.5% [4.8, 29.8],对未提示2.4%、仅点名图22.6%;与点名图之差−7.1 pp [−23.8, +10.7],作者称14篇论文下该估计不提供信息。
- 裁剪移位与无参考面板:裁剪放到图注旁、页面他处、矛盾所在带,诊断分别为3.2%、1.6%、3.2%,接近未提示的4.3%。无参考面板(不见答案)在text-only评审的36.0%中也找到断言的冲突,而text-only诊断仅2.2%;作者称断言冲突不等于诊断出记录的矛盾。
RQ3与证据类型拆分
- 候选召回:Stage 1前三名短名单含缺陷图的比例为34.41% [23.66, 46.24],前五名为57.53% [43.55, 71.51];前三名未含缺陷图时诊断4.1%(122次运行)。作者称按中心性排序不能可靠浮出与文字矛盾的图。
- 探索性子集:短名单含缺陷图的64次运行中,三图批量检查诊断6.25% [0.00, 13.85],同64次运行上点名图加一致性指令为20.3%(配对差−7.5 pp [−13.9, −2.3]),对仅点名图15.6%差−1.5 pp [−9.9, +9.7];作者称该子集由Stage 1结果定义、非预先计划,比较是探索性的。
- 证据类型拆分(Figure 3c):证据仅在图中的20篇论文上,text-only诊断0/120、未提示1.7%、点名图15.8% [8.3, 24.2];证据也在文中的11篇上分别为6.1%、9.1%、28.8% [13.6, 45.5]。作者称这符合任务设计预期,但不能说明点名图的增益本身依赖像素(缺text-only+点名图臂),且分层区间宽。
其他消融与分析
- 逐模型开放式S3(Table C.1):Claude Sonnet 4.6为15.29%,Gemini 3.1 Pro为2.90%,GPT-5.4为0.83%,Gemini 3.1 Flash-Lite为0.42%,GPT-5 mini与GPT-5 nano为0.00%。
- 剔除Claude Sonnet 4.6后队列S3降至0.83% [0.17, 1.65](10/1,203,附录C)。
- 问题类型分层(Table O.1):Type-I字面不匹配(13篇)S3为4.94%,Type-II解释性争议(18篇)为2.03%,差+2.91 pp [−0.82, +7.00],作者称区间含零、只是提示性。
- 独立重放接受率2.74%对主评分3.28%(1,279对,配对差−0.55 pp);源锚定三模型面板在44项上与rubric三方一致率79.5%(κ=0.556),可判定二分类上κ=0.906(附录I)。
- 人工盲审:两名作者κ=0.898;19条可判定的rubric接受中10条(52.6%)被两人确认,无被拒绝评审被两人确认(第3节)。
- 边框对比经Holm–Bonferroni校正后最小pHolm=0.767,S3上各视觉干预最多移动+1.11 pp(Table O.3)。
有什么可以进一步探索的点?
作者称rubric偏宽松、受控臂无人工审计、结论限于31篇以图为主的论文;下一步可测按矛盾倾向排序或逐候选单独验证。
作者指出的局限与后续方向
- rubric偏宽松:盲审发现rubric在接受的评审中相当比例上偏宽,绝对率可能偏高;受控臂没有人工审计,臂间差异只有在各臂rubric误差相近时才反映确认诊断的差异,而作者未检验这一点(第3节、第5节Scope)。
- 样本与覆盖:结论基于31篇以图为主、比候选池更长的论文、6个模型和单一基于模型的rubric;一个模型贡献了大部分开放式诊断,逐模型受控数值仅基于31篇评审(第5节Scope)。
- 探索性分析:配对摘录臂、证据类型拆分、短名单子集比较均为探索性(第5节Scope)。
- 只约束一种选择规则:两阶段结果只约束所测的中心性排序规则;按矛盾倾向排序、或逐候选单独验证的规则未测,作者称这是该协议上自然的下一步(4.3节、第5节)。
- 不能定位内部机制:各臂只改输入不改内部,显示评审停在哪里而非为什么;不能区分对齐与验证哪一步限制了模型(4.2节末、第5节)。
- 附录自查的三点:所有检查都是验证而非发现(论文集自带答案,未测模型能否发现未标注的不一致);一致性数字是与注册答案的一致,人工盲审显示约半数接受评审并不携带rubric所赋的诊断,偏差方向是多计;这些检查约束了测量工具而非构念本身(附录O)。
实验覆盖范围
- 被测评审模型为6个:Claude Sonnet 4.6、GPT-5.4、GPT-5 mini、GPT-5 nano、Gemini 3.1 Pro、Gemini 3.1 Flash-Lite(第3节)。
- 论文集31篇,全部来自PRISMM-Bench候选池,29篇仅图问题、0篇仅表问题、2篇图表皆有(附录A,Table A.3)。
- 开放式队列为每模型每论文2次重复;受控臂每臂186篇(31×6),逐模型31篇;配对摘录臂84篇、14篇论文(Table 1)。
- 人工盲审仅覆盖开放式队列的100篇评审,受控臂无人工审计(Table 1)。
- 论文未报告各受控臂的查询成本或耗时;两阶段基线的token用量为单遍的2.04倍(4.3节)。
总结一下论文的主要内容
六个多模态模型自主评审31篇藏有图文矛盾的论文:60.6%提及缺陷图,仅3.3%被接受为诊断;点名图升至20.4%,自选候选无效。
一篇关于多模态文档理解的评测论文,研究模型能否在完整论文中自主验证图文证据,而非回答关于给定图的问题。
- 问题:现有基准给定图、声明或