多模态声明验证对 LLM 改写有多鲁棒？

不改变语义的文体改写，会不会改变多模态声明核验的判决或置信度。

• 场景：作者称LLM已改变科学写作风格，会议也在探索LLM辅助评审，下游系统可能评估由LLM参与写成的文本。
• 不足：论文级评审把论证、新颖性与表述混在一起，难以分离措辞的作用。Lin等（2025）与Kaneko（2026）报告对抗改写可抬高评审分，但那是针对评审分数的设置。
• 问题：Figure 1中，强度修饰若改变语义，理性决策者应同时降低支持证据与反驳证据上的p(support)。作者问：改动只是文体时，模型是否仍出现同类偏移。
• 做法：在SciClaimEval上用自然改写和受控单词注入只改声明，评测五个家族、2B到38B的11个开源权重VLM。
• 设定：作者称改写是非对抗的，不针对特定指标；只改文本声明，图表证据不变；模型需对单句声明给出support或refute。

论文第2节分四组讨论。作者把本文放在非对抗、贴近日常润色的单句核验上，而不是整篇评审分数。

LLM辅助科学写作

• Liang等（2024a）估计语料中被LLM修改的比例，并称EMNLP 2023评审句中有16.9%被LLM大幅修改。
• Liang等（2024b）将该框架用于arXiv、bioRxiv与Nature系列2020–2024年的95万篇论文，称计算机科学增长最大。
• Kobak等（2025）分析1500万篇PubMed摘要，称2024年至少13.5%由LLM生成或协助写成。Matsui（2025）称135个风格词中103个在LLM时代之后有抬升。Cunningham等（2025）称计算机科学与工程写作自2023年起更趋夸张。

针对评审分数的改写

• Lin等（2025）用字符级、词级和句子级文本对抗攻击抬高LLM评审分，同时保持论文语义。
• Kaneko（2026）以LLM复述为主要攻击，称可不改变论文主张而优化评审分。
• 引言与第5节点名这两项：论文级评审混杂多种因素，且那些方法旨在影响评测结果；本文改为只改变单句声明的措辞。

多模态声明核验

• FEVER（Thorne等，2018）与SciFact（Wadden等，2020）是文本证据上的声明核验基准。
• SciVer（Wang等，2025）从arXiv计算机科学论文收集图，由专家编写支持与反驳声明。MuSciClaim（Lal等，2025）跨领域收集支持声明，并用人工扰动生成反驳声明。
• SciClaimEval（Ho等，2026）收集多样证据，反驳对通过修改证据而非声明得到。本文实验使用该数据集。

表层扰动

• Xu等（2024）报告保意义改写可以改变分类标签，例如情感分析。Sclar等（2024）称模型对提示词格式敏感，且不同模型反应不同。
• 论文称Chen等（2024）显示，虚假引用或表层风格等与语义无关的偏差会影响LLM输出。作者称本文与这些工作的区别，是关注非对抗、贴近日常使用的改写如何影响声明核验。

基线与数据：实验没有把外部攻击方法当作基线，对照是未改写的原始声明（Base）；数据为SciClaimEval。作者把贡献定位为以文体为主要变量，比较自然复述与单词注入下的判决和置信度。

在SciClaimEval上，作者只改声明、不改证据，用自然改写与受控注入制造文体变化，再比较改写前后的判决和置信度。

问题设定

• 证据是科学论文中的表格或图。给定声明c与证据e，模型预测V(c, e) ∈ {support, refute}，即该证据是否支持声明。
• 改写得到c′。比较V(c, e)与V(c′, e)。作者把文体变化设为主要实验变量。
• 同一声明配原证据e（SUPPORT）和改过的证据e′（REFUTE）。不成对样本被去掉。Table 4：完整集dev 747、test 917；去掉不成对后dev 704、test 872。
• 作者称成对设计使两侧声明分布相同，结果差异可归因于改动本身。

自然改写

• 五类对应作者列出的润色动机：LP改语法，FI改流畅度，AS对齐目标会议文风，OA提高评审观感，CT使语气更审慎、避免过度肯定。
• AS的目标会议为ACL、AAAI、NeurIPS、ICLR、ICML。每类五个提示词变体（附录Table 9），每个数据点随机分到一个变体，各实验设置共用该分配。
• 提示词另加后缀，要求不改变事实内容、只做风格性改动（Figure 4）。附录给出完整提示词。
• 改写模型为gpt-oss-120b，自然改写温度T=0.7。

受控注入

• 词来自Kobak等（2025）与Matsui（2025）。作者用人工定义、经LLM分类再由作者复核，分成decorative、conservative、neutral。neutral不注入。
• D1注入装饰性词，作者将其作为OA一类风格的替代；C1注入保守词，预期更接近CT。保守词池另加31个由LLM协助生成的hedging词，得到保守词39个、装饰词114个。
• 每条声明恰好插入一个词。提示要求保留全部原词，不删除、替换或重排，且不改变事实内容（Figure 5）。候选词随机子集为C 15个、D 30个。温度T=0.25。附录给出完整提示词。
• 四名NLP研究者按附录H的指南，对改写是否保持事实含义做二值判断。比例与一致率见Table 7。

推断、指标与检验

• 核验使用思维链。作者称不用思维链、强迫首token作答会得到更差表现。每个样本采10条路径，T=1.0，把预测support的比例当作p(support)。Limitations称由此得到的概率步长为0.1。
• Paired accuracy：同一声明在支持证据与反驳证据上都判对才算对。F1按单条声明–证据对计算。
• ∆p在两个子集上分开计算，为改写后的p(support)减去改写前。两侧都升为Globally Optimistic，两侧都降为Globally Conservative，支持升且反驳降为Sharper，支持降且反驳升为Duller。Figure 2用二维坐标表示。
• 显著性用配对bootstrap，1000次重采样，双侧。Benjamini–Hochberg在每张表内对全部模型×条件×指标校正，m=154。标记为q<0.05、0.01、0.001。

实验设置

• 核验模型：gemma-4-26B-A4B-it、gemma-4-31B-it、GLM-4.6V-Flash、InternVL3-2B/8B/38B、Kimi-VL-A3B-Thinking-2506（表中写作Kimi-VL-A3B）、Qwen3-VL-2B/4B/8B/32B-Instruct，共11个、五个家族。
• 改写模型：主实验gpt-oss-120b。附录A另用Gemma-4-31B-it，核验模型为Qwen3-VL-8B，只在dev set上跑OA、CT、C1、D1。
• 数据：SciClaimEval。Table 4去掉不成对后dev 704、test 872。论文未在Table 2标题写明划分；脚注称InternVL3-38B的dev结果不可用，而Table 2含该模型。
• 条件：Base，以及LP、FI、AS、OA、CT、D1、C1。
• 指标：P-Acc、F1、支持子集∆psup与反驳子集∆pref、flip rate。flip rate以p(support)的0.5为阈值（Table 10）。p(support)为10次采样中预测support的比例，T=1.0。
• 检验：1000次配对bootstrap，BH校正，每表m=154。算力为8张NVIDIA H200，约1–2天。论文未报告自洽采样之外的重复实验次数。

主结果

下表摘自Table 2的P-Acc与Table 3的CT ∆pref。星号沿用论文的BH标记。省略gemma-4-26B-A4B-it、GLM-4.6V-Flash、Qwen3-VL-4B-Instruct。表中CT ∆pref在Table 3均为q<0.001。

表格较宽，可左右滑动

模型	Base P-Acc	CT P-Acc	OA P-Acc	CT ∆pref
InternVL3-2B	0.041	0.037	0.060	+0.040
InternVL3-8B	0.208	0.135***	0.193	+0.071
Qwen3-VL-2B-Instruct	0.259	0.254	0.274	+0.046
InternVL3-38B	0.338	0.273	0.294	+0.090
Kimi-VL-A3B	0.353	0.340	0.353	+0.024
Qwen3-VL-8B-Instruct	0.516	0.543	0.513	+0.045
gemma-4-31B-it	0.610	0.557***	0.565***	+0.078
Qwen3-VL-32B-Instruct	0.617	0.604	0.577	+0.061

• 作者称统计显著的准确率变化集中在少数模型，而不是全部模型或全部策略。gemma-4-31B-it在FI、OA、CT上P-Acc下降且带星号；InternVL3-8B在CT上P-Acc下降。
• 作者称这与评审分数可被改写操纵的先前结果不同，并指出那些方法是对抗性的、任务约束也更少。针对核验优化的对抗改写是否仍稳健，作者在第5节称为未解决问题。
• 概率层面，作者称CT的∆pref与C1的∆pref均为11/11显著；OA的∆psup为6/11显著，对∆pref方向不一。省略模型中，Qwen3-VL-4B-Instruct的CT F1从0.710升至0.745（q<0.001，Table 2）。

置信度方向与判决翻转

• Figure 2把每个条件在全模型上的平均(∆psup, ∆pref)标出：CT为(+0.042, +0.059)，C1为(+0.014, +0.025)，落在两侧都升的一侧；OA为(−0.025, −0.006)；LP、FI、AS、D1更靠近原点。作者称靠近原点表示对改写稳健。
• 作者称hedging条件效应更强，boosting更弱；LP、FI、AS大多不构成有意义的概率偏移。作者给出的一种可能解释是地板/天花板：反驳子集上boosting的base pref已经较低，支持子集上hedging的base psup已接近1。
• 作者称未见规模与偏移幅度的清晰关系。Figure 3图注以Qwen3-VL参数量为纵轴、全数据集平均∆p为横轴；作者称该家族中更大模型在OA上下降更大、在CT上上升更大，但并非所有家族都如此，故不作普遍结论。转换文本看不到Figure 3各柱数值。作者还称多数基础概率靠近0或1，0.03–0.05的偏移不易越过0.5；Table 10翻转率作者称大多低于15%，表中亦有更高格子，如Qwen3-VL-2B-Instruct在FI、反驳子集为16.8%。作者认为概率更接近0.5时，文体对最终判决的影响可能更大。

第二改写器与语义过滤

• 附录A、Table 5：dev set，核验模型Qwen3-VL-8B。CT的∆psup在gpt-oss为+0.054、在Gemma-4-31B-it为+0.056；∆pref为+0.030与+0.037。C1方向相近。D1两侧都接近0。Gemma的C1/D1排除了未恰好插入一个词池词的改写。
• OA方向仍为负，但幅度更小：反驳子集∆pref从gpt-oss的−0.021到Gemma的−0.003，后者95% bootstrap区间为[−0.022, 0.016]。作者称hedging类条件仍产生偏移，boosting更弱。
• 附录B：hedging词若出现在数字、%、p值、单位或比较词前两个token内则标记。CT被标记26.3%，C1为22.9%，其余条件低于10%。Table 6（Qwen3-VL-8B）未标记子集的CT ∆psup为+0.055，全量为+0.062。作者称去掉这些改写后趋势仍在。

其他消融与分析

• Kimi-VL-A3B的FI P-Acc从0.353升至0.401（q<0.001，Table 2）；Qwen3-VL-32B-Instruct的OA F1从0.805降至0.771（q<0.001）。
• Table 3中LP、FI、AS、D1并非全无星号：gemma-4-26B-A4B-it的FI、AS ∆psup均为−0.024（q<0.001）；Qwen3-VL-32B-Instruct的D1 ∆psup为−0.016（q<0.001）。
• 人工标注共391次判断、282条声明；双标109条上观察一致率78.9%，κ=0.251，AC1=0.706（Table 7）。正文写κ=0.25、AC1=0.71，并称低κ主要来自标签偏斜。各条件双标仅26–29条。
• 附录G：D1因空或畸形输出排除29 pairs；自然改写无此类失败。部分声明10次输出都无法解析，按模型排除，且baseline与各条件一致。附录称评估集为788 pairs；与Table 4的872如何对应，论文未说明。
• Table 3中InternVL3-2B的base psup为0.840、pref为0.810，与其P-Acc 0.041同表；改写未把该P-Acc抬到与表中其他模型相近的水平。
• 附录I给出Qwen3-VL-8B-Instruct的个案：一条CT支持声明的p从0.0到0.9，一条OA支持声明从0.9到0.0；另有LP与C1下p保持0.6的例子。

作者指出的局限与后续方向

• 风格与语义：Limitations称CT等条件可能引入超出风格的改动，常见失败是在数值前加入hedging。规则过滤不能捕获全部语义变化；完全分离本身困难，人工标注者也常不一致。
• 改写模型：Limitations称主实验只用gpt-oss-120b。第二改写器只覆盖四个条件、一个核验模型与dev set。作者称在固定算力下优先扩大核验侧多样性。
• 数据集：Limitations称只评SciClaimEval。成对结构有助于分析，但限制对其他领域和证据类型的推广。作者称据他们所知，这是唯一提供该成对设计的数据集。
• 已有润色：Limitations称数据来自公开论文，部分发表于LLM普及之后，声明可能已被润色，从而减弱所观察到的效应。
• 置信度：Limitations称p(support)只来自10条路径的self-consistency，步长0.1；未与token级logprob或口头置信度比较。作者称偏移大小可能依赖这一选择，比较留待未来工作。
• 后续问题：Conclusion提出稳健性如何推广到评审与声明核验以外的科学写作任务，用已有方法做评审分数优化时事实核查会如何变化，以及需要更好地区分语义变化与风格变化。

实验覆盖范围

• 核验侧为五个开源权重家族、11个模型、参数量2B到38B（第4.2节）。改写主模型为gpt-oss-120b，自然改写T=0.7，受控注入T=0.25。
• 主表条件为Base与七种改写；指标含P-Acc、F1、∆psup、∆pref。检验为1000次bootstrap与BH校正，m=154（第4.3节，Table 2–3）。
• 附录A的第二改写器实验在dev set上，核验模型为Qwen3-VL-8B，条件为OA、CT、C1、D1（Table 5）。
• 人工语义标注覆盖OA、CT、C1、D1，并报告κ与AC1（附录H，Table 7）。CT、C1抽自附录B的未标记子集。
• 论文未在Table 2标题标明dev或test；脚注称InternVL3-38B无dev结果。论文未说明附录G的788 pairs与Table 4的872如何对应。论文未报告logprob或口头置信度下的偏移（第7节）。

作者测量文体改写对多模态声明核验的影响，把变量收束到单句措辞，而不是整篇评审分。

• 问题：作者称LLM润色已进入科学写作，评审流程也在试用LLM。整篇评审混有论证、新颖性与表述，因此他们改为看单句声明是否被图表证据支持或反驳。
• 方法：自然改写覆盖语法、流畅度、会议文风、评审观感与审慎语气；受控注入只加一个装饰词或保守词。主改写模型是gpt-oss-120b。11个开源权重VLM用10次采样估计p(support)，数据为成对的SciClaimEval。
• 准确率：作者称多数模型没有统计显著的准确率下降。Table 2中，gemma-4-31B-it的P-Acc在CT下从0.610到0.557（q<0.001），InternVL3-8B从0.208到0.135（q<0.001）。也有上升：Kimi-VL-A3B的FI P-Acc从0.353到0.401（q<0.001）。
• 置信度：CT与C1的反驳子集∆p在11个模型上都统计显著且为正（Table 3）。Figure 2中，全模型平均的CT为∆psup +0.042、∆pref +0.059。OA的支持子集∆p在6/11模型上显著为负。作者称语法、流畅度与文风对齐大多作用较小。
• 作者结论：判决稳定，是因为概率常靠近0或1，统计显著的小幅偏移不一定越过0.5。作者认为，相对评审分数操纵，事实核查更不容易只靠改风格被带动。作者同时认为风格与语义仍需更好分开，这一稳健性能否推广到其他科学写作任务仍待研究。