从 RobustReview 基准到 SciCore：AI 审稿人的修辞鲁棒性评测

AI评审可能因措辞变化，对报告同一科学内容的稿件给出不同的科学判断。

• 为何要紧：作者认为LLM已被用于生成审稿意见并协助评审与决策，而判断会影响哪些工作被接收、修改和传播。LLM使低成本改写变得容易后，仅因措辞而改变的判断会奖励修辞优化，而不是科学改进。
• 现有评测的缺口：作者称既有评测常问审稿是否有用、是否像专家反馈，或能否复现人类分数与决定。这些标准必要，但没有把修辞稳健性写成改写下稳定、同时仍能区分论文的联合要求；作者称这一维相对被忽视。引言还称，可见且保持意义的修改也能在很大程度上改变自动评测。
• 作者的界定：清晰度和文风可以影响对表达质量的评价，但在改写被设计为保持已报告科学内容时，作者认为不应过度改变对科学贡献的判断。只要求稳定并不够：给各论文几乎相同的分数会在稳定性上占优，却不能区分论文。与原文人类分数的一致是另一项性质。
• 提出的对象：作者构建全文基准RobustReview，含60篇匿名ICLR 2026投稿及其修辞变体，共1,260个版本，并评测30种评审配置。据此提出双分支评审SciCore：全文判断与基于抽取science core的判断取平均。

LLM-as-a-judge的可靠性

• G-Eval、MT-Bench、Prometheus（Liu et al., 2023; Zheng et al., 2023; Kim et al., 2024）：用自然语言量规、成对比较或专用评审模型复现人类偏好，并给出按准则的反馈。
• 论文在附录B写到，这类判断会受候选顺序、回复长度、提示词和评审者身份影响，并引用Wang et al. (2024)、Dubois et al. (2024)、Stureborg et al. (2024)、Panickssery et al. (2024)。认识标记和语义等价的评测指令会带来进一步变化（Lee et al., 2025; Bhat and Varma, 2026）。

自动科学同行评审

• PeerRead（Kang et al., 2018）把稿件与专家报告、方面分和发表决定连在一起；ReviewRobot与ReviewAdvisor（Wang et al., 2020; Yuan et al., 2022）转向有证据链接、分方面的批评。
• Liang et al. (2023)、Zhou et al. (2024)、Li et al. (2025a)、Chen et al. (2026)、Thakkar et al. (2026)比较LLM反馈与人类审稿，或考察长文处理、零样本打分、批评是否到位，以及提示词、检索和审稿指南。附录B称这些结果支持把AI当作审稿辅助，但没有回答科学判断在内容保持的修辞变化下是否稳定。
• OpenReviewer、CycleReviewer、DeepReviewer、AI Scientist、OpenJudge、ProReviewer通过微调、多阶段推理、检索、验证、评审集成或主动取证加强审稿。论文称其评测主要看质量、与人类反馈的相似度、分数预测或流程能力，并认为这些目标与修辞稳健性互补。

操纵与呈现敏感

• Ye et al. (2024)、Collu et al. (2026)、Lin et al. (2025)研究隐藏指令或字符、词、句级扰动。本文在附录B把这类干预与普通学术改写区分开，因为它们依赖隐蔽指令或人工扰动。
• Du (2025)、Kaneko (2026)、Li et al. (2026b)、Baumann et al. (2026)、Yang et al. (2026b)等考察标题风格、释义、夸大或可见全文改写对自动评分的影响。Li et al. (2026c)用受控全文改写刻画修辞如何reward-hack AI评审。
• Dycke and Gurevych (2026)改变实质性推理以测试缺陷检测。论文称本文的反事实被构造为保持已报告的推理和证据，二者是互补要求。

去偏与中间表示

• 长度受控评测（Dubois et al., 2024）针对一种呈现偏差；Li et al. (2026d)用中间语义表示代替直接生成。Section 6称SciCore不是只靠指令去折扣修辞，而是增加抽取并评审结构化科学内容的分支，再与全文判断平均；动机引用不变表示与Blackwell比较（Eaton, 1989; Dubois et al., 2021; Blackwell, 1953）。

基线方法与基准

• 对比对象是Table 1的30种配置：8个通用LLM各用Standard、Strict、Persistent，加上上述3个专用模型和3个智能体系统。评测基准是作者构建的RobustReview，不是在PeerRead等既有数据集上复现。

作者把本文定位为：把修辞稳健性写成篇内稳定与篇间区分的联合要求，并用science-core分支改善这一平衡，同时保持作者所称有竞争力的人类对齐。

作者用RobustReview把修辞稳健性做成匹配全文对照，再用SciCore把全文评审与内容归一化评审等权合并。

稳健性如何定义

• 对论文i，原文记为xi0。改写设置k同时指定修辞条件和改写生产者，变体被设计为保持已报告的主张、方法、证据、结果和结论，同时改变主张立场、证据框架、贡献组织、技术语域或词汇句法。评审配置m同时指定模型和协议。
• 过程写成 x_ik=Rewrite_k(x_i0), y_mik=Review_m(x_ik)。含义是：每种改写作用在原文上，同一配置对原文和全部变体打分。
• 篇内稳定要求同一论文的变体分数一致。作者称这单独并不够，因为不加区分的常数分数会最稳定。篇间区分要求不同稿件的已报告科学内容仍能拉开差距；作者强调跨论文分数变异不是科学价值的真值。
• 人类对齐单独衡量，不由稳健性指标代替。Section 2.4用MAD、Drift SD直接衡量篇内漂移，用ICC、SPR、discriminability把篇内一致性放到跨论文变异或分离上比较。

RobustReview怎么造

• 从有匹配arXiv LaTeX源的匿名ICLR 2026投稿抽样。与至少一版arXiv的文本相似度须超过0.8。按人类总体评价均分分层，固定种子42，从[1, 3)、[3, 4)、[4, 5)、[5, 6)、[6, 7)、[7, 8.5]各随机抽10篇，共60篇。
• 10种修辞条件：六个单维条件各做正向变换，分别改novelty stance、scope framing、evidence framing、contribution salience、technical register、linguistic complexity。四个复杂条件为联合改写、两轮递归R2、三轮递归R3，以及用模型反馈引导的改写。
• 每种条件由GPT-5.5和Claude Opus 4.8独立各生成一版，得到1,200个变体；加60篇原文，共1,260个全文PDF。改写作用在完整LaTeX项目上，保护引用、交叉引用、图和参考文献后再编译；结构或编译失败时能修则修，否则排除。论文未在此处给出排除数量。

30种配置与三种协议

• 通用LLM为GPT-5.5、GPT-5-mini、Claude Sonnet 5、GLM-5.2、Kimi-K2.6、GPT-OSS-120B、Gemini-3.5-Flash-Lite、Qwen-3.5-Flash，各三种协议。Standard沿用ICLR评审准则和打分方案。Strict提高证据门槛，使用更保守的量规。Persistent保留Standard准则，但反复要求科学判断依据实质内容而非修辞呈现，用来检验只靠内容指令是否够。
• 专用模型为OpenReviewer、CycleReviewer、DeepReviewer；智能体系统为AI Scientist、OpenJudge、ProReviewer。后两类用各自原生流程。同一论文族的原文和全部变体使用同一流程和打分准则。

SciCore的两个分支

• 全文分支用Strict直接评完整PDF，保留稿件级上下文；作者称其证据向量规提供融合所用的常规判断。science-core分支先由LLM抽出结构化记录，再只评这份记录，评审阶段不提供原文。评审协议以Standard为底，按science core的章节结构改写指令。
• 抽取对象包括研究想法与主张、问题表述、数学推导、方法与假设、实验或理论证据、报告结果、作者声称的贡献、可复现性信息和所述局限。要求客观第三人称、把主张归于作者、保留报告数字，不判断主张是否令人信服，也不打分。图不直接保留，表格被转写；无法可靠读到的内容记为不确定，而不推断补全。
• 最终分数是两分支总体评价的不加权算术平均：S_SciCore(x)=1/2M(x)+1/2B(x)。M(x)是全文分支总分，B(x)是science-core分支总分，二者用同一ICLR式量表。作者称等权避免引入可调融合参数，并让两分支仍可单独解释。Appendix C.5称Core-Adapted提示词、Strict全文分支和等权规则在查看60篇结果之前固定。
• 作者选择直接评抽取记录，而不是先重建另一篇稿件。附录A用不变表示和Blackwell比较给出设计理由，并写明这些结果不是固定LLM的性能保证；与ReconstructReview的排序留作经验比较。

实验设置

• 被测配置：8个通用LLM各3种协议，加OpenReviewer、CycleReviewer、DeepReviewer、AI Scientist、OpenJudge、ProReviewer，共30种；SciCore另报。检查点为Llama-OpenReviewer-8B、CycleReviewer-ML-Llama-3.1-8B、DeepReviewer-14B（Appendix C.3）。智能体系统沿用其发布实现，论文未单列其骨干模型名。
• 数据：RobustReview的60个论文族、1,260个全文版本；10种条件由GPT-5.5与Claude Opus 4.8各自生成。六个均分区间各10篇（Appendix C.1）。Appendix C.4称全部配置在同一60族上评测，总体评价分无缺失。
• 指标：MAD、Drift SD衡量改写引起的篇内漂移，越低越好。ICC为ICC(A,1)；SPR把原文的跨论文方差与改写位移的均方比较；discriminability看同论文呈现是否比不同论文更近，0.5为类随机。三者越高越好。Human MAE和Spearman对照原文的人类总体评价均分。
• 执行：主实验每个版本一次评审。GPT-5.5与GPT-5-mini走OpenAI Responses API，不覆盖采样参数。其余六个通用模型走OpenRouter；GLM-5.2、Kimi-K2.6、GPT-OSS-120B的reasoning effort设为high。不能吃PDF的专用模型先经Datalab OCR转成Markdown。
• SciCore实例：主对比的抽取、core评审和全文分支都是GPT-5.5；全文分支复用Strict分数，融合为不舍入的算术平均，融合本身不再调用模型（Appendix C.5）。
• 分数从哪来：各配置按ICLR式量表直接给出总体评价。论文未报告另用LLM裁判这些分数。保真审计另用DeepSeek V4 Flash，不参与审稿打分。

主结果

下表据Table 1，只列8行。SciCore不计入30种已有配置，骨干为GPT-5.5。省略其余23种：GPT-5.5 Standard；GPT-5-mini三种协议；Claude Sonnet 5的Standard与Strict；GLM-5.2的Standard与Strict；Kimi-K2.6三种；GPT-OSS-120B的Standard与Persistent；Gemini 3.5 Flash-Lite的Strict与Persistent；Qwen 3.5 Flash三种；以及OpenReviewer、CycleReviewer、DeepReviewer、AI Scientist、ProReviewer。

表格较宽，可左右滑动

配置	H-MAE↓	Spearman↑	MAD↓	ICC↑	Discrim.↑
SciCore	1.072	0.488	0.476	0.775	0.726
GPT-5.5 Strict	1.078	0.529	0.766	0.632	0.672
GPT-5.5 Persistent	1.261	0.423	0.476	0.697	0.682
Claude Sonnet 5 Persistent	1.239	0.360	0.307	0.489	0.615
Gemini 3.5 Flash-Lite Standard	3.178	0.408	0.205	0.199	0.511
OpenJudge	1.306	0.120	0.335	0.239	0.526
GPT-OSS-120B Strict	1.692	0.119	0.385	0.091	0.508
GLM-5.2 Persistent	2.403	-0.190	1.932	0.232	0.558

• 联合指标与对齐：作者称SciCore取得领先的联合稳定性–区分表现，人类对齐仍有竞争力。Table 1表注按偏好方向标出各列点估计；SciCore被标在ICC、SPR、discriminability和Human MAE上，其SPR为0.652、Drift SD为0.687。人类Spearman低于上表中的GPT-5.5 Strict。Drift SD高于OpenJudge的0.597。
• false robustness：作者把低改写漂移伴随弱区分称为false robustness。上表中Gemini 3.5 Flash-Lite Standard的MAD在已有配置里最低，discriminability为0.511，作者称接近随机。作者还把DeepReviewer与OpenJudge并列：DeepReviewer的ICC为0.161、discriminability为0.537（Table 1）。GPT-OSS-120B Strict的ICC 0.091为Table 1全表最低；GLM-5.2 Persistent的MAD 1.932为全表最高。
• 提示词与排序：作者称相对Standard，只有GPT-5.5在五项稳健性指标上都改善。Claude Sonnet 5 Standard的MAD为0.468、Drift SD为0.863、ICC为0.579、SPR为0.555、discriminability为0.646；Persistent的MAD与Drift SD更低，三个联合指标更低（Table 1）。作者称GPT-5.5上Strict的人类对齐更强，Persistent的ICC、SPR和discriminability更高，因此人类一致不能代替匹配稳健性评测。

双分支消融

Table 2全部使用GPT-5.5，并复用缓存的science core。

• 直接评记录与重建：相对Manuscript-Standard，ReconstructReview的MAD从0.598升到0.651，Drift SD从0.956升到1.101，人类Spearman为0.133。Core-Standard相对ReconstructReview七项指标都更好。作者称命题A.2不预测这两条已实现管线的排序。
• 抽取之后策略仍有差别：Core-Persistent相对Core-Standard，五项稳健性指标都变差。Core-Adapted的MAD为0.292、Drift SD为0.650、ICC为0.751、SPR为0.710，在core-only配置中MAD与Drift SD最低，ICC与SPR最高。其Human MAE为1.461，高于Manuscript-Strict的1.078。
• 融合的互补：相对Manuscript-Strict，融合把MAD从0.766降到0.476，ICC从0.632升到0.775，五项稳健性指标都改善。相对Core-Adapted，人类对齐、ICC和discriminability改善，但MAD、Drift SD更高，SPR更低。作者称两分支互补。

表示、准则与跨骨干

• 嵌入分离：Table 3用text-embedding-3-small。GPT-5.5抽取器的匹配余弦均值在两种改写生产者下都是0.978，跨论文对照为0.616与0.619；每个匹配格600对，每个对照格每生产者35,400次比较。Gemini-3.5-Flash-Lite抽取器在GPT-5.5改写下的匹配均值为0.963，对照为0.606。作者称这是嵌入层证据：science core在改写间稳定，同时保留论文间差异。图中簇的位置本文文本未给出。
• 准则依赖与坍缩：Table 4中Core-Standard与Core-Strict的confidence为常数，SPR记为0；Core-Persistent的confidence MAD为0.003、SPR为0.000；Core-Adapted把confidence的SPR升到0.394。作者称这里的近零漂移来自输出坍缩。soundness上，Manuscript-Standard的MAD为0.196，Core-Adapted为0.141；contribution上Core-Persistent的MAD为0.250，高于Manuscript-Standard的0.218。作者称soundness稳定性大体改善，contribution不一致，人类对齐也不是各准则都改善。Presentation被标为diagnostic，因为全文评审评论文呈现，science-core评审评抽取记录的清晰与完整。
• 三个骨干：Table 5把Core-Adapted与Manuscript-Standard放在同一骨干上比较，不是各模型自选最强全文协议。三个骨干的ICC都更高。GPT-5.5五项稳健性指标都改善，Human MAE从1.294升到1.461，Spearman从0.448降到0.285。GPT-5-mini的MAD从0.543降到0.367，但SPR从0.390降到0.371，discriminability从0.586降到0.577。GLM-5.2七项都改善，Spearman从-0.034升到0.413。作者称这是分支级、随骨干变化的部分迁移，且不测试跨骨干的双分支融合。

其他消融与分析

• 保真：五维自动通过率为95.2%、96.4%、94.8%、97.3%、96.5%；150组人工通过率为97.3%、98.0%、96.7%、98.7%、97.3%；三名标注者平均成对一致率94.6%（Table 10）。作者称核心技术内容大体保持，仍有不匹配；全部比较都保留在评测中。
• 同PDF三次重复：三种全文协议与SciCore的MAD为0.294–0.329，ICC为0.846–0.862。SciCore与Manuscript-Strict的重复MAD为0.320与0.329，改写下为0.476与0.766（Appendix E.3）。
• 等权平均对照：三协议平均的Drift SD为0.681、ICC为0.781，SciCore为0.687、0.775。作者称SciCore在该比较的其余五项点估计上更好，且Pareto非支配；论文未报告具体token消耗（Table 11, Appendix E.2）。
• 配对bootstrap共5,000次、60个论文族：SciCore减Manuscript-Strict，MAD差-0.290，区间[-0.348, -0.232]；ICC差+0.143，区间[+0.101, +0.185]；Spearman差-0.041，区间[-0.068, -0.014]（Table 12）。Drift SD区间下界在所给文本中不可读，此处不引用。
• Manuscript-Strict下，α=0、0.5、1的MAD为0.766、0.476、0.292，Human MAE为1.078、1.072、1.461（Table 18）。Figure 2是方向对齐后的min-max归一化图，虚线为预定的α=0.5；作者称更大的science-core权重总体倾向于改善稳健性并削弱人类对齐。
• GPT-5-mini、Standard、720篇改写稿：三次评审均值使平均总体评价从6.493变为6.457；12个条件–生产者均值效应的Pearson为0.975、Spearman为0.944（Appendix C.3）。

作者指出的局限与后续方向

• RobustReview是60篇有匹配arXiv源、按分数层均匀抽样的ICLR 2026投稿，结果未必推广到其他会议、领域或稿件格式（Section 8）。Appendix C.1写明向其他会议、领域和稿件格式的推广仍有待评测。
• 修辞改写旨在保持已报告科学内容，但不能保证完全等价，复杂条件尤甚；自动保真审计有非零不匹配率（Section 8）。
• 平均人类分数提供的外部参照有限，且不捕捉评审者之间的分歧（Section 8）。
• 最终SciCore融合用GPT-5.5评测；准则级和跨骨干分析刻画的是science-core分支，而不是融合后的评审器（Section 8）。
• 这些分支实验同时改变抽取和评审，而不是把两个阶段分开（Section 8）。
• science-core抽取可能遗漏或误读科学细节，并需要额外推理；等权融合假设两个分支的评价在共享量表上可比（Section 8）。

实验覆盖范围

• 被评评审配置为Section 2.3的30种，外加SciCore；8个通用LLM各有Standard、Strict、Persistent，专用模型与智能体系统用原生流程（Table 1）。
• 语料为60篇论文、6个均分区间各10篇、10种修辞条件、GPT-5.5与Claude Opus 4.8两个改写模型，共1,260个全文版本（Section 2.2, Appendix C.1）。Appendix C.2写明编译或结构检查失败的输出会被排除；论文未报告排除数量。
• 主实验每个版本一次评审。同PDF三次重复覆盖GPT-5.5的三种全文协议和SciCore；另有GPT-5-mini Standard对720篇改写稿的三次评审审计（Appendix C.3, E.3）。
• 人类对齐使用原文的人类总体评价均分。保真审计使用DeepSeek V4 Flash，并有150组比较、3名研究生多数表决（Appendix E.1）。论文未报告每篇论文的人类评审人数。
• Table 5的跨骨干比较覆盖GPT-5.5、GPT-5-mini、GLM-5.2上的Core-Adapted与Manuscript-Standard。Section 5.5写明该实验同时更换抽取与评审，也不测试跨骨干的双分支融合。

修辞稳健性被作者定为可信AI评审的一项独立要求：同一已报告科学内容换措辞后，科学判断应稳定，同时不同论文之间的区分不能塌掉。

• 问题：和人类分数对齐，并不等于在匹配修辞变体上稳定。作者担心低成本改写会让审稿奖励措辞，而不是科学改进。
• 做法：RobustReview用60篇按人类均分分层的ICLR 2026投稿，配10种内容保持改写和两个改写模型，共1,260个全文版本，评30种配置。SciCore在GPT-5.5上把全文Strict分数与只评抽取science core的分数等权平均；等权在看60篇结果前固定。
• 提示词：作者称Persistent只让GPT-5.5的五项稳健性指标都改善，不能在各骨干上一致起作用。
• false robustness：Gemini-3.5-Flash-Lite在Standard下MAD为0.205，ICC为0.199，discriminability为0.511。作者称低漂移可以来自跨论文分数坍缩。
• SciCore：Table 1中ICC为0.775，SPR为0.652，discriminability为0.726，Human MAE为1.072；人类Spearman为0.488，低于GPT-5.5 Strict的0.529。MAD与Drift SD不是全表最低。Table 5里science-core分支的迁移随骨干变化，且未测跨骨干融合。
• 作者的结论：内容聚焦评审不是只看分数漂移或人类一致性就能完成的设计问题。science core可以提供内容归一化判断，但准则和骨干上的行为并不一致。Table 11中，三次全文评审的平均在Drift SD与ICC的点估计上优于SciCore。