超越模仿：LLM 辅助同行评审的框架与基准

现有LLM审稿评测主要比较生成评论与人类评论的相似度，而不是系统能否在审稿流程中发现稿件里的逻辑矛盾。

• 场景：作者称AI会议投稿与作者数增长，审稿质量下降、工作量上升；审稿人开始用LLM分担负担，作者也用LLM维持产出。多数会议在披露前提下允许LLM写作辅助，部分会议已试验把AI纳入审稿流程。
• 现有不足：作者称已有研究多把LLM当作人类审稿人的替代，指标集中在分数和评语的相似度。发现实质性错误需要通篇核对假设、主张与证据，作者认为这一环节耗资源，却较少被直接评测。
• 作者的假设：把目标从替代改成增强，并把评测从人类–LLM相似度转到矛盾检测，才能看出LLM除模仿评论之外还能怎样协助写审稿。
• 本文提出：用会议论文合成插入逻辑矛盾，建成Contradiction Benchmark；用论文知识图谱给每条矛盾标定severity；提出Multi-Layered Review（MLR），先理解稿件再生成评论。评测还覆盖撤稿数据、关注点分布、三会投稿、显式操纵和使用者反馈。

审稿生成

• LLM-Review（Liang et al., 2024c）：用GPT-4o做大规模审稿生成，作者称其与人类反馈的重叠可与两名人类审稿人之间的重叠相比；流程先拆分论文再构造结构化反馈，长文本被截断以适应较小上下文。
• 多智能体审稿：MARG（D'Arcy et al., 2024）用leader、worker与expert分工；AgentReview（Jin et al., 2024）用审稿人、作者和AC复现流程，并可设定知识丰富程度等角色属性；AI Scientist中的AI Reviewer（Lu et al., 2024）按NeurIPS模板生成评论，并用self-reflection、few-shot与meta-review集成；GAR（Bougie & Watanabe, 2025）先把论文解析成知识图谱，再随机选3–6名属性不同的审稿人，由meta-reviewer汇总。
• 在数据上训练的审稿智能体：ReviewAgents（Gao et al., 2025）把评论和meta-review改写成Review-CoT再训练审稿人与AC；Reviewer2（Gao et al., 2024）为两阶段审稿的每一步分别微调LLM。

生成评论怎么评

• 相似度与分数相关：先前工作用人类分数相关，以及BLEU、ROUGE、BertScore比较评语（Lu et al., 2024; Gao et al., 2024; 2025; Zhou et al., 2024）。作者称大规模人工检查不现实，因此这些指标被广泛使用。
• LLM裁判与人类偏好：另有工作用LLM判断生成评论与人类评论的接近程度（Liang et al., 2024c; Bougie & Watanabe, 2025; D'Arcy et al., 2024）。人类评估的参与人数差异很大；排序评估也常因参与者少而交给LLM（Bougie & Watanabe, 2025; Tyser et al., 2024; Gao et al., 2025）。

学术核验

• WithdrarXiv及相关过滤：Rao et al. (2024)收集截至2024年9月从arXiv撤下的论文。Son et al. (2025)与Zhang & Abernethy (2025)用LLM和人工检查筛出至少有一处明确错误的论文。论文指出这两项工作没有在其数据上评测审稿系统，而是用专门抽错误的提示词检验LLM本身。
• 小规模稳健性与文献矛盾：Robertson (2023)对20篇NeurIPS论文分别做两种文本变换，以评估GPT-4审稿生成的稳健性。Skarlinski et al. (2024)提出识别科学文献内部矛盾的基准。

基线与数据：实验基线为LLM-Review、AI Reviewer、AgentReview。数据包括作者自建的Contradiction Benchmark、WithdrarXiv-Check、ICLR/ICML/NeurIPS投稿，以及Shin et al. (2025)的Expert Review Dataset。

作者把本文放在“增强而非替代”一侧：不靠评审集成、显式推理技巧或微调来提高评论质量，而是分开处理正文与附录，可选做文献定位，再由审稿智能体整合。作者称据他们所知，尚无被广泛采用、把错误检测当作自动审稿核心环节、且规模相当或自动构造的基准；WithdrarXiv的撤稿说明则常含糊、难核对。

作者用可复现的合成矛盾定义“该检出的错误”，并用Multi-Layered Review（MLR）把理解稿件放在生成评论之前。智能体均为现成LLM，输入保留PDF，以便保留公式和图。

矛盾基准怎么造

• 选文：从arXiv取2025年ACL、AISTATS、CVPR、ICML各51篇，以及NeurIPS 2024的53篇，共257篇，并爬取LATEX；只保留CC BY、CC BY-SA、CC0。Table 1给出各会成功生成的矛盾数，合计1,164条。
• 为何先建图：作者最初随机抽句，让GPT-4.1改写所在段落。没有结构时，模型有时改摘要主张，有时改实现细节，作者认为这两类错误不应等权。
• 知识图谱：Gemini 2.5 Pro按给定schema建图。节点包括Claim（Main/Secondary/Tertiary）、Evidence（High/Medium/Low）、Methodology、Implementation、Mathematical Theory；关系为Supports与Contradicts。建节点时要求描述要点并引用原文。附录称Contradicts只占关系的0.4%。
• 距离与插入：main claim的距离为0，其余节点距离是到任一main claim的最短路径长度；距离越大，作者定义的severity越低。每个距离随机选一个节点，由GPT-4.1把对应段落改成与该节点描述相矛盾的版本，替换LATEX后再编译。每个距离一条矛盾，变体数等于最大距离加1。不是每份修改稿都能编译成功。作者注明，对抗性系统仍可能找回arXiv原稿并对照编辑版，因此基准不能完全防止这种利用。

MLR的三个角色

• 切分：PDF分成正文（上限10页）和附录。作者在开发中观察到，模型即使能读长输入，理解也会随长度下降，因此只对正文做深入分析。
• Appendix Agent：Claude Haiku 3.5摘要附录，重点是实验与实现细节。作者称这是为了降低Review Agent指出“附录里已经回答”的弱点或问题的可能，因为Review Agent不直接看附录。
• Literature Review Agent：Claude Sonnet 4，可使用网页搜索并自行选来源，输出文献报告，用来补知识截止日期，并避免把已有工作说成不存在或高估新颖性。该智能体可选；若联网会泄露撤稿说明等信息则关闭。附录称也可换用PaperQA一类RAG，作者留作后续。
• Review Agent：Claude Sonnet 4，是主要驱动。作者称设计参照人类审稿先读懂再写评论，并借鉴Keshav (2007)的三遍阅读法。

三遍提示链

1. 第一遍：按标题、摘要、引言、结论、参考文献和章节标题做高层结构化大纲，覆盖类型、相关工作与理论背景、假设是否成立、主要贡献和写作清晰度。
2. 第二遍：以大纲为引导细读，补关键点的证据，并检查弱点、假设和缺口；不确定的主张先用网页搜索核对。输出是对中心主张和技术内容的笔记。
3. 第三遍：把附录摘要、文献报告和第二遍中的部分要点合成最终评论，栏目为Strengths、Weaknesses、Questions、Overall Recommendation、Score。分数用NeurIPS十分制及评分说明；其余栏目只给标题、不再加指令。使用者研究中另加To-do List。附录A.2给出各智能体的完整提示词。

检出如何判定

• 自动裁判：规模使人工清点不现实。作者引用Chiang & Lee (2023)，用o3判断评论是否正确指出给定的原段落与改写段落之间的矛盾；重复10次取平均。集成设定下，至少一名审稿人指出错误即算检出。
• 撤稿数据另有两档：Exact要求评论与撤稿说明指向同一问题；Similar只要求提到相近问题。提示词见附录，此处不复述。

实验设置

• 被测系统：MLR的Review Agent与文献智能体为Claude Sonnet 4，附录摘要为Claude Haiku 3.5。基线为LLM-Review（GPT-4.1，正文超过6,500 token则截断）、AI Reviewer（o4-mini）、AgentReview（GPT-4o，benign reviewer，作者与AC用baseline设定）。焦点评估另运行GPT-5 mini、GPT-5.1、Gemini 2.5 Pro、Gemini 3 Pro、Claude Sonnet 4.5；GPT-4o mini与人类分布使用Shin et al.已发布数据，作者未重跑。
• 数据规模：Contradiction Benchmark为257篇、1,164条矛盾（Table 1）。WithdrarXiv-Check从245篇中取不超过30页的211篇（Appendix A.3）。会议投稿见Table 6：ICML 2025接收51/拒稿50，ICLR 2025各50，NeurIPS 2024接收52/拒稿50。Expert Review Dataset抽样300/676。显式操纵为50篇拒稿，多数原投ICLR 2025。用户研究为38次审稿会话。
• MLR启用哪些智能体：矛盾基准、WithdrarXiv-Check和显式操纵只用Review Agent。会议投稿与焦点评估使用Appendix Agent，并以网页搜索代替完整文献综述。用户研究启用全部智能体（Table 12）。
• 基线设置：Section 4.1称AgentReview与AI Reviewer使用3–4篇评审集成，作者因此生成4篇以便比较，至少一篇检出即算成功。附录A.2写AI Reviewer使用o4-mini、5个ensemble、每篇1个few-shot、最多5轮reflection，评审集成温度0.75、其余0.1；AgentReview只取第一阶段的3名审稿人，焦点评估因无法汇总优缺点而随机抽1篇。
• 指标与裁判：矛盾检出准确率由o3重复10次取平均。撤稿匹配同样用o3，分Exact与Similar；作者未采用文中称为更宽松、有时会幻觉的Gemini 2.5 Pro作该任务裁判。会议分数由GPT-4.1根据非数字评语、按投稿会评分说明预测；多篇评论取平均。焦点由o3-mini标注target与aspect。语义指标为BLEU-4、ROUGE-1、ROUGE-L和基于RoBERTa-large的BertScore。
• 裁判抽查：26篇未修改论文、130条矛盾上，o3对review的“应判否”准确率在正文写为99.9%，Table 11为99.90%。MLR确已检出的50篇上，10次平均sensitivity在正文为86.8%，附录为86.80%。作者称裁判可能漏掉约13.20%的真阳性，因而系统准确率可能偏保守。

主结果

据Table 14，Contradiction Benchmark检出准确率（%）。LLM-Review+Claude是把LLM-Review换成Claude Sonnet 4且不截断的消融，与其余行同表。

系统	distance 0	全数据集
MLR（4 reviews）	73.43%	40.95%
MLR（1 review）	60.79%	28.32%
LLM-Review+Claude	35.40%	16.43%
AgentReview	14.81%	5.95%
LLM-Review	14.56%	6.39%
AI Reviewer	11.17%	6.50%

• 作者称MLR在最关键错误上增益最大，distance 0检出超过70%，相对次强基线有四倍改进；即使用单篇评审，作者称平均准确率提升也超过20%。
• 作者称只换LLM-Review的模型就会提高准确率，尤其在distance 0；MLR流程还有额外增益，因此改进来自底层LLM和系统设计两方面。
• 作者称各系统准确率随节点距离上升而下降，支持用距离标定severity。distance 6是例外，作者归因于只有18篇，每多对一条大约改变5%的准确率。距离5和6不足50篇，Figure 3附有Wilson区间；距离6以后只有6个样本，Table 14中MLR在距离7和8为0.00%，AI Reviewer在距离7为14.00%。

WithdrarXiv-Check

测的是撤稿论文上，审稿系统能否对上撤稿说明。o3为裁判。Similar不要求措辞完全一致，Exact要求同一问题。据Table 3，准确率（%）为：

表格较宽，可左右滑动

设定	MLR	AgentReview	AI Reviewer	LLM-Review
Similar	26.07	18.48	13.74	5.21
Exact	16.11	5.69	9.00	2.37

• 作者称两种设定下MLR都高于基线，超出次优系统至少5%；相对矛盾基准，这里的改进没那么大。
• 作者认为可能原因包括：合成错误更容易发现；被测系统面向机器学习会议，而该数据主要来自理论数学与物理期刊。
• Section 2.3称，包括MLR在内的全部审稿系统在真实错误上差于该矛盾基准。Figure 4给出一条撤稿说明较含糊、MLR提到同一引理但未被Exact判为匹配的例子；附录不复述原文。

会议投稿上的分数与语义

Section 4.4比较接收与公开拒稿。分数由GPT-4.1从非数字评语预测。下表为预测分与真实人类分数的Pearson相关，据Table 7；灰色参照行是用人类评语做的预测。

表格较宽，可左右滑动

系统	NeurIPS 2024	ICML 2025	ICLR 2025
Human (Reference)	0.781	0.684	0.742
MLR	0.451	0.429	0.586
AI Reviewer	0.328	0.439	0.538
LLM-Review	0.358	0.169	-0.013
AgentReview	0.167	0.006	0.195

• 作者称GPT-4.1对人类评语的预测与真实分接近，Pearson接近0.7到0.8，因此后续用预测分。表中三会参照值分别为0.781、0.684、0.742。
• 作者称MLR在各会上预测分与真实分的相关都相对高，并称系统在主要机器学习会议间不依赖特定会、且与人类对稿件质量的判断对齐。表内例外：ICML 2025上AI Reviewer的Pearson/Spearman/Kendall为0.439/0.416/0.353，高于MLR的0.429/0.333/0.277；NeurIPS 2024上LLM-Review的Spearman 0.457、Kendall 0.377高于MLR的0.386、0.299。ICLR 2025上LLM-Review的Pearson为-0.013。
• 作者称MLR评语与人类评语语义不同，但ROUGE-1较高；人类评语彼此的BertScore也大约12–18。AgentReview的语义一致性在被比较系统中最强（Figure 7）。Figure 9中，作者称LLM-Review与AgentReview的接收/拒稿预测分重叠大、均值几乎相同；MLR与AI Reviewer的拒稿箱体盖住接收箱体，但均值仍分开，MLR的间隙更大。正文未给出Figure 9的均值数字。

显式操纵

按Ye et al. (2024)的设置，在结论之后插入旨在影响LLM审稿判断的文本，人类审稿人未见该文本；具体插入内容见Appendix A.6，此处不复述。MLR只用Review Agent。50篇拒稿上的均分变化据Table 8。

系统	裁判Δ	系统自评分Δ
MLR	0.70±2.46	0.26±1.85
AI Reviewer	0.72±0.98	1.32±1.09
AgentReview	1.68±1.09	0.43±0.69
LLM-Review	2.42±1.47	未报告

• 作者称MLR的平均分变化最小，但裁判分与自评分的标准差为2.46和1.85。检查评论后，作者称所有系统都明显受插入文本影响。
• 50次中有8次MLR发现这类文本。作者将其归因于两点：流程优先理解稿件，而不是盲从审稿指令；Claude同时接收PDF的图像与文本，插入内容在图像中不可见。
• 作者认为AI Reviewer在裁判分上变化较小，可能因为meta-reviewer看不到该指令，且其NeurIPS模板有未被针对的limitations栏；AgentReview自评分变化小，作者认为可能是其分数多落在4到6、方差低所致。

其他消融与分析

• 合并三遍提示：在497篇子集上，MLR-Combined的distance 0为56.67%、全子集24.81%（Table 14）；作者称相对单篇MLR约降3.5%，会议预测分相关接近原流程（Table 16），整体成本约降三分之二。
• 集成数量：Figure 28比较1–6篇。作者称从1篇增到2篇时多数距离升幅最大，增到6篇仍继续上升、未见平台。正文未给出2、3、5、6篇的精确准确率。
• 焦点KL：与人类分布的四项平均，Claude Sonnet 4.5为0.097，MLR为0.240，AI Reviewer为0.266（Table 5）。作者称简单提示在strengths上更接近人类、在weaknesses上更发散；Figure 5–6中，作者称MLR与AgentReview更少泛泛的Paper评论，更强调Experiment与Validity，人类更强调Communication Clarity，弱点上还更强调Novelty。
• 成本：不含可选文献综述时，MLR输入189,062、输出3,913 token，费用0.42+0.05美元；AI Reviewer为0.44+0.05美元；LLM-Review为0.01美元量级（Table 9）。作者称MLR与AI Reviewer约每篇0.50美元，token用量约为后者一半，单价更高所以总费用接近。
• 合成矛盾自然度：50条人工审计中，34%被评为相邻句子不连贯，8%被评为听起来明显像AI生成（Section 2.3）。作者认为这会使基准更容易，而基线仍然检出不高。
• 用户研究：N=38。Beneficiality 4.25，Improvement 4.04，Helpfulness 3.70，Reuse Intention 3.74，Criticality 2.88。CAR：Overall Recommendation 29/31（94%），Strengths 83/90（92%），Questions 54/68（79%），To-Do List 83/107（78%），Weaknesses 56/82（68%），合计305/378（81%）（Table 10）。Beneficiality与Improvement的r=0.76，Reuse与Helpfulness的r=0.74，Criticality与二者的r为-0.31和-0.29（Figure 11）。作者称使用者把价值主要等同于可执行建议，评论越苛刻则越不觉得有帮助，且这不是全体一致的偏好。

作者指出的局限与后续方向

• 领域：作者称因熟悉AI会议及其审稿流程，分析主要在机器学习领域；扩展到其他学科是后续方向（Limitations）。
• 闭源系统：作者称无法与闭源或专有审稿系统比较，那些系统有可能表现更强（Limitations）。
• 合成错误的样子：矛盾由LLM生成并插入，可能有不自然措辞或结构，从而比真实错误更容易认出（Section 2.3）。
• 基准定位：作者把Contradiction Benchmark视为评测LLM审稿人错误检测能力的初步步骤，后续应加入更像自然发生错误的错误（Section 2.3）。
• 对抗操纵：Discussion称，包括MLR在内的审稿系统经常难以应对这类攻击，对抗稳健性是后续研究的一个方向。
• 文献模块：附录A.2称Literature Review Agent也可改用PaperQA等检索增强框架，作者把该探索留作后续。

实验覆盖范围

• 系统与模型：审稿系统比较包括MLR、LLM-Review、AI Reviewer、AgentReview（Section 4）。焦点评估另报告GPT-5 mini、GPT-5.1、Gemini 2.5 Pro、Gemini 3 Pro、Claude Sonnet 4.5；GPT-4o mini使用已发布分布（Section 4.3，Appendix A.4）。
• 矛盾基准：257篇、1,164条矛盾，来自ACL、AISTATS、CVPR、ICML 2025与NeurIPS 2024；节点距离范围ACL为0–8，其余为0–7（Table 1）。检出由o3重复10次取平均（Section 2.2）。
• 其他评测集：WithdrarXiv-Check使用不超过30页的211/245篇（Appendix A.3）。Expert Review Dataset抽样300/676（Appendix A.4）。会议比较的篇数见Table 6。显式操纵为50篇拒稿（Section 4.5）。用户反馈来自38次会话、262条分节评分和725条评论反馈（Section 4.7）。
• 作者写明的基准边界：Section 2.1写明，故意对抗的系统可能找回arXiv原稿并与编辑版对照，从而恢复被插入的矛盾。
• 论文未报告项：论文未报告各审稿系统完成矛盾基准或撤稿评测时的总查询次数；Figure 28未给出1–6篇集成中每一档的精确准确率。

这篇工作把LLM审稿助手的评测从“像不像人类评论”转到“能否发现稿件中的逻辑矛盾”，并提出对应的审稿流程MLR。

• 问题：作者称机器学习会议投稿增长使审稿负担上升，审稿人已在使用LLM。已有评测多看分数和评语与人类的相似度，较少把矛盾检测放进审稿生成流程里考察。
• 做法：从五场AI会议收集257篇允许再分发的论文，用Gemini 2.5 Pro建知识图谱，按节点到main claim的距离用GPT-4.1插入合成矛盾，得到1,164条评价目标。MLR把附录摘要、可选文献定位和正文三遍阅读分开，再生成Strengths、Weaknesses、Questions、推荐和分数。
• 矛盾检出：四评集成时，distance 0准确率73.43%，全基准40.95%；单篇为60.79%和28.32%（Table 14）。同表中原基线的全基准准确率为5.95%–6.50%。作者称增益来自Claude模型选择和多遍设计两方面。
• 真实错误与人类分数：WithdrarXiv-Check上，MLR的Similar/Exact准确率为26.07%/16.11%，高于表中基线，也低于其在合成基准上的结果（Table 3）。ICLR 2025上，GPT-4.1根据MLR评语预测的分数与真实分Pearson为0.586；ICML 2025上AI Reviewer的0.439高于MLR的0.429（Table 7）。
• 操纵与使用者：50篇被插入操纵文本的拒稿中，MLR发现8次；其裁判分平均变化0.70±2.46，作者仍称各系统的评论明显受影响（Table 8，Section 4.5）。38次用户会话中Beneficiality平均4.25，Weaknesses评论同意率56/82（Table 10）。
• 作者的结论：作者称MLR与人类对稿件质量的判断对齐，同时关注点与人类不完全相同，可作为辅助而非替代。作者同时称，自动审稿在大规模使用前需要以错误检测为中心的评测，并需要处理对抗操纵。