跳到正文
原文
arXiv· arXiv:2609.05947· Siming Yuan·本站收录· 原文发表

超越最终决策：面向透明 AI 辅助同行评审的流程中心基准

Beyond Final Decisions: A Process-Centric Benchmark for Transparent AI-Assisted Peer Review

论文速读

评测与基准

据论文 PDF 整理（AI 生成），以原文为准

Qwen2.5-14B三数据集上，Gold过程决策Macro-F1高于Predicted，终审常无前述证据。

问题
现有AI辅助同行评审评测多看生成评审的整体质量或最终决策对错，难以检查决策是否被摘要、批评和建议支撑。作者称投稿量上升且已有受控试点，需要可审计的过程诊断。
方法
样本记为(x, zs, zc, zr, y)。三类评审数据对齐成Gold过程变量，模型再生成Predicted变量。以Direct为基线比较决策Macro-F1，并检查阶段质量、链条一致性、干预敏感性与条件误差。
实验与结果
主模型上Gold的决策Macro-F1高于Predicted（∆ 0.142–0.159，Table 1）。P–D仅1.31–1.41。作者称五类通用模型上Gold仍更高；DeepReviewer-7B在PeerRead为-0.006。
局限与可以继续做的
正文未单列局限。结论提出做专家验证，并考察偏差与不确定性。六阶段全协议仅主模型、三数据集、三seed；另五模型仅两数据集的seed-42与Stages 1–3。正文未报告Judge模型名及人工一致性。
实验设置Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct 等 · PeerRead、NLPeer ARR-22 等 · Macro-F1、Accuracy 等
被测模型
Qwen2.5-7B-InstructQwen2.5-14B-InstructLlama-3.1-8B-InstructLlama-3.3-70BGPT-4.1DeepReviewer-7B
基准
PeerReadNLPeer ARR-22OpenReview-ICLR
指标
Macro-F1AccuracyROC-AUCBERTScore-F1ROUGE-LWeakness F1CoverageCritique–Suggestion AlignmentS–CC–SP–D∆PDCR
AI 导读研究者提出一个以流程为中心的诊断基准，用于评估 AI 辅助同行评审中模型决策是否有充分可靠的评审证据支撑。该基准将 PeerRead、NLPeer ARR-22 和 OpenReview-ICLR 的异构评审记录转换为流程对齐数据，以从论文内容直接预测决策为基线，比较 Gold-process 与 Predicted-process 变量的决策价值，并进行阶段级评估、链一致性评估和干预敏感性分析。在三个数据集、六种模型上的实验显示，Gold-process 变量决策价值普遍更高，Gold–Predicted 差距跨数据集和随机种子稳定，模型生成的中间评审文本虽在相邻阶段局部一致性较高，但最终决策并未持续获得前序评审证据支持。

研究者提出一个以流程为中心的诊断基准，用于评估 AI 辅助同行评审中模型决策是否有充分可靠的评审证据支撑。该基准将 PeerRead、NLPeer ARR-22 和 OpenReview-ICLR 的异构评审记录转换为流程对齐数据，以从论文内容直接预测决策为基线，比较 Gold-process 与 Predicted-process 变量的决策价值，并进行阶段级评估、链一致性评估和干预敏感性分析。在三个数据集、六种模型上的实验显示，Gold-process 变量决策价值普遍更高，Gold–Predicted 差距跨数据集和随机种子稳定，模型生成的中间评审文本虽在相邻阶段局部一致性较高，但最终决策并未持续获得前序评审证据支持。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    现有评测主要看终审质量或决策对错，难以判断决策是否有过程证据支撑。

    现有评测主要看生成评审的整体质量或最终决策对错，看不出模型决策是否被中间评审证据支撑。

    • 场景：作者称AI会议投稿增加，评审工作量、质量、时效和问责承压。LLM已用于生成评语、分析论文、预测分数和接收决策，AAAI与NeurIPS已有受控试点。作者引用会议数据称，AI辅助评审倾向给更高分，并可能影响接近接收阈值的论文，因此人类评审须保留最终决策权与问责。
    • 现有不足：作者称已有评测多看独立任务表现，或过程式评审器的终审质量与人类对齐。少有工作在同一框架里比较过程变量的决策价值、链条一致性，以及终审对中间变量的干预敏感性。多阶段生成评审，并不等于中间阶段及其关系已被系统评估。
    • 作者的观察：作者把单条评审写成summary、critique、suggestion、decision。过程文本没有唯一正确表述；单阶段看起来合理，并不等于整条链一致，也不等于终审用了对应证据。对齐异构字段，以及判断开放文本是否互相支持，是作者写出的两个难点。
    • 本文提出：过程中心诊断基准，样本为(x, zs, zc, zr, y)，即论文、摘要、批评、建议和决策。把PeerRead、NLPeer ARR-22、OpenReview-ICLR对齐为过程数据，以只根据论文预测决策的Direct为基线，比较Gold-process与Predicted-process，并做阶段级、链条一致性、干预敏感性和条件误差分析。作者称对象是辅助而非替代人类评审的系统。

  2. 有哪些相关研究？

    相关工作多改进评审生成或终审质量，少把四阶段做成可干预的统一过程变量。

    论文把相关工作分成AI辅助评审，以及面向过程的评测与数据资源。

    AI辅助同行评审

    • 早期任务：Yuan、Liu and Neubig（2022）探索自动生成初始评审意见。Kang et al.（2018）的PeerRead用于评审文本和接收决策的计算分析。
    • 近期系统：TreeReview（Chang et al. 2025）、ScholarPeer（Goyal et al. 2026）、ReviewerTool（Sahu et al. 2025）和DeepReviewer（Zhu et al. 2025）使用分层问答、检索增强、迭代反思或多智能体协作。论文称它们改进生成评审的深度、事实性或结构，主要目标仍是改进评审器或最终输出。
    • 论文的对照：论文称本文改为检查中间证据是否含决策相关信息、跨阶段是否一致，以及是否进入最终决策。

    过程评测与数据资源

    • 质量与对齐：Beyond Rating（Li et al. 2026）、ReviewEval（Garg et al. 2025）、MMReview（Gao et al. 2025）、PRISM（Loc et al. 2026）和CoCoReviewBench（Deng et al. 2026）从事实性、完整性、建设性及与人类评审的对齐评估生成评审。Jin（2026）用concern-level matching做更细诊断。
    • 数据：PeerRead含论文、评审和接收标签；NLPeer（Dycke、Kuznetsov and Gurevych 2023）标准化多个来源。PeerSum（Li、Qi and Lau 2022）、MOPRD（Lin et al. 2023）和Fromm et al.（2021）分别支持评审摘要、多阶段记录和论证分析。
    • 论文指出的缺口：已有评测通常看单任务或终审质量，少把summary、critique、suggestion、decision对齐为统一且可干预的过程变量。

    引言对照与基线

    • 两类既有评测：引言把Kang et al.（2018）与Zhou、Chen and Yu（2024）归为独立任务评测，把Marg（D’Arcy et al. 2024）、Weng et al.（2025）、Zhu et al.（2025）和Garg et al.（2025）归为过程式评审器的终审质量与人类对齐。论文称少有研究在统一框架中同时比较决策价值、链条一致性和干预敏感性。
    • 基线与数据：基线是Direct，只由论文内容预测accept/reject。对照量是人类记录对齐的Gold-process，以及被评模型生成的Predicted-process。数据为PeerRead、NLPeer ARR-22、OpenReview-ICLR。
    • 定位：作者称本文给出统一表示，并评估阶段质量、过程变量决策价值、链条一致性、干预敏感性和条件误差关联；基准用于辅助而不是替代人类评审。

  3. 论文如何解决这个问题？

    用统一四阶段表示对齐三类评审数据，并比较两类过程变量的决策价值。

    作者构建过程中心诊断基准：把异构评审记录变成可分开评估、组合和干预的过程变量，再比较人工对齐变量与模型生成变量的决策价值。

    问题形式化

    • 终审基线：既有设定是只由论文x预测决策。论文写为ŷdirect=fdirect(x), y∈{accept,reject}。该式只看终标签对错。
    • 四变量：每条样本为(x, zs, zc, zr, y)，依次是论文、摘要、批评、建议、决策。Gold-process记为ZG=(zs, zc, zr)，来自人类评审记录；Predicted-process记为ẐP=(ẑs, ẑc, ẑr)，由被评模型生成。
    • Gold的角色：作者写明Gold是评测用的参考表示，不是唯一正确的人类推理链。
    • 决策价值差：对{s,c,r}的任一非空子集A，ΔA=M(ŷgoldA,y)−M(ŷpredA,y)。M是Macro-F1；∆A>0表示该Gold子集决策价值更高。完整过程的差距记为∆process。

    过程对齐数据

    • 来源：PeerRead、NLPeer ARR-22、OpenReview-ICLR。作者称三者分别对应早期语料、ACL Rolling Review和公开ICLR评审，字段结构、文本粒度和标签来源不同。
    • 对齐规则：zs优先用评审人写的摘要，否则用论文摘要；zc、zr分别来自弱点类和建议类字段，缺结构化字段时从评审文本做规则抽取。无有效论文文本或决策标签的样本被滤掉；缺某个过程变量时，只从需要该变量的评测中排除。
    • 决策标签：统一为accept/reject。PeerRead用原始标签，OpenReview-ICLR用官方decision notes。NLPeer ARR-22没有稳定的官方二分类，作者用平均评审分阈值3.5构造代理决策，并称该阈值靠近评分量表中点。对齐后规模为562、364、12002。字段映射细节指向附录A，正文未展开。

    六阶段协议

    • Stage 1 Direct：由x生成摘要，并只由x预测决策，作为无中间过程变量的基线。
    • Stage 2 Gold消融：用ZG的七个非空子集预测决策。只用完整ZG称为Gold-only；Paper+Gold同时输入x与完整ZG，用来看加入论文的作用。
    • Stage 3 Predicted：由x独立生成ẑs和ẑc，再由(x, ẑc)生成ẑr。同样用七个非空子集预测。只用完整ẐP为Pred-only；Paper+Pred输入(x, ẐP)。同位置子集成对比较，得到Gold与Predicted的决策价值差。
    • Stage 4–6只诊断Predicted：作者称Gold主要供决策价值对照，不进入后续过程诊断。Stage 4评链条：S–C看批评是否由摘要推出或至少相容，C–S看建议是否回应批评，P–D看批评和建议是否支持最终决策；正文未写明P–D用的是哪一种输入设置下的决策。Stage 5每次只改ẑs、ẑc或ẑr之一，决策模型和其他变量不变；干预为positive、negative、neutral、remove。前三类保留原文并加入支持接收、支持拒稿或无明确倾向的陈述，remove换成显式缺失占位。在process-only与paper-conditioned下重新预测。Stage 6按阶段指标把样本分成达到与未达到预设质量条件的两组，比较决策准确率；具体条件在附录C，正文未列数值阈值。作者写明该差距只是统计关联，不提供因果证据。提示词与干预模板在附录，正文未附原文。

    评价指标

    • 分指标报告：作者称各指标功能不同、尺度不同，因此分开报告。
    • 阶段指标：摘要用ROUGE-1/2/L和BERTScore-F1。批评先拆成弱点单元，再用unigram/bigram TF–IDF余弦做贪心一对一匹配，相似度至少τc=0.25，报告Weakness Precision、Recall、F1和Coverage。建议不要求与参考建议直接匹配，因为同一弱点可有多种有效建议；Critique–Suggestion Alignment是预测批评单元中至少被一条建议匹配的比例，τr=0.20。固定LLM Judge另对相关性、具体性、可执行性和总体质量打1–5分。决策以Macro-F1为主，并报告Accuracy和ROC-AUC。
    • 过程指标：链条三项各1–5分，Overall CC为算术平均，衡量阶段间支持而非单段质量。干预报告平均接受概率变化∆P，以及标签改变比例DCR。条件误差为达到质量条件组的准确率减去未达到组的准确率。
    • 阈值性质：作者称τc、τr是操作性匹配规则，不是普遍质量截止值。Judge模型名和评分细则分别未在正文给出、或放在附录F。

  4. 论文做了哪些实验？

    主模型上Gold-only的决策Macro-F1高于Pred-only，但终审与前述证据的一致性低。

    主分析在Qwen2.5-14B-Instruct上比较Gold与Predicted的决策Macro-F1，并检查生成证据是否进入终审。

    实验设置

    • 模型：Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct、Llama-3.1-8B-Instruct、Llama-3.3-70B、GPT-4.1、DeepReviewer-7B。作者称覆盖不同规模的开源通用模型、专有API模型和面向同行评审的模型。主分析模型是Qwen2.5-14B-Instruct，理由是它能在共享32K输入预算下可复现地跑完六阶段。
    • 数据与标签：对齐后PeerRead 562、NLPeer ARR-22 364、OpenReview-ICLR 12002。前两者用全部测试划分；OpenReview-ICLR每seed抽500个标签分层测试样本。决策为accept/reject；NLPeer用平均分阈值3.5的代理标签。正文未写明562与364是否等于测试划分条数。
    • 运行：主模型在三数据集、seeds 42、123、2024上跑完全部六阶段，报告三seed的mean±sample SD。其余五模型只在PeerRead与NLPeer的seed-42划分上跑Stages 1–3。
    • 解码：共用提示词，32K full-if-fit加section-aware fallback，temperature=0。生成长度等细节在附录B。
    • 指标：决策主指标Macro-F1，另有Accuracy、ROC-AUC。摘要看与参考摘要的重合和语义相似度；批评用τc=0.25的弱点匹配；建议用τr=0.20的对齐和1–5分Judge。
    • Judge：正文只写fixed LLM Judge，未给出模型名，也未报告与人工评分的一致性。

    主结果

    下表为Qwen2.5-14B-Instruct的决策Macro-F1，三seed的mean±sample SD，据Table 1。Gold-only、Pred-only指完整过程变量、不含论文x。

    表格较宽，可左右滑动

    设置PeerReadNLPeer ARR-22OpenReview-ICLR
    Direct0.235±0.0000.347±0.0010.281±0.000
    Gold-only0.649±0.0050.683±0.0050.715±0.015
    Pred-only0.504±0.0130.541±0.0120.556±0.021
    ∆process0.145±0.0170.142±0.0140.159±0.016
    Paper+Gold0.491±0.0010.513±0.0110.627±0.024
    Paper+Pred0.238±0.0000.347±0.0030.291±0.005
    • 作者称七个非空子集与三个数据集的21次比较中，Gold都高于对应Predicted；完整Gold-only相对Direct高0.336–0.434，Pred-only高0.194–0.275，但仍低于Gold-only 0.142–0.159。作者称该差距在数据集和随机种子上保持稳定。
    • 作者称最高组合因数据集而异：PeerRead上Gold最高的是Critique+Suggestion，NLPeer与OpenReview-ICLR上是完整过程。
    • 表中Paper+Gold在三个数据集都低于Gold-only。作者只明确写Paper+Gold高于Direct；并称Paper+Pred相对Direct的提高不超过0.010，且substantially worse than Pred-only。作者解读为Predicted变量有一定决策价值，但在当前联合输入下未被稳定使用。

    阶段质量与链条一致性

    • 摘要：Table 2中BERTScore-F1为0.890±0.001、0.866±0.001、0.870±0.000，ROUGE-L为0.322±0.002、0.214±0.002、0.234±0.005（PeerRead、NLPeer、OpenReview-ICLR）。作者称BERTScore-F1相近（0.866–0.890）。
    • 批评与建议：Weakness F1为0.0011±0.0003、0.0033±0.0009、0.0040±0.0002，Coverage为0.0023±0.0016、0.0036±0.0009、0.0063±0.0033。C–S Alignment为0.484–0.495，Judge Overall为4.336–4.493。作者称这不表示生成批评完全无效，而是该协议下很少匹配到具体参考弱点，并可能促成Gold–Predicted差距；又称局部建议质量高，但没有转化为决策表现。
    • 决策与链条：作者将0.235–0.347的Macro-F1称为Direct，并称有accept偏向。Table 2的Accuracy为0.307、0.530、0.390，ROC-AUC为0.580、0.504、0.465；这些Macro-F1与Table 1的Direct行相同，Table 2标题未单独写Direct。Table 3中S–C为3.986–4.003，C–S为4.989–4.999，P–D为1.312–1.409，Overall CC为3.432–3.465。作者称97.0%–97.9%的样本P–D为1或2分，最终决策是评审链的主要断裂。

    干预敏感性与条件误差

    • process-only：作者称正、负干预的∆P方向符合预期；critique的平均|∆P|为0.468–0.491，DCR为0.485–0.523，高于summary和suggestion。这些汇总数写在引用Figure 3的正文中；所附文本看不到图中逐柱数值。
    • 加入论文：作者称paper-conditioned下多数干预效应更小；negative critique仍可翻转原先的accept偏向，DCR为0.987–0.997，接受概率下降0.927–0.963。作者称模型会对过程证据变化作出反应，但尚未平衡、稳定地使用；并写明结果表示敏感性，不是因果。完整数值在附录G。
    • 条件误差：作者称summary的条件准确率差距小且方向不一；critique与suggestion的估计受条件组不平衡影响，原文写severe imbalance。作者称这主要反映把阶段质量转成二元误差标签的局限，不应解读为因果误差传播。正文未给出EPk→y数值。

    跨模型泛化

    下表为seed-42测试划分上的Gold减Predicted决策Macro-F1，据Table 4。不是Table 1的三seed均值。

    模型PeerRead GapNLPeer Gap
    Qwen2.5-7B0.2140.240
    Qwen2.5-14B0.1290.138
    Llama-3.1-8B0.0710.245
    Llama-3.3-70B0.1150.225
    GPT-4.10.2650.360
    DeepReviewer-7B-0.0060.083
    • 作者称五类通用模型与两个数据集的十个组合中，Gold都高于Predicted，并认为更大模型并未稳定缩小差距。作者写NLPeer差距为0.137–0.360；Table 4里通用模型的最小值为0.138。
    • DeepReviewer-7B在PeerRead的Direct、Gold、Predicted为0.281、0.350、0.356。作者称两边接近、都约为0.35，较小差距主要来自Gold表现弱。NLPeer上三者为0.509、0.510、0.427。
    • Predicted相对Direct的提升因模型与数据集而异。NLPeer seed-42上，Qwen2.5-7B的Predicted 0.338低于Direct 0.373，GPT-4.1的Predicted 0.319低于Direct 0.346。作者未对这两格单独解释。

    其他消融与分析

    • zs的∆A为PeerRead 0.044±0.010、NLPeer 0.114±0.007、OpenReview-ICLR 0.054±0.009（Table 1）。
    • PeerRead上Gold最高为(zc, zr) 0.728±0.014，对应Predicted 0.409±0.000，∆A 0.319±0.014。
    • NLPeer上zr的∆A最小，为0.034±0.028（G 0.545±0.014，P 0.511±0.014）。
    • Table 1最大∆A是OpenReview-ICLR的(x, Z)一行，0.336±0.027；(zs, zr)为0.313±0.014。
    • NLPeer上Predicted的zc与(zc, zr)均为0.319±0.000，低于Direct 0.347±0.001。
    • 正文未给出neutral、remove的分项数值，也未给出匹配阈值敏感性的数值；这些指向附录。

  5. 有什么可以进一步探索的点？

    结论提出后续做专家验证，并考察偏差与不确定性。

    论文没有专门的Limitations节；Conclusion写出的后续工作是专家验证，以及偏差与不确定性。

    作者指出的局限与后续方向

    • 专家验证与偏差：Conclusion写，后续将纳入expert validation，并进一步考察bias与uncertainty，以支持在人类监督下使用AI做同行评审。正文除此以外未把某项设计写成局限。

    实验覆盖范围

    • 主协议：Qwen2.5-14B-Instruct在PeerRead、NLPeer ARR-22、OpenReview-ICLR上运行六阶段，seeds为42、123、2024；OpenReview-ICLR每seed为500个标签分层样本（Experimental setup；Process-Aligned Data Construction）。
    • 其余模型：Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Llama-3.3-70B、GPT-4.1、DeepReviewer-7B在PeerRead与NLPeer ARR-22的seed-42划分上运行Stages 1–3（Experimental setup；Table 4）。
    • 标签与解码：决策主指标为Macro-F1，并报告Accuracy与ROC-AUC；temperature=0，输入预算32K。NLPeer ARR-22的accept/reject由平均评审分阈值3.5构造（Evaluation Metrics；Process-Aligned Data Construction）。
    • 干预与条件误差的写法：干预报告∆P和DCR，作者在正文将其限定为敏感性而非因果；条件误差被作者写为统计关联，正文未给出EPk→y数值（Interventional Sensitivity Analysis；Chain-consistency Evaluation）。
    • 未在正文报告的评审信息：固定LLM Judge的模型名称，以及Judge与人工评分的一致性，正文均未报告；评分细则指向附录F（Evaluation Metrics）。

  6. 总结一下论文的主要内容

    过程基准显示人工对齐变量更有决策价值，模型中间文本并未稳定支撑终审。

    该基准用来检查AI辅助同行评审的中间证据是否支撑最终决策，而不是只看终审对错。

    • 作者认为投稿增加、已有受控试点，但现有评测多看评审文本质量或accept/reject是否正确。人类应保留终审权，AI只作辅助。
    • 样本统一为论文x、摘要zs、批评zc、建议zr和决策y。人类记录对齐为Gold-process，模型生成为Predicted-process。评测包括Direct基线、两类变量的决策价值、阶段质量、链条一致性、单变量干预和条件误差。
    • 主模型Qwen2.5-14B-Instruct、三seed上，完整Gold-only的决策Macro-F1为0.649、0.683、0.715，Pred-only为0.504、0.541、0.556（PeerRead、NLPeer ARR-22、OpenReview-ICLR，Table 1）。作者称Gold-only比Direct高0.336–0.434，Pred-only仍低0.142–0.159。
    • 同模型Weakness F1为0.0011–0.0040（Table 2）。S–C接近4，C–S接近5，P–D为1.312–1.409（Table 3）。作者称相邻阶段局部一致性较高，最终决策却常常缺乏前述批评和建议的支持。
    • seed-42上，五类通用模型在两个数据集的Gold均高于Predicted（Table 4）。DeepReviewer-7B在PeerRead的差距为-0.006。作者认为更大模型并未稳定消除差距。
    • 作者的结论是：终审标签准确率和评审整体质量不足以评估评审过程；该基准用于发现证据生成与使用中的不足，而不是替代人类评审。后续将加入专家验证，并考察偏差与不确定性。
阅读原文arxiv.org