超越最终决策:面向透明 AI 辅助同行评审的流程中心基准
研究者提出一个以流程为中心的诊断基准,用于评估 AI 辅助同行评审中模型决策是否有充分可靠的评审证据支撑。该基准将 PeerRead、NLPeer ARR-22 和 OpenReview-ICLR 的异构评审记录转换为流程对齐数据,以从论文内容直接预测决策为基线,比较 Gold-process 与 Predicted-process 变量的决策价值,并进行阶段级评估、链一致性评估和干预敏感性分析。在三个数据集、六种模型上的实验显示,Gold-process 变量决策价值普遍更高,Gold–Predicted 差距跨数据集和随机种子稳定,模型生成的中间评审文本虽在相邻阶段局部一致性较高,但最终决策并未持续获得前序评审证据支持。