AI 审稿人能看到你改进论文的努力吗？一项论文修改轨迹的大规模研究
Can AI Reviewers See Your Efforts to Improve Your Paper? A Large-Scale Study of Paper Revision Trajectories
AI 导读
一项覆盖 6959 条论文修改轨迹的大规模研究显示，AI 审稿人在大多数实质性修改上评分保持不变，简短的负面用户意见可能抵消或逆转修改带来的加分。研究团队构建了 PaperTrajectory-2026 数据集，涵盖五个 AI 会议的论文修改轨迹，沿 14 个维度自动标注修改变化，并让八个 AI 审稿人对不同版本稿件独立评分。标注显示重大改进集中在实证证据和表述框架上，后期修改多为渐进式改进。各审稿人对评分变化方向的判断一致性较弱，修改维度与评分上升的关联因审稿人而异，预测区分度有限。作者称这些发现表明实质性修改未能稳定反映在评审分数中，需要能将稿件证据与总体判断相连、在科学证据未变时保持稳定的评估方式。