跳到正文
原文
Tech Policy Press·本站收录 · 原文发表

研究:六款 OpenAI 模型评审 137 篇论文,四款几乎全部接收

Can AI Help Fix Peer Review Instead of Breaking It?

AI 导读

一项探索性研究让六款 OpenAI 模型按 ACL 评审指南评审 137 篇 2017 年 ACL 会议匿名论文,每篇生成三份独立评审并对九项标准打 1 至 5 分。结果显示,GPT-4.1、GPT-4o、o1 和 o3-mini 几乎接收了全部论文,o3 和 GPT-5 接收约三分之二,而论文来源会议的实际接收率不足 25%。作者指出,模型在 RLHF 中习得的关怀、宽容等价值取向与同行评审所依赖的诚信、无偏见批评和保密并不一致。AAAI 2026 收到近 29000 篇投稿,约为上年的两倍,其试点用 GPT-5 嵌入自动化评审流程,作者调查显示 AI 评审被认为有用,但受访者普遍反映 AI 评审难以判断论文新颖性,且作者可能通过隐藏指令操纵 LLM 评审。

阅读原文techpolicy.press