当 AI 评审训练 AI 评审：科学判断坍缩与 TrustReviewer 缓解方案

用合成审稿训练后继审稿模型时，科学判断的范围会不会变窄。

• 递归进入训练： 作者称 LLM 已开始摘要论文、提出批评、预测分数，并帮助改写审稿；这些文本一旦进入后继语料，下一代就会学习前代判断。Liang et al. (2024) 估计若干 AI 会议审稿里有大量 LLM 修改，但该估计不能标到单篇。
• 坍缩文献没回答的审稿问题： 作者转述：递归使用生成数据会抹掉分布尾部；真实数据被累积时，在已有设定中可以避免坍缩，合成比例上升仍会带来分布偏移。作者追问，审稿模型会不会因此只表达更窄的判断。
• 一步受控比较： 基座是 Llama 3.1 8B。M1 只在 ICLR 2018–2023 官方审稿上微调，四个 M2 从同一 M1 出发，只改变 2024 年每篇 3 条审稿中有几条由 M1 写成。作者称其他训练因素固定，用来隔离已知数量的生成监督，测的不是自然发生的 AI 辅助有多普遍。
• 名称与系统： 作者把评分分布变窄，以及同论文和语料两级语义多样性下降，称为 scientific-judgment collapse（科学判断坍缩）。TrustReviewer 在训练时整理官方审稿，在测试时做配对激活转向，转向时不再训练，也不追加专家标注。

递归训练与合成数据

• 尾部与真实数据： Shumailov et al. (2023) 报告，递归使用生成数据会抹掉分布尾部。Alemohammad et al. (2024) 研究自消耗循环，并称新鲜真实数据关系到质量与多样性是否留得住。
• 累积数据： Gerstgrasser et al. (2024) 报告，在其设定中把真实数据与合成数据累积起来可以避免坍缩。作者称这一结论依附于具体设定，并不普遍成立。
• 合成比例： Zhu et al. (2024) 报告，合成比例上升时分布偏移和 n-gram 过度集中加重；Kovač et al. (2025) 称递归分布偏移的幅度取决于训练数据的性质。Dohmatob et al. (2024) 与 Fu et al. (2025) 同属生成样本训练后继模型的文献。

LLM 学术审稿

• 任务与语料： Zhou et al. (2024) 在 GPT-3.5 与 GPT-4 上评测打分预测和审稿生成，并引入 review-revision 问题；Zhuang et al. (2025) 做综述。ReviewMT（Tan et al., 2024）整理 ICLR 与 Nature Communications 的论文和审稿流程；Gen-Review（Demetrio et al., 2025）把 ICLR 投稿、官方审稿和提示词控制的 LLM 审稿配成对。
• 生成审稿长什么样： 论文转述 Li et al. (2025)、Fichtl et al. (2026) 与 Li et al. (2026)：生成审稿可以流畅、描述充分，同时会偏泛、过正、识别实质弱点有限，或依据不均。
• 流程中的 LLM： Liang et al. (2024) 估计的是语料级 LLM 修改比例，作者强调这不是单篇标签。Thakkar et al. (2025) 在 ICLR 2025 的随机研究中报告，经过谨慎约束的 LLM 反馈提高了具体性与可操作性。

数据质量与测试时转向

• 筛选监督： Zhou et al. (2023) 与 Liu et al. (2024) 强调指令微调数据的质量与多样性。作者称 TrustReviewer 用统一结构过滤和整理后的官方审稿，把这类做法用到审稿训练上。

• 推理时改表示： Li et al. (2023)、Arditi et al. (2024) 与 Kang and Kim (2026) 在不重训全模型的情况下干预内部表示，对象包括真实性、拒答和指令遵循。Zou et al. (2023) 给出 representation engineering。

• 对比向量： Activation Addition（Turner et al., 2023）从对比提示取方向并在推理时注入；Contrastive Activation Addition（Rimsky et al., 2024）对正负行为样本的激活差取平均。作者改为同一稿件上官方审稿与模型生成审稿的差。

• 基线与基准： 比较对象是 Meta-Llama-3.1-8B-Instruct、OpenReviewer（Idahl and Ahmadi, 2025）和 Qwen3.6-35B-A3B。精确匹配与 MAD 沿用 OpenReviewer 论文的定义，评测用留出的 ICLR 论文和官方评分。

作者把问题收成：生成审稿被当作监督之后，下一个审稿模型的条件化科学判断如何变化。协助、自主审稿和在所得文本上训练，被作者看成不同干预，所以正文称这些文本为官方审稿。

坍缩实验和 TrustReviewer 是两条流程。前者固定初始化，只改合成审稿比例；后者在整理过的官方审稿上做单阶段训练，推理时再加配对激活转向，且不更新参数。

递归训练设定

• 符号： M0 是 Llama 3.1 8B，T(M, D) 表示在审稿集 D 上监督微调。作者写「官方」而不写「人工」，因为 ChatGPT 发布之后的审稿可能含有未观察到的 AI 辅助。
• M1 与 M2： M1 训于 2018–2023 年官方审稿。p 取 0%、33%、66%、100%，即每篇固定 3 条审稿中有 0、1、2、3 条由 M1 生成，其余为 2024 年官方审稿。M2^p 从 M1 在该混合上继续微调。
• 只改混合： 四个 M2 共用 M1 初始化和训练配置。p 只计 M1 显式生成的比例，不是 AI 辅助的总比例。作者也不把训练 M2 0% 的官方审稿当成纯人工文本。
• 为何停在 2023： 作者给出两点：这些审稿大体早于广泛的 ChatGPT 辅助审稿；Llama 3.1 8B 的训练数据截止于 2023 年 12 月（Meta, 2024），ICLR 2024 审稿落在 M0 截止之后。Fig. 1 画出这一混合。

共享训练协议

• 过滤： 各阶段同一套规则，附录 A 给全部门槛。样本须能解析出评分并符合当年审稿结构；含后续回复标记、短于 600 字符、至少 8 行重复、至少 4 个重复 30-gram 的审稿被去掉。排成对话后，长度须严格短于 64,000 token。论文 PDF 经 Marker 转为 Markdown，只留正文，去掉附录。
• 优化： 在 LlamaFactory 里用 LoRA，秩 64、缩放 128、dropout 0.05，适配全部目标模块。上下文 64,000 token，每设备批大小 1，梯度累积 16，warmup 比例 0.05，3 个 epoch，bfloat16，FlashAttention-2。
• 学习率： M1 从 Meta-Llama-3.1-8B-Instruct 初始化，学习率 2e-5，余弦衰减。每个 M2 从 M1 初始化，学习率 2e-6。
• 留出集： 2,000 篇不参与训练。2018 至 2025 年依次为 57、88、136、161、161、235、449、713 篇。各训练好的审稿模型都为这同一批论文生成审稿，再做比较。

两种多样性定义

• 同论文： 每篇最多用 3 条官方审稿；模型审稿来自 3 次独立运行。嵌入后，D_paper=2/(n(n−1))∑_i<j(1−cos(e_i,e_j))，即平均成对余弦距离。越大表示同一篇上的审稿差异越大。
• 语料级： 同一篇的多条审稿先收成一个论文级嵌入，再对到语料质心的平方 L2 距离取平均。越大表示判断占的语义区域越宽。嵌入模型与归一化见附录 B。

训练时整理

• 语料： 收集 2018–2025 官方 ICLR 审稿，样本是论文–审稿对，过滤后得到 D_curated，共 112,743 条，约 1.9 billion token。上述 2,000 篇不进入建库、训练和转向向量估计。
• 单阶段： 核心审稿器 M_TR 从 Meta-Llama-3.1-8B-Instruct 直接微调，没有中间审稿模型，也没有第二段递归。作者称这一步是为了做出最终审稿器，协议跟随 Sec. 2.2；论文未单独写出 TrustReviewer 的学习率。
• 提示怎么拼： 系统提示赋予 AI 会议审稿人角色，并插入投稿年份对应的 ICLR 审稿表，允许的评分随年份变化。用户侧只放入论文正文。附录 A 给出提示的组成，生成时正文在参考文献之后截断（附录 D）。

测试时配对激活转向

• 向量： 从 D_curated 抽 K=5,000 对，用 M_TR 为同一篇再写一条审稿，论文内容固定。各层向量是最后非填充 token 上「官方隐藏状态减生成隐藏状态」的平均，不做单位化。审稿单独成序列，截到至多 8,192 token。校准集不含留出论文。实现跟随 Zou et al. (2023)。作者称官方审稿是参照，不是保证由人写成、也不是唯一正确标准。
• 加在何处： 加到解码块残差流输出、进入下一层之前，且只加在最后位置：预填充的最后一个提示 token，以及此后每步的当前 token。参数不变。h̃_ℓ,t=h_ℓ,t+α v^(ℓ)_steer，α 控制强度。
• 选定值： 另用 100 对验证样本，按与官方评分的精确匹配来选。α 先固定 0.10，比较全部解码层、第 16–31、20–31、24–31、28–31 层和仅第 31 层，选中第 31 层；α 再从 0.05、0.10、0.15、0.20、0.25、0.30、0.40、0.50 中取 0.15。验证对与校准集、留出集都不重叠。各候选的匹配率正文未给出（附录 C）。

实验设置

• 模型： 坍缩部分比较 M2 0%、33%、66%、100%，初始化都是 M1，基座为 Meta-Llama-3.1-8B-Instruct。TrustReviewer 另与无转向检查点、该初始化、OpenReviewer、Qwen3.6-35B-A3B 比较。
• 数据： 留出 2,000 篇，年份篇数见上一问。语义分析共用 37,681 条留出官方与生成审稿，最长 5,940 token。整理语料 112,743 条。
• 解码： 本地生成为 temperature 0.6、top_p 0.95、重复惩罚 1.0、最多 4,096 个新 token，脚本不设 top_k。每篇 3 次独立运行，不固定解码种子。畸形输出最多重试 10 次；仍没有合法数值评分就记该次失败，不填默认分（Sec. 3.3.1、附录 D）。
• 评分指标： 提取总体推荐，Fig. 2 与 Fig. 5 的横轴为 1 到 10，统计均值、标准差和熵。精确匹配指生成分等于该论文至少一条官方分；MAD 是生成分相对官方分平均值的绝对距离。没有有效生成分或有效官方分的样本不进入分数指标（附录 E）。
• 语义指标： jina-embeddings-v3，对称文本匹配任务，上限 8,192 token，这批审稿无需截断。同论文距离与语料散布的定义见上一问。
• 对照是谁： 参照是官方 ICLR 评分和官方审稿文本。论文没有另用 LLM 当评审，也没有报告与人工判断的一致性。

主结果

下表是留出集上各 M2 的生成审稿。评分统计来自 Fig. 2 正文，语义统计来自 Fig. 3 正文。官方行只作参照。

表格较宽，可左右滑动

模型	评分均值	标准差	熵	同论文语义距离	语料语义散布
官方审稿（参照）	未报告	1.73	2.38	未报告	未报告
M2 0%	5.30	1.63	2.31	约0.159	约0.609
M2 33%	5.85	1.44	2.14	0.153	0.584
M2 66%	未报告	未报告	未报告	0.147	0.580
M2 100%	5.70	未报告	未报告	0.142	0.579

• 作者称合成暴露主要压缩评分有多散，均值的起伏并不能看成稳定地变松或变严。正文写出的均值路径是 0% 的 5.30、33% 的 5.85、100% 的 5.70。
• 同论文距离和语料散布都随合成比例单调下降。作者称从 0% 到 100% 分别约降 11% 和 5%；语料散布降得最多的一步出现在刚引入合成监督时，其后仍继续下降。
• 66% 与 100% 的标准差和熵都低于 M2 0%，但正文没有给出这两档的具体标准差、熵，也没有给出 66% 的均值。

TrustReviewer 的推荐一致性

据 Table 1，三次生成运行的均值±标准差。官方行只有熵。

表格较宽，可左右滑动

模型	精确匹配(%)	MAD	熵
官方审稿	—	—	2.38
Meta-Llama-3.1-8B-Instruct	33.93±0.54	2.679±0.010	1.53±0.03
Qwen3.6-35B-A3B	61.85±0.33	1.335±0.012	1.94±0.02
OpenReviewer	73.10±1.36	1.113±0.022	2.10±0.05
TrustReviewer w/o Steering	73.85±0.15	1.077±0.005	2.13±0.03
TrustReviewer	75.40±0.46	1.079±0.005	2.18±0.01

• 作者称在所评模型中，TrustReviewer 的精确匹配最高，MAD 低于 Llama 初始化、Qwen3.6-35B-A3B 和 OpenReviewer，熵更靠近官方参照。
• 表里 MAD 的点估计最低的是无转向检查点。作者称转向把精确匹配提高 1.55 个百分点，熵也上升，MAD 基本不变，且不必再训练或追加专家标注。
• 附录 E 写明：这两项只看与官方推荐是否一致，不看审稿文本是否事实正确或完整。

语义多样性与评分直方图

• Fig. 4： 左图是语料语义散布，右图是同论文语义距离，官方审稿为参照。作者称 TrustReviewer 高于所列基线；又称 OpenReviewer 的语义多样性也高，并称这可能反映其训练审稿的高质量整理，而该语料未公开。作者称自己的整理语料是公开的。正文没有写出各柱高度。
• 转向并不每项都升： 作者称转向扩大了语料散布；同论文距离略降，仍高于 Llama 与 Qwen，低于 OpenReviewer。作者称这是在提高推荐匹配并拓宽总体判断多样性，不是每个多样性指标都变好。
• Fig. 5： Meta-Llama-3.1-8B-Instruct 在评分 8 占 70.3%；Qwen3.6-35B-A3B 在评分 6 占 56.2%。TrustReviewer 在 6、5、3 分上为 38.3%、27.5%、17.6%。官方参照在 6、5、3、8 分上为 30.4%、25.3%、22.1%、13.3%。

其他消融与分析

• 坍缩实验里计划改动的因素只有合成比例 p，四个 M2 的数字见主结果表。
• 转向开与关的精确匹配、MAD 和熵见 Table 1；同论文距离在转向后略降，降幅正文未给数字。
• 附录 C 在 α=0.10 下选中第 31 层，再选 α=0.15；网格上各候选的精确匹配率未报告。
• 转向向量用 5,000 对估计，层与强度用另外 100 对选择，两组都不含 2,000 篇留出论文。

作者指出的局限与后续方向

• 一步、一族、一域： 受控实验覆盖一步递归、一个基座模型族和一个科研审稿领域。作者称观察到的效果在更多代、模型规模与家族、学科、会议或审稿格式上可能不同（附录 G）。
• 多样性不是质量： 作者称更大的判断多样性不一定是更高的审稿质量：多样的一套审稿可以是错的，同质的一套可以是对的（附录 G）。
• 一致不是正确： 精确匹配和 MAD 量的是与官方 ICLR 评分的一致，不是科学判断的对错。作者称官方审稿是机构参照，可以含有错误、分歧或未观察到的 AI 辅助，也不是已核验的纯人工或唯一正确标准（附录 G、结论）。
• 嵌入是代理： 作者称嵌入距离不能直接确立审稿指出了不同的有效科学问题、批评在事实上正确，或提供了有用证据（附录 G）。
• 人工评估： 作者称，若评估批评的正确性、具体性和实质覆盖，人工评估会是重要补充（附录 G）。

实验覆盖范围

• 递归与混合： Sec. 2 做一步递归，p 为 0%、33%、66%、100%，每篇 3 条审稿；四个 M2 共用初始化与训练配置，计划中的差别只有合成比例（Fig. 1–3）。
• 模型与语料： 微调从 Meta-Llama-3.1-8B-Instruct 开始；外部对照还有 OpenReviewer 与 Qwen3.6-35B-A3B。语料是 ICLR 2018–2025 官方审稿，评测是留出的 2,000 篇（Sec. 2.2、Sec. 3.3、Table 1）。
• 重复与解码： Table 1 报告三次生成运行的均值和标准差。本地解码为 temperature 0.6、top_p 0.95、最多 4,096 个新 token，生成脚本不固定种子（附录 D）。
• 转向： 向量来自 5,000 对同一论文的官方审稿与 M_TR 生成审稿；层和强度在另外 100 对上按精确匹配定为第 31 层、α=0.15（Sec. 3.2、附录 C）。论文未报告该网格上各候选的匹配率。
• 正文未给出的结果： 未给出 M1 在留出集上的评分和语义数字；未给出 M2 在 66% 与 100% 上的具体评分标准差和熵；未报告附录 G 所写的、针对批评正确性、具体性与实质覆盖的人工评估。

作者用 Llama 3.1 8B 做一步递归：先在官方审稿上训练，再把该模型写的审稿按比例混进下一年，看科学判断会不会变窄，并把评分更集中、语义更同质称为 scientific-judgment collapse。TrustReviewer 不走这条递归，而是单阶段学习整理后的官方审稿，推理时再加配对激活转向。

• 混合怎么设： 每篇固定 3 条审稿，合成比例为 0%、33%、66% 或 100%。p 只计 M1 显式生成的份额。作者使用「官方审稿」，因为其中可能已有未观察到的 AI 辅助。
• 坍缩： 同论文语义距离从约 0.159 降到 0.142，作者称约降 11%；语料散布从约 0.609 降到 0.579，作者称约降 5%（Fig. 3）。33% 合成暴露下，评分标准差从 1.63 降到 1.44（Fig. 2）。均值由 5.30 到 5.85，再到 100% 的 5.70；作者称这不是稳定地偏向更松或更严。
• TrustReviewer： 留出集上精确匹配 75.40%±0.46，MAD 1.079±0.005，熵 2.18±0.01。同表 Llama 初始化为 33.93%，OpenReviewer 为 73.10%，Qwen3.6-35B-A3B 为 61.85%（Table 1，三次运行）。转向使精确匹配提高 1.55 个百分点；MAD 基本不变，同论文语义距离略降。
• 作者如何收束： 作者称这些结果刻画了递归审稿训练的一种具体风险，语料整理和激活转向是保持判断多样性、改善推荐对齐的可用机制。官方评分被当作参照。附录 G 补充：效果在更多代、别的模型族或审稿领域上可能不同，更大的判断多样性也不等于更高的审稿质量。