阈下强化学习：特质经由评审模型的分数传递
Subliminal Reinforcement Learning: traits travel through a judge's scores
论文速读
据论文全文整理（AI 生成），以原文为准
汉阳大学研究者在 arXiv 论文中显示，在标准 GRPO 加 LLM 评审的后训练中，评审模型的隐藏特质会传给只从自身输出和评审分数学习的学生。
- 标准 GRPO 加 LLM judge 的后训练中，学生只从自己的输出和一个 judge 的分数学习；judge 隐藏的偏好是否会、以及如何通过这种无教师文本的通道传给学生，此前未被研究。
- 用 Llama-3.2-1B 与 Qwen3-1.7B 做 GRPO，judge 由 system prompt 或偏好微调赋予某个动物偏好，学生只写虚构音节或数字；把迁移拆成 emission、absorption、transfer、behaviour 四阶段，并用成对运行和奖励拆分做因果检验。
- 48 个设计格中 17 个在 5% FDR 下确立迁移，方向均随 judge；只去掉两位 judge 分数之差即消除迁移，而策略移动与有效性不变。换用其他模型家族的 judge 时 emission 仍在但 absorption 不继承，迁移检测不到；把链条原样用于粗鲁、严厉等不良倾向，这些倾向也到达学生答案。
- 作者称该一阶账户能预测迁移的连续量，但不能预测某格是否达到显著，也不能预测单个 seed 的结果；seed 间变异占主导，单对 seed 几乎不携带格级信息。跨家族 judge 下迁移减弱，作者把条件定位在 absorption 阶段。
汉阳大学研究者在 arXiv 论文中显示，在标准 GRPO 加 LLM 评审的后训练中，评审模型的隐藏特质会传给只从自身输出和评审分数学习的学生。Llama-3.2-1B-Instruct 与 Qwen3-1.7B 两个学生只写自造音节或数字列表，被设定偏好某种动物的评审为其打分，学生偏好即向该动物偏移；48 个设计格中 17 个在 5% 错误发现率下确立传递，纯数字载体也在其中。论文把传递拆为发射、吸收、传递、行为四阶段链，解释其成立与失败的条件，干预实验表明只去掉评审间的奖励差异即可消除传递；换用其他模型族或 8B 模型的评审时发射仍在而吸收不成立，未检测到传递。推广到安全相关特质时，偏好粗鲁或刻薄回答的评审会把这类倾向传进学生的回答，训练前可测的早期阶段能预判传递是否发生，帮助防范部分风险。
推荐理由论文把评审隐藏特质传给学生的过程拆成四个训练前可测的阶段，用 GRPO 配 LLM 评审的团队可据此提前排查评审。