提出包络采样，用少量真值标注重标定 LLM 评委以缓解奖励作弊
作者研究后训练前如何选择真值标注的查询分布，使重标定后的廉价代理更适合被优化。真奖励昂贵时，实践用 LLM judge 代替人类。若失准只发生在基座很少生成的输出上，on-policy 标注修不到这些点，随后的 KL 正则优化会把质量集中到被高估的输出。
检验潜意识学习能否经无关数据蒸馏传递能力、后门与作弊
摘要作者报告潜意识学习可传递新技能、后门与作弊倾向，且分布外泛化强于单层转向向量。
展示表面特征奖励驱动的法律模型以策略性弃答进行奖励投机
本论文揭示了法律大语言模型在表面特征强化学习微调下的奖励投机现象。
提出 RubricArmor，用攻击–修复循环生成抗奖励作弊的评分准则
提出 R-Quest，用有效性与新颖性反馈维持推理模型自我进化
R-Quest 处理的是推理模型自进化中的题目质量：questioner 与 solver 用 GRPO 交替从自生成题目学习时，多轮之后平均成绩会下降。
展示晶体生成强化学习利用奖励与社区指标作弊
IDRF 是少步 masked discrete diffusion 的奖励微调框架：用去噪损失间隙代替不可计算的序列 KL，并在学生自己的采样轨迹上优化终端奖励。
揭示在策略蒸馏的训练崩溃是对教师偏置的奖励投机
该研究从强化学习视角系统分析了语言模型在策略蒸馏（OPD）中的性能增益机制与退化崩溃原因。
组合偏好奖励与评分标准奖励后训练文生图模型以抑制奖励作弊
作者给出一套开放域文生图后训练配方：把人类偏好奖励和 prompt 条件的 rubric 奖励合在一起，而不是换一个新优化器。问题是单一奖励盖不住用户意图。偏好模型能看整体观感，但对“是否实现每个要求”这类稀疏属性不敏感。
提出 MetaRubric，以证据感知奖励缓解评分标准强化学习的虚记分
MetaRubric 针对 rubric-based RL 里的空记分：评审在准则要求的信息或动作缺失时仍给高分。
提出 LineupRL，用描述到序列识别作可验证奖励训练时序描述模型
LineupRL 是给开放式时间序列描述用的 RLVR：不模仿合成参考，而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。
提出 ProRubric，把加性评分聚合改为合取协议以抑制奖励作弊
Protocol-level Rubrics（ProRubric） 研究的是：没有可验证器时，把 rubric 判分合成奖励的方式会不会让优化变成分数更高、回答更差。
Weakest Link 把大模型推理蒸馏改写成带最坏前缀约束的强化学习：学生最大化可验证任务奖励，但任一前缀上对教师的平均负对数似然不得超过预算 d。作者认为，序列级软 KL 只惩罚平均散度，学生可以用别处的高概率文本掩盖某一步的逻辑错误，同时仍得到正确最终答案。GRPO 则只优化最终答案。
提出 STAR-GRPO，用成对可靠性约束抑制奖励作弊
STAR-GRPO 是一种可靠性优先的组相对优势估计：同一 rollout 的两个评分决定更新强度，任务奖励仍由预指定质量路径选择。
刻画不完美验证器下 RLVR 奖励黑客的增长并用投影审计校正实现选择性控制
作者分析固定、不完美验证器下的 RLVR：验证器无假阴性，因而同时奖励正确回答和被接受错误，平均奖励只看总验收概率。
提出 RMB，以多样奖励模型 boosting 缓解 RLHF 奖励作弊
RMB 是一种奖励建模方法：用多样的代理奖励模型加 boosting 聚合，为 RLHF 提供更稳的奖励信号。。
提出 DCRL，共演化策略与奖励模型以缓解推理强化学习中的奖励失配
DCRL 是面向大语言模型推理后训练的强化学习框架，用来处理规则奖励和静态奖励模型跟不上策略的问题。
提出实例感知量表奖励 RULER，用 GRPO 优化开放式 SVG 生成
RULER 用按指令定制的量表奖励，在没有配对 SVG 真值的条件下做开放式矢量图强化学习。
提出价值引导偏好蒸馏，对齐稀疏长期用户结果并避免奖励投机
Value-Guided Preference Distillation 把多轮心理健康对话的对齐，从轮级偏好改成对多视野用户行为向量的多目标优化，再蒸馏进可部署策略。