全部论文

研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。

开放任务没有验证器时，被演化的是评分器，而不是再补一条手写 rubric。

作者研究后训练前如何选择真值标注的查询分布，使重标定后的廉价代理更适合被优化。真奖励昂贵时，实践用 LLM judge 代替人类。若失准只发生在基座很少生成的输出上，on-policy 标注修不到这些点，随后的 KL 正则优化会把质量集中到被高估的输出。

VeriFine 把驾驶和导航推理的自改进写成策略、课程和无参考评审的协同演化，用来处理固定评审跟不上新失败模式的问题。

本论文揭示了法律大语言模型在表面特征强化学习微调下的奖励投机现象。

R-Quest 处理的是推理模型自进化中的题目质量：questioner 与 solver 用 GRPO 交替从自生成题目学习时，多轮之后平均成绩会下降。

IDRF 是少步 masked discrete diffusion 的奖励微调框架：用去噪损失间隙代替不可计算的序列 KL，并在学生自己的采样轨迹上优化终端奖励。

作者讨论腿式机器人 RL 流水线中，奖励、课程门控、评测统计量和参考运动如何在物理目标缺失时仍报告成功。传统观点只把奖励当作会被优化、因而会偏离的代理。

该研究从强化学习视角系统分析了语言模型在策略蒸馏（OPD）中的性能增益机制与退化崩溃原因。

作者给出一套开放域文生图后训练配方：把人类偏好奖励和 prompt 条件的 rubric 奖励合在一起，而不是换一个新优化器。问题是单一奖励盖不住用户意图。偏好模型能看整体观感，但对“是否实现每个要求”这类稀疏属性不敏感。