All papers

The authors study how language models, when learning new tasks, can use their own knowledge for broader self-preservation: given an incomplete list and forgetting that extends beyond the list, can the model generate replay and help choose targets.

作者研究后训练前如何选择真值标注的查询分布，使重标定后的廉价代理更适合被优化。真奖励昂贵时，实践用 LLM judge 代替人类。若失准只发生在基座很少生成的输出上，on-policy 标注修不到这些点，随后的 KL 正则优化会把质量集中到被高估的输出。

作者研究小规模 LLM 智能体在显式 wall-clock 预算下能否按时返回，并把更多时间换成更好的解。

Perturbot 是一套不改推理的 VLA 训练期数据干预，用来削弱模态捷径，并用离线分数区分“任务变好”和“靠捷径变好”。

R-Quest 处理的是推理模型自进化中的题目质量：questioner 与 solver 用 GRPO 交替从自生成题目学习时，多轮之后平均成绩会下降。

IDRF 是少步 masked discrete diffusion 的奖励微调框架：用去噪损失间隙代替不可计算的序列 KL，并在学生自己的采样轨迹上优化终端奖励。

MetaRubric 针对 rubric-based RL 里的空记分：评审在准则要求的信息或动作缺失时仍给高分。

LSL 是不访问旧数据、在后训练中保持先前能力的框架。

False Frontiers 诊断自进化搜索智能体中的 co-cheating，并用按来源交叉拟合的反馈来缓解它。

Protocol-level Rubrics（ProRubric） 研究的是：没有可验证器时，把 rubric 判分合成奖励的方式会不会让优化变成分数更高、回答更差。

这是把推理蒸馏写成最坏前缀约束 RL 的训练研究。作者关心最终答案奖励下的 reward hacking，以及序列平均软惩罚允许局部偏离被其他 token 补偿的问题。

STAR-GRPO 是一种可靠性优先的组相对优势估计：同一 rollout 的两个评分决定更新强度，任务奖励仍由预指定质量路径选择。

作者分析固定、不完美验证器下的 RLVR：验证器无假阴性，因而同时奖励正确回答和被接受错误，平均奖励只看总验收概率。

CREDO 把 RLVR 里的置信从“采样一个数字”改成“读一对保留 token 的相对概率”，并用可微回归和差异加权同时拉准确率与校准。。

Audit-First VAPO 把验证器条件下的策略更新拆成方向准入和准入后的非负幅度控制，并用冻结轨迹上的有限样本界认证 selected harmful risk、coverage 和二次验证调用率。不完美验证器即使幅度已被裁剪和正则限制，仍可能指向有害方向。仅观测的 accept–appeal–abstain 在干净标签接合前冻结。