全部论文

开放任务没有验证器时，被演化的是评分器，而不是再补一条手写 rubric。

作者研究后训练前如何选择真值标注的查询分布，使重标定后的廉价代理更适合被优化。真奖励昂贵时，实践用 LLM judge 代替人类。若失准只发生在基座很少生成的输出上，on-policy 标注修不到这些点，随后的 KL 正则优化会把质量集中到被高估的输出。

MetaRubric 针对 rubric-based RL 里的空记分：评审在准则要求的信息或动作缺失时仍给高分。

Protocol-level Rubrics（ProRubric） 研究的是：没有可验证器时，把 rubric 判分合成奖励的方式会不会让优化变成分数更高、回答更差。

STAR-GRPO 是一种可靠性优先的组相对优势估计：同一 rollout 的两个评分决定更新强度，任务奖励仍由预指定质量路径选择。

Scale AI 的这篇工作把 agentic benchmark 的有效性写成持续维护问题：验证器给满分，并不等于智能体展示了任务所要的能力。

RMB 是一种奖励建模方法：用多样的代理奖励模型加 boosting 聚合，为 RLHF 提供更稳的奖励信号。。

这篇工作研究标注重叠很稀时，怎样验证 LLM judge 是否足以替代人类，并规划重叠该留多少、怎么分配。。部署前的标准做法是在校准集上比较 judge 与人类的一致性。

EvoRS 研究开放式 RL 中奖励系统如何在训练期间保持可靠。写作和角色扮演没有可直接验证的答案，策略一旦适应当前 rubric，奖励会出现黑客、漏掉新行为，以及同查询内更难区分。作者认为只动态改评价标准不够，打分机制和信号组合也会失效。

HackProbe 是挂在自演化循环上的黑盒监控器，用来发现奖励黑客并改选候选。

作者在可核对最终答案的数学题上，比较辩论式 RLAIF 与单人 RLAIF 的奖励黑客动态。

本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。

Universal Verifier 给计算机使用轨迹打过程分和结果分，并定位失败。CUAVerifierBench 用人工标签衡量这种验证器。