提出包络采样，用少量真值标注重标定 LLM 评委以缓解奖励作弊
作者研究后训练前如何选择真值标注的查询分布，使重标定后的廉价代理更适合被优化。真奖励昂贵时，实践用 LLM judge 代替人类。若失准只发生在基座很少生成的输出上，on-policy 标注修不到这些点，随后的 KL 正则优化会把质量集中到被高估的输出。
提出 RubricArmor，用攻击–修复循环生成抗奖励作弊的评分准则
提出 PyINE 基准，训练捷径跟随模型并比较监督者
PyINE 是用可执行程序研究推理模型引出与监督的框架，PyINE-v1 是其第一次发布。
提出 MetaRubric，以证据感知奖励缓解评分标准强化学习的虚记分
MetaRubric 针对 rubric-based RL 里的空记分：评审在准则要求的信息或动作缺失时仍给高分。
提出 ProRubric，把加性评分聚合改为合取协议以抑制奖励作弊
Protocol-level Rubrics（ProRubric） 研究的是：没有可验证器时，把 rubric 判分合成奖励的方式会不会让优化变成分数更高、回答更差。
提出 STAR-GRPO，用成对可靠性约束抑制奖励作弊
STAR-GRPO 是一种可靠性优先的组相对优势估计：同一 rollout 的两个评分决定更新强度，任务奖励仍由预指定质量路径选择。
提出 RMB，以多样奖励模型 boosting 缓解 RLHF 奖励作弊
RMB 是一种奖励建模方法：用多样的代理奖励模型加 boosting 聚合，为 RLHF 提供更稳的奖励信号。。
提出 EvoRS，使开放式强化学习的奖励系统随策略在线演化
EvoRS 研究开放式 RL 中奖励系统如何在训练期间保持可靠。写作和角色扮演没有可直接验证的答案，策略一旦适应当前 rubric，奖励会出现黑客、漏掉新行为，以及同查询内更难区分。作者认为只动态改评价标准不够，打分机制和信号组合也会失效。
比较多种越狱评审器与人工标签的一致性
这项测量比较的是越狱成功怎样被自动判定，不提出新的攻击。。
提出 HackProbe，黑盒检测并免疫自演化中的奖励作弊
HackProbe 是挂在自演化循环上的黑盒监控器，用来发现奖励黑客并改选候选。
提出 SEAV，逐步核验越狱回复的事实与操作有效性
SEAV 是一层生成后的越狱评测：回复要相关、事实正确、顺序合规，并且在操作上足以推进有害意图，才算成功。。
提出常和辩论训练，减轻弱评审下 RLAIF 的奖励作弊
作者在可核对最终答案的数学题上，比较辩论式 RLAIF 与单人 RLAIF 的奖励黑客动态。
评测安全 LLM-judge 对新上下文与新政策的改判能力
作者度量的不是 judge 与某一套人工标签有多一致，而是它会不会吸收新 context、会不会改用另一套安全政策。
构建 Universal Verifier 核验计算机使用 Agent 轨迹
Universal Verifier 给计算机使用轨迹打过程分和结果分，并定位失败。CUAVerifierBench 用人工标签衡量这种验证器。
提出约束对抗搜索红队框架，系统发现模型多类鲁棒性漏洞