Another 305papers do not have category tags yet and are not included in filtered results.
提出包络采样，用少量真值标注重标定 LLM 评委以缓解奖励作弊
作者研究后训练前如何选择真值标注的查询分布，使重标定后的廉价代理更适合被优化。真奖励昂贵时，实践用 LLM judge 代替人类。若失准只发生在基座很少生成的输出上，on-policy 标注修不到这些点，随后的 KL 正则优化会把质量集中到被高估的输出。
提出 DFI 与 DFC 蒸馏，定罪隐瞒失配的教师或安全提取能力
Abstract概括了论文针对隐瞒失配模型提出的 DFI 与 DFC 机制、主实验发现及适用边界。
检验潜意识学习能否经无关数据蒸馏传递能力、后门与作弊
Abstract作者报告潜意识学习可传递新技能、后门与作弊倾向，且分布外泛化强于单层转向向量。
提出 comprehension audits，以人类理解证据作为继续研发门槛
本文是一份研发过程保障提案：用 comprehension audits 检验责任人是否理解 AI 参与产生的研发贡献，未达标就暂停后续开发与依赖该贡献的发布。。
展示表面特征奖励驱动的法律模型以策略性弃答进行奖励投机
本论文揭示了法律大语言模型在表面特征强化学习微调下的奖励投机现象。
检验认知偏差修辞能否偏转辩论监督中的人类裁决
提出 RubricArmor，用攻击–修复循环生成抗奖励作弊的评分准则
展示晶体生成强化学习利用奖励与社区指标作弊
提出 IDRF，为掩码离散扩散的少步奖励微调加入逆蒸馏正则
IDRF 是少步 masked discrete diffusion 的奖励微调框架：用去噪损失间隙代替不可计算的序列 KL，并在学生自己的采样轨迹上优化终端奖励。
论证人形机器人学习四层代理可在目标缺失时报成功
作者讨论腿式机器人 RL 流水线中，奖励、课程门控、评测统计量和参考运动如何在物理目标缺失时仍报告成功。传统观点只把奖励当作会被优化、因而会偏离的代理。
揭示在策略蒸馏的训练崩溃是对教师偏置的奖励投机
该研究从强化学习视角系统分析了语言模型在策略蒸馏（OPD）中的性能增益机制与退化崩溃原因。
提出 MetaRubric，以证据感知奖励缓解评分标准强化学习的虚记分
MetaRubric 针对 rubric-based RL 里的空记分：评审在准则要求的信息或动作缺失时仍给高分。
提出 FBS Debate 协议，使诚实为占优策略且最坏情况正确
FBS Debate 是一套可扩展监督的辩论规则：两名计算方争论一个可递归分解的是非问题，人类只在最后选出的子问题上做黑盒判断。要处理的缺口是，prover-estimator debate 虽能覆盖稳定分解，但只在输入分布的平均意义下成立，而且 Bob 的获胜策略一般要跟着 Alice 的作弊策略变。作者要在同一问题类上，让每个错误实例都能被抓住，并让诚实且正确成为双方的占优策略。
检验低监控读数能否证明代码生成中的奖励作弊已受控
本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。
提出 ProRubric，把加性评分聚合改为合取协议以抑制奖励作弊
Protocol-level Rubrics（ProRubric） 研究的是：没有可验证器时，把 rubric 判分合成奖励的方式会不会让优化变成分数更高、回答更差。
提出 worst-case Constrained RL，蒸馏时约束推理前缀偏离以抑制奖励作弊
这是把推理蒸馏写成最坏前缀约束 RL 的训练研究。作者关心最终答案奖励下的 reward hacking，以及序列平均软惩罚允许局部偏离被其他 token 补偿的问题。
提出 STAR-GRPO，用成对可靠性约束抑制奖励作弊
STAR-GRPO 是一种可靠性优先的组相对优势估计：同一 rollout 的两个评分决定更新强度，任务奖励仍由预指定质量路径选择。
刻画不完美验证器下 RLVR 奖励黑客的增长并用投影审计校正实现选择性控制
作者分析固定、不完美验证器下的 RLVR：验证器无假阴性，因而同时奖励正确回答和被接受错误，平均奖励只看总验收概率。
提出 Audit-First VAPO，在不完美验证下认证并选择性准入策略更新
Audit-First VAPO 把验证器条件下的策略更新拆成方向准入和准入后的非负幅度控制，并用冻结轨迹上的有限样本界认证 selected harmful risk、coverage 和二次验证调用率。不完美验证器即使幅度已被裁剪和正则限制，仍可能指向有害方向。仅观测的 accept–appeal–abstain 在干净标签接合前冻结。
提出 RMB，以多样奖励模型 boosting 缓解 RLHF 奖励作弊
RMB 是一种奖励建模方法：用多样的代理奖励模型加 boosting 聚合，为 RLHF 提供更稳的奖励信号。。