Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 18 papers Another 305 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
演化可检查评分器并与自改进 Agent 共同演化，抑制奖励作弊
Published Oct 8
Evaluated models Claude Opus 4.7 Abstract 十项锚点演化可检查评分器。开放任务没有验证器时，被演化的是评分器，而不是再补一条手写 rubric。
提出包络采样，用少量真值标注重标定 LLM 评委以缓解奖励作弊
Published Oct 8
Evaluated models Qwen3-4B , Qwen3.8-27B , Qwen2.5-14B-Instruct Abstract 包络采样把真值标注打到代理尾部，同样预算下缓解 reward hacking。作者研究后训练前如何选择真值标注的查询分布，使重标定后的廉价代理更适合被优化。真奖励昂贵时，实践用 LLM judge 代替人类。若失准只发生在基座很少生成的输出上，on-policy 标注修不到这些点，随后的 KL 正则优化会把质量集中到被高估的输出。
构建统一奖励作弊检测基准 RH-Detect 并评测零样本检测器
Published Oct 8
Evaluated models Qwen 3.5 Flash , Gemini 3.1 Flash Lite , Grok 4.1 Fast and others7 提出 VeriFine，用双环协同扩展验证以实现具身推理自我改进
Published Oct 7
Evaluated models Alpamayo 1.5 8B , Qwen3-VL 2B , Claude Opus 5 Abstract VeriFine 用双环协同演化具身推理的策略、课程和评审，驾驶与导航的策略分和评审对齐都上升。VeriFine 把驾驶和导航推理的自改进写成策略、课程和无参考评审的协同演化，用来处理固定评审跟不上新失败模式的问题。
提出 RubricArmor，用攻击–修复循环生成抗奖励作弊的评分准则
Published Oct 4
Evaluated models Qwen2.5-3B-Instruct , Qwen2.5-7B-Instruct , Qwen3-4B and others8 提出 MetaRubric，以证据感知奖励缓解评分标准强化学习的虚记分
Published Oct 2
Evaluated models Qwen3-4B , Qwen3-8B , Qwen3-VL and others5 Abstract MetaRubric 用证据约束并在训练中改 rubric，医学基准上相对静态 GRPO 有提高。MetaRubric 针对 rubric-based RL 里的空记分：评审在准则要求的信息或动作缺失时仍给高分。
提出 ProRubric，把加性评分聚合改为合取协议以抑制奖励作弊
Published Sep 30
Evaluated models Qwen3-4B , Qwen3-8B Abstract ProRubric 用离线合取维度替换加性求和，在继续学习时抬高适当性且不损失覆盖率。Protocol-level Rubrics（ProRubric） 研究的是：没有可验证器时，把 rubric 判分合成奖励的方式会不会让优化变成分数更高、回答更差。
提出 STAR-GRPO，用成对可靠性约束抑制奖励作弊
Published Sep 29
Evaluated models Llama-3.2-1B-Instruct , Qwen3-4B Abstract STAR-GRPO 用成对可靠性约束 GRPO 优势，在两种奖励黑客设定中限制无支撑分数。STAR-GRPO 是一种可靠性优先的组相对优势估计：同一 rollout 的两个评分决定更新强度，任务奖励仍由预指定质量路径选择。
审计 Agent 基准通过轨迹，区分无根据通过与奖励黑客并封堵复测
Published Sep 28
Evaluated models Opus 4.7 , Opus 4.8 , Opus 5 and others11 Abstract 审计通过轨迹、分开奖励黑客与验证器弱点，并用重放加现场重测验收修复。Scale AI 的这篇工作把 agentic benchmark 的有效性写成持续维护问题：验证器给满分，并不等于智能体展示了任务所要的能力。
提出 RMB，以多样奖励模型 boosting 缓解 RLHF 奖励作弊
Published Sep 27
Evaluated models Gemma-2B-IT Abstract RMB 用 HSIC 多样奖励模型加决策树 boosting，提高偏好准确率并缓解 reward hacking。RMB 是一种奖励建模方法：用多样的代理奖励模型加 boosting 聚合，为 RLHF 提供更稳的奖励信号。 。
B IAS R EDUCER 只改奖励头，按数据集选择属性编辑。
Published Sep 26
Evaluated models Skywork-Reward-V2-Qwen3-1.7B , GRM-Llama3.2-3B-rewardmodel-ft , RM-Mistral-7B and others7 Abstract BIASREDUCER 按数据集选择奖励头编辑，五模型三基准平均提升并迁移到下游训练。BIASREDUCER 是一种只改线性奖励头的奖励模型编辑框架，用来降低模型对预定义表面属性的依赖，并按新数据集决定改哪些属性。
提出 EvoRS，使开放式强化学习的奖励系统随策略在线演化
Published Sep 11
Evaluated models Qwen3-4B , Qwen3-8B Abstract EvoRS 用 on-policy 证据演化完整奖励系统，在写作和角色扮演上同时提高质量并降低黑客与覆盖失败。EvoRS 研究开放式 RL 中奖励系统如何在训练期间保持可靠。写作和角色扮演没有可直接验证的答案，策略一旦适应当前 rubric，奖励会出现黑客、漏掉新行为，以及同查询内更难区分。作者认为只动态改评价标准不够，打分机制和信号组合也会失效。
提出 HackProbe，黑盒检测并免疫自演化中的奖励作弊
Published Sep 4 Abstract 黑盒探针检测自演化奖励黑客，并以带宽受限重选回收真实能力。HackProbe 是挂在自演化循环上的黑盒监控器，用来发现奖励黑客并改选候选。
提出 VA-Judger，用人类偏好训练联合音视频奖励模型
Published Aug 19
Evaluated models VA-Judger , LTX-2 + VA-Judger Abstract VA-Judger 用易到难的人类偏好学习做联合音视频奖励，并用于 LTX-2 后训练。VA-Judger 是面向联合音视频生成的思维链全模态奖励模型，用来替代由分维度专家指标拼成的强化学习奖励。
提出常和辩论训练，减轻弱评审下 RLAIF 的奖励作弊
Published Aug 18
Evaluated models Gemini 2.5 Flash-class , Gemini 2.5 Flash Abstract 辩论式 RL 在数学题上维持弱评审的 MCC，验证峰值准确率高于单人基线并更持久。作者在可核对最终答案的数学题上，比较辩论式 RLAIF 与单人 RLAIF 的奖励黑客动态。
提出 CHERRL 注入裁判偏差以复现奖励作弊，并用 RHDA 检测训练起点
Published Jun 3
Evaluated models Qwen3-4B , Qwen3.5-plus , Qwen3.5-397B-A17B and others4 Abstract CHERRL 注入已知偏差以观察奖励黑客，并用于分析偏差和评测起点检测器 RHDA。CHERRL 是 rubric-based RL 的可控环境，用来复现奖励黑客、观察奖励分歧，并给检测器提供起点参照。
提出 ARA，读取奖励模型激活并门控 RLHF 奖励以缓解奖励作弊
Published Feb 2
Evaluated models Llama-2-7B , Llama-3.1-8B , Qwen-2.5-7B Abstract ARA 用奖励模型内部表示检出利用，并在 RLHF 里按 Auditor 概率压低代理奖励。ARA 是一套两阶段的 RLHF 审计：先对冻结奖励模型找出利用回复，再在策略优化时按检出概率压低奖励。
提出约束对抗搜索红队框架，系统发现模型多类鲁棒性漏洞
Published Dec 22, 2025
Evaluated models GPT-OSS-20B , LLaMA-2-13B , Claude-2 You have reached the end