Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 24 papers Another 265 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出包络采样，用少量真值标注重标定 LLM 评委以缓解奖励作弊
Published Oct 8
Evaluated models Qwen3-4B , Qwen3.8-27B , Qwen2.5-14B-Instruct Abstract 包络采样把真值标注打到代理尾部，同样预算下缓解 reward hacking。作者研究后训练前如何选择真值标注的查询分布，使重标定后的廉价代理更适合被优化。真奖励昂贵时，实践用 LLM judge 代替人类。若失准只发生在基座很少生成的输出上，on-policy 标注修不到这些点，随后的 KL 正则优化会把质量集中到被高估的输出。
提出人格层级模型并设计 PPR 抑制奖励作弊的跨上下文泛化
Published Oct 7
Evaluated models Qwen3-4B , Llama-3.1-8B-Instruct Abstract 提出人格层级模型揭示微调跨上下文泛化规律，报告角色距离正相关性，通过 PPR 抑制 RL 作弊。
提出 RubricArmor，用攻击–修复循环生成抗奖励作弊的评分准则
Published Oct 4
Evaluated models Qwen2.5-3B-Instruct , Qwen2.5-7B-Instruct , Qwen3-4B and others8 提出 R-Quest，用有效性与新颖性反馈维持推理模型自我进化
Published Oct 3
Evaluated models Qwen3-4B-Base , OctoThinker-3B-Hybrid-Base Abstract R-Quest 用有效性与新颖性反馈维持自进化。R-Quest 处理的是推理模型自进化中的题目质量：questioner 与 solver 用 GRPO 交替从自生成题目学习时，多轮之后平均成绩会下降。
提出 IDRF，为掩码离散扩散的少步奖励微调加入逆蒸馏正则
Published Oct 3 Abstract IDRF 用 inverse distillation 正则少步奖励微调，在 DNA、图像和文本上减轻 reward hacking。IDRF 是少步 masked discrete diffusion 的奖励微调框架：用去噪损失间隙代替不可计算的序列 KL，并在学生自己的采样轨迹上优化终端奖励。
组合偏好奖励与评分标准奖励后训练文生图模型以抑制奖励作弊
Published Oct 2
Evaluated models FLUX.2-dev , Ideogram-4 Abstract 组合奖励后训练 FLUX.2-dev 与 Ideogram-4，并报告高于基座的胜率与 Elo。作者给出一套开放域文生图后训练配方：把人类偏好奖励和 prompt 条件的 rubric 奖励合在一起，而不是换一个新优化器。问题是单一奖励盖不住用户意图。偏好模型能看整体观感，但对“是否实现每个要求”这类稀疏属性不敏感。
提出 MetaRubric，以证据感知奖励缓解评分标准强化学习的虚记分
Published Oct 2
Evaluated models Qwen3-4B , Qwen3-8B , Qwen3-VL and others5 Abstract MetaRubric 用证据约束并在训练中改 rubric，医学基准上相对静态 GRPO 有提高。MetaRubric 针对 rubric-based RL 里的空记分：评审在准则要求的信息或动作缺失时仍给高分。
提出 LineupRL，用描述到序列识别作可验证奖励训练时序描述模型
Published Oct 1 Abstract LineupRL 用统计近邻上的序列识别做可验证奖励，3B 描述器超过 SFT、两种 RL 奖励和 72B 教师。LineupRL 是给开放式时间序列描述用的 RLVR：不模仿合成参考，而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。
提出 ProRubric，把加性评分聚合改为合取协议以抑制奖励作弊
Published Sep 30
Evaluated models Qwen3-4B , Qwen3-8B Abstract ProRubric 用离线合取维度替换加性求和，在继续学习时抬高适当性且不损失覆盖率。Protocol-level Rubrics（ProRubric） 研究的是：没有可验证器时，把 rubric 判分合成奖励的方式会不会让优化变成分数更高、回答更差。
提出 worst-case Constrained RL，蒸馏时约束推理前缀偏离以抑制奖励作弊
Published Sep 29
Evaluated models Qwen2.5-1.5B , Llama-3.2-3B , Qwen2.5-Coder-0.5B Abstract 作者提出前缀约束蒸馏。这是把推理蒸馏写成最坏前缀约束 RL 的训练研究。 作者关心最终答案奖励下的 reward hacking，以及序列平均软惩罚允许局部偏离被其他 token 补偿的问题。
提出 STAR-GRPO，用成对可靠性约束抑制奖励作弊
Published Sep 29
Evaluated models Llama-3.2-1B-Instruct , Qwen3-4B Abstract STAR-GRPO 用成对可靠性约束 GRPO 优势，在两种奖励黑客设定中限制无支撑分数。STAR-GRPO 是一种可靠性优先的组相对优势估计：同一 rollout 的两个评分决定更新强度，任务奖励仍由预指定质量路径选择。
刻画不完美验证器下 RLVR 奖励黑客的增长并用投影审计校正实现选择性控制
Published Sep 29
Evaluated models log linear policy , neural policy , Qwen2-0.5B Abstract 固定验证器的 RLVR 会把验收与黑客绑在一起。作者分析固定、不完美验证器下的 RLVR：验证器无假阴性，因而同时奖励正确回答和被接受错误，平均奖励只看总验收概率。
提出 RMB，以多样奖励模型 boosting 缓解 RLHF 奖励作弊
Published Sep 27
Evaluated models Gemma-2B-IT Abstract RMB 用 HSIC 多样奖励模型加决策树 boosting，提高偏好准确率并缓解 reward hacking。RMB 是一种奖励建模方法：用多样的代理奖励模型加 boosting 聚合，为 RLHF 提供更稳的奖励信号。 。
B IAS R EDUCER 只改奖励头，按数据集选择属性编辑。
Published Sep 26
Evaluated models Skywork-Reward-V2-Qwen3-1.7B , GRM-Llama3.2-3B-rewardmodel-ft , RM-Mistral-7B and others7 Abstract BIASREDUCER 按数据集选择奖励头编辑，五模型三基准平均提升并迁移到下游训练。BIASREDUCER 是一种只改线性奖励头的奖励模型编辑框架，用来降低模型对预定义表面属性的依赖，并按新数据集决定改哪些属性。
提出 DCRL，共演化策略与奖励模型以缓解推理强化学习中的奖励失配
Published Sep 23
Evaluated models DCRL-4B Abstract DCRL 共演化策略与奖励。DCRL 是面向大语言模型推理后训练的强化学习框架，用来处理规则奖励和静态奖励模型跟不上策略的问题。
提出实例感知量表奖励 RULER，用 GRPO 优化开放式 SVG 生成
Published Sep 22
Evaluated models RULER , RULER-4B , RULER-8B Abstract 实例量表奖励把 8B SVG 策略的通用 Rubric 提升到与 DeepSeek-V3 接近。RULER 用按指令定制的量表奖励，在没有配对 SVG 真值的条件下做开放式矢量图强化学习。
提出价值引导偏好蒸馏，对齐稀疏长期用户结果并避免奖励投机
Published Sep 14
Evaluated models Llama-3.3-70B-Instruct , 内部微调模型（基座与规模未披露） Abstract 稠密行为头支撑稀疏留存的优化，参考锚定蒸馏在线上提高留存与部分治疗过程标记。Value-Guided Preference Distillation 把多轮心理健康对话的对齐，从轮级偏好改成对多视野用户行为向量的多目标优化，再蒸馏进可部署策略。
Published Sep 11
Evaluated models Qwen2.5-0.5B-Instruct , Qwen2.5-1.5B-Instruct Abstract 用非参数偏好密度替代奖励模型，GRPO+DPO 把 1.5B 对齐到对话式均衡。Direct Preference Density Alignment 用人群反馈的非参数密度面替代学得奖励模型，把小参数 LLM 对齐到对话式音频均衡。
提出 EvoRS，使开放式强化学习的奖励系统随策略在线演化
Published Sep 11
Evaluated models Qwen3-4B , Qwen3-8B Abstract EvoRS 用 on-policy 证据演化完整奖励系统，在写作和角色扮演上同时提高质量并降低黑客与覆盖失败。EvoRS 研究开放式 RL 中奖励系统如何在训练期间保持可靠。写作和角色扮演没有可直接验证的答案，策略一旦适应当前 rubric，奖励会出现黑客、漏掉新行为，以及同查询内更难区分。作者认为只动态改评价标准不够，打分机制和信号组合也会失效。
提出 HackProbe，黑盒检测并免疫自演化中的奖励作弊
Published Sep 4 Abstract 黑盒探针检测自演化奖励黑客，并以带宽受限重选回收真实能力。HackProbe 是挂在自演化循环上的黑盒监控器，用来发现奖励黑客并改选候选。