Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 20 papers Another 233 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出包络采样，用少量真值标注重标定 LLM 评委以缓解奖励作弊
Published Oct 8
Evaluated models Qwen3-4B , Qwen3.8-27B , Qwen2.5-14B-Instruct Abstract 包络采样把真值标注打到代理尾部，同样预算下缓解 reward hacking。作者研究后训练前如何选择真值标注的查询分布，使重标定后的廉价代理更适合被优化。真奖励昂贵时，实践用 LLM judge 代替人类。若失准只发生在基座很少生成的输出上，on-policy 标注修不到这些点，随后的 KL 正则优化会把质量集中到被高估的输出。
提出 VeriFine，用双环协同扩展验证以实现具身推理自我改进
Published Oct 7
Evaluated models Alpamayo 1.5 8B , Qwen3-VL 2B , Claude Opus 5 Abstract VeriFine 用双环协同演化具身推理的策略、课程和评审，驾驶与导航的策略分和评审对齐都上升。VeriFine 把驾驶和导航推理的自改进写成策略、课程和无参考评审的协同演化，用来处理固定评审跟不上新失败模式的问题。
提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答
Published Oct 6
Evaluated models Llama-2-7B-chat-hf , Mistral-7B-Instruct-v0.3 , Gemma-7B-it and others4 Abstract 论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。
提出 RubricArmor，用攻击–修复循环生成抗奖励作弊的评分准则
Published Oct 4
Evaluated models Qwen2.5-3B-Instruct , Qwen2.5-7B-Instruct , Qwen3-4B and others8 提出 SecJev，用场景加权训练把决策模型适配为安全类型化判断
Published Oct 2
Evaluated models SecJev-0.8B , SecJev-2B , SecJev-4B and others4 Abstract SecJev 用共享打分器做安全决策，0.8B 的 task-macro 超过 Kev-9B。SecJev 是 0.8B 到 9B 的安全决策模型族，作者称据其所知是首个面向安全的 Jev-like 家族。
提出 MetaRubric，以证据感知奖励缓解评分标准强化学习的虚记分
Published Oct 2
Evaluated models Qwen3-4B , Qwen3-8B , Qwen3-VL and others5 Abstract MetaRubric 用证据约束并在训练中改 rubric，医学基准上相对静态 GRPO 有提高。MetaRubric 针对 rubric-based RL 里的空记分：评审在准则要求的信息或动作缺失时仍给高分。
提出 ProRubric，把加性评分聚合改为合取协议以抑制奖励作弊
Published Sep 30
Evaluated models Qwen3-4B , Qwen3-8B Abstract ProRubric 用离线合取维度替换加性求和，在继续学习时抬高适当性且不损失覆盖率。Protocol-level Rubrics（ProRubric） 研究的是：没有可验证器时，把 rubric 判分合成奖励的方式会不会让优化变成分数更高、回答更差。
提出 STAR-GRPO，用成对可靠性约束抑制奖励作弊
Published Sep 29
Evaluated models Llama-3.2-1B-Instruct , Qwen3-4B Abstract STAR-GRPO 用成对可靠性约束 GRPO 优势，在两种奖励黑客设定中限制无支撑分数。STAR-GRPO 是一种可靠性优先的组相对优势估计：同一 rollout 的两个评分决定更新强度，任务奖励仍由预指定质量路径选择。
提出 TIPS，用仅结果奖励诱导生成式过程监督
Published Sep 29
Evaluated models Qwen3-4B-Thinking-2507 , Qwen3-4B-Instruct-2507 , Qwen3-8B-Thinking and others8 Abstract 结果监督的 GRPO 可诱导步骤验证。TIPS 用只含结果对错的强化学习训练生成式奖励模型，让步骤级验证出现在思维链里。
提出 RMB，以多样奖励模型 boosting 缓解 RLHF 奖励作弊
Published Sep 27
Evaluated models Gemma-2B-IT Abstract RMB 用 HSIC 多样奖励模型加决策树 boosting，提高偏好准确率并缓解 reward hacking。RMB 是一种奖励建模方法：用多样的代理奖励模型加 boosting 聚合，为 RLHF 提供更稳的奖励信号。 。
提出 EvoRS，使开放式强化学习的奖励系统随策略在线演化
Published Sep 11
Evaluated models Qwen3-4B , Qwen3-8B Abstract EvoRS 用 on-policy 证据演化完整奖励系统，在写作和角色扮演上同时提高质量并降低黑客与覆盖失败。EvoRS 研究开放式 RL 中奖励系统如何在训练期间保持可靠。写作和角色扮演没有可直接验证的答案，策略一旦适应当前 rubric，奖励会出现黑客、漏掉新行为，以及同查询内更难区分。作者认为只动态改评价标准不够，打分机制和信号组合也会失效。
提出 HackProbe，黑盒检测并免疫自演化中的奖励作弊
Published Sep 4 Abstract 黑盒探针检测自演化奖励黑客，并以带宽受限重选回收真实能力。HackProbe 是挂在自演化循环上的黑盒监控器，用来发现奖励黑客并改选候选。
提出 VA-Judger，用人类偏好训练联合音视频奖励模型
Published Aug 19
Evaluated models VA-Judger , LTX-2 + VA-Judger Abstract VA-Judger 用易到难的人类偏好学习做联合音视频奖励，并用于 LTX-2 后训练。VA-Judger 是面向联合音视频生成的思维链全模态奖励模型，用来替代由分维度专家指标拼成的强化学习奖励。
提出常和辩论训练，减轻弱评审下 RLAIF 的奖励作弊
Published Aug 18
Evaluated models Gemini 2.5 Flash-class , Gemini 2.5 Flash Abstract 辩论式 RL 在数学题上维持弱评审的 MCC，验证峰值准确率高于单人基线并更持久。作者在可核对最终答案的数学题上，比较辩论式 RLAIF 与单人 RLAIF 的奖励黑客动态。
提出 SPARED，用对抗编辑数据训练基于推理的 AI 生成图像检测器
Published Aug 13
Evaluated models Qwen3.5-9B Abstract SPARED 用防捷径的编辑对抗环训练 9B 推理检测器。SPARED 是一套用于可解释 AI 生成图像检测的攻防强化学习流程，报告模型是 Qwen3.5-9B 上的第三轮防御器。
提出 CHERRL 注入裁判偏差以复现奖励作弊，并用 RHDA 检测训练起点
Published Jun 3
Evaluated models Qwen3-4B , Qwen3.5-plus , Qwen3.5-397B-A17B and others4 Abstract CHERRL 注入已知偏差以观察奖励黑客，并用于分析偏差和评测起点检测器 RHDA。CHERRL 是 rubric-based RL 的可控环境，用来复现奖励黑客、观察奖励分歧，并给检测器提供起点参照。
Propose a structured JSON backdoor that triggers malicious actions in robot control via a poisoned LoRA
Published Apr 5
Evaluated models Llama-3.1-8B-Instruct , Gemma-2-9B-IT , DeepSeek-R1-Distill-Llama-8B and others4 提出 ARA，读取奖励模型激活并门控 RLHF 奖励以缓解奖励作弊
Published Feb 2
Evaluated models Llama-2-7B , Llama-3.1-8B , Qwen-2.5-7B Abstract ARA 用奖励模型内部表示检出利用，并在 RLHF 里按 Auditor 概率压低代理奖励。ARA 是一套两阶段的 RLHF 审计：先对冻结奖励模型找出利用回复，再在策略优化时按检出概率压低奖励。
提出三类攻击，训练前扰动奖励模型以劫持离线 bandit
Published Feb 2
Evaluated models Image Reward , Aesthetic Model Abstract 公开奖励权重可被小扰动劫持离线 bandit，打乱日志只部分缓解。作者研究离线 bandit 在奖励模型被事先改权重时，还会不会选出最优臂。
Attacks arXiv 2510.02833 · Oct 3, 2025 提出两阶段良性微调攻击，经 FaaS 用良性数据解除安全对齐
Published Oct 3, 2025
Evaluated models Llama2-7b-chat-hf , Llama3-8b-instruct , Deepseek-R1-Distill-Llama3-8b and others10 You have reached the end