Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 35 papers Another 255 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出包络采样，用少量真值标注重标定 LLM 评委以缓解奖励作弊
Published Oct 8
Evaluated models Qwen3-4B , Qwen3.8-27B , Qwen2.5-14B-Instruct Abstract 包络采样把真值标注打到代理尾部，同样预算下缓解 reward hacking。作者研究后训练前如何选择真值标注的查询分布，使重标定后的廉价代理更适合被优化。真奖励昂贵时，实践用 LLM judge 代替人类。若失准只发生在基座很少生成的输出上，on-policy 标注修不到这些点，随后的 KL 正则优化会把质量集中到被高估的输出。
提出统一框架评测多模态大模型的遗忘方法
Published Oct 8
Evaluated models LLaVA-1.5-7B 提出 OrthoPurify，用正交投影清除视觉语言模型适配器中的劫持方向
Published Oct 7
Evaluated models LLaVA-1.5-7B , Qwen3-VL-8B , LLaVA-1.5-13B and others5 Abstract 一次投影去掉劫持方向。OrthoPurify 是部署前的 LVLM 后门净化方法，用一次正交投影去掉被劫持的权重更新方向。
提出 VeriFine，用双环协同扩展验证以实现具身推理自我改进
Published Oct 7
Evaluated models Alpamayo 1.5 8B , Qwen3-VL 2B , Claude Opus 5 Abstract VeriFine 用双环协同演化具身推理的策略、课程和评审，驾驶与导航的策略分和评审对齐都上升。VeriFine 把驾驶和导航推理的自改进写成策略、课程和无参考评审的协同演化，用来处理固定评审跟不上新失败模式的问题。
提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答
Published Oct 6
Evaluated models Llama-2-7B-chat-hf , Mistral-7B-Instruct-v0.3 , Gemma-7B-it and others4 Abstract 论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。
提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口
Published Oct 5
Evaluated models Claude Sonnet 4.6 , Gemini 3.5 Flash , Molmo2-8B and others5 Abstract 论文揭示了 VLM 定位安全落后于 VQA 的对齐断层，提出三成分微调方案有效弥合差距并保留定位能力，表征分析揭示了对齐机制。
提出 RubricArmor，用攻击–修复循环生成抗奖励作弊的评分准则
Published Oct 4
Evaluated models Qwen2.5-3B-Instruct , Qwen2.5-7B-Instruct , Qwen3-4B and others8 提出 Perturbot 扰动训练，打破 VLA 的模态捷径
Published Oct 3
Evaluated models π0.5 Abstract Perturbot 改训练数据以削弱三类模态捷径，GroundFscore 用来看成功是否来自任务证据。Perturbot 是一套不改推理的 VLA 训练期数据干预，用来削弱模态捷径，并用离线分数区分“任务变好”和“靠捷径变好”。
提出 SecJev，用场景加权训练把决策模型适配为安全类型化判断
Published Oct 2
Evaluated models SecJev-0.8B , SecJev-2B , SecJev-4B and others4 Abstract SecJev 用共享打分器做安全决策，0.8B 的 task-macro 超过 Kev-9B。SecJev 是 0.8B 到 9B 的安全决策模型族，作者称据其所知是首个面向安全的 Jev-like 家族。
提出 MetaRubric，以证据感知奖励缓解评分标准强化学习的虚记分
Published Oct 2
Evaluated models Qwen3-4B , Qwen3-8B , Qwen3-VL and others5 Abstract MetaRubric 用证据约束并在训练中改 rubric，医学基准上相对静态 GRPO 有提高。MetaRubric 针对 rubric-based RL 里的空记分：评审在准则要求的信息或动作缺失时仍给高分。
提出 LineupRL，用描述到序列识别作可验证奖励训练时序描述模型
Published Oct 1 Abstract LineupRL 用统计近邻上的序列识别做可验证奖励，3B 描述器超过 SFT、两种 RL 奖励和 72B 教师。LineupRL 是给开放式时间序列描述用的 RLVR：不模仿合成参考，而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。
提出 ProRubric，把加性评分聚合改为合取协议以抑制奖励作弊
Published Sep 30
Evaluated models Qwen3-4B , Qwen3-8B Abstract ProRubric 用离线合取维度替换加性求和，在继续学习时抬高适当性且不损失覆盖率。Protocol-level Rubrics（ProRubric） 研究的是：没有可验证器时，把 rubric 判分合成奖励的方式会不会让优化变成分数更高、回答更差。
提出 Intent-Privilege OPSD，对齐视觉语言模型在隐式风险下的安全与帮助性
Published Sep 29
Evaluated models Qwen3-VL-4B-Instruct , LLaVA , LLaVA-1.5-7B and others4 Abstract 作者报告训练期证据化意图蒸馏兼顾安全与帮助性，效果受标注质量和评测设置影响。Intent-Privilege OPSD 是针对跨模态隐式风险的训练期安全—帮助性对齐方法。 作者关注的不是直接拒绝敏感请求，而是按可观察图文证据保留正常帮助、约束有害信息。
提出 STAR-GRPO，用成对可靠性约束抑制奖励作弊
Published Sep 29
Evaluated models Llama-3.2-1B-Instruct , Qwen3-4B Abstract STAR-GRPO 用成对可靠性约束 GRPO 优势，在两种奖励黑客设定中限制无支撑分数。STAR-GRPO 是一种可靠性优先的组相对优势估计：同一 rollout 的两个评分决定更新强度，任务奖励仍由预指定质量路径选择。
提出 TIPS，用仅结果奖励诱导生成式过程监督
Published Sep 29
Evaluated models Qwen3-4B-Thinking-2507 , Qwen3-4B-Instruct-2507 , Qwen3-8B-Thinking and others8 Abstract 结果监督的 GRPO 可诱导步骤验证。TIPS 用只含结果对错的强化学习训练生成式奖励模型，让步骤级验证出现在思维链里。
提出 IDUnlearn-Bench，评测 VLM 个体级遗忘后的身份残留
Published Sep 27
Evaluated models Qwen3-VL-2B , Qwen3-VL-4B , Qwen3-VL-8B and others6 Abstract IDUnlearn-Bench 用四族探针显示：压低直接属性访问后，身份仍常能被反向查出、绑定或重构。IDUnlearn-Bench 评测 VLM 是否忘掉一个可跨模态识别的人，而不只是答不出某条监督事实。
提出 RMB，以多样奖励模型 boosting 缓解 RLHF 奖励作弊
Published Sep 27
Evaluated models Gemma-2B-IT Abstract RMB 用 HSIC 多样奖励模型加决策树 boosting，提高偏好准确率并缓解 reward hacking。RMB 是一种奖励建模方法：用多样的代理奖励模型加 boosting 聚合，为 RLHF 提供更稳的奖励信号。 。
用门控 IoU 与 RadGraph 的 GRPO 降低胸片报告幻觉
Published Sep 26
Evaluated models Qwen3-VL-8B-GRPO 提出 TAME，在强化学习中抑制模板激活以缓解思维链混淆
Published Sep 21
Evaluated models Qwen3-VL-8B , Gemma-3-12B-it 提出 QPriv-VL，用问题引导剪枝降低分布式视觉问答的隐私泄露
Published Sep 14
Evaluated models LLaVA-1.5-7B , Llama-2 Abstract QPriv-VL 在切层前按问题相关度与 DINOv2 敏感度剪视觉 token，作者称能在约四成 token 下兼顾准确率与四类攻击。QPriv-VL 把问题引导的视觉 token 剪枝做成分布式 VQA 的客户端隐私防御，而不是只做集中式推理加速。