Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 21 papers Another 248 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
Proposes the Cancerous backdoor, which progressively corrupts reasoning using invisible stage tokens.
Published Oct 9
Evaluated models Llama-3.1-8B-Instruct , Qwen2.5-7B-Instruct , Mistral-7B-Instruct-v0.3 Abstract Hidden tokens plus a stage controller make the backdoor progressively corrupt reasoning upon triggering, and the authors believe that looking only at the answer will miss it.Cancerous Backdoor Attack changes LLM backdoors from one-time activation to multi-stage reasoning corruption that accumulates progressively with triggers.
提出 RL-ARC，用推理置信度在强化学习中校准推理模型
Published Oct 8
Evaluated models Qwen2.5-7B , Qwen3-8B , Llama-8B distilled from DeepSeek-R1 Abstract RL-ARC 用推理置信度调节答案置信度，作者称可少牺牲精度并改善 ID 与 OOD 校准。RL-ARC 是校准感知的强化学习框架，用推理过程的口头置信度调节答案置信度。
提出 VeriFine，用双环协同扩展验证以实现具身推理自我改进
Published Oct 7
Evaluated models Alpamayo 1.5 8B , Qwen3-VL 2B , Claude Opus 5 Abstract VeriFine 用双环协同演化具身推理的策略、课程和评审，驾驶与导航的策略分和评审对齐都上升。VeriFine 把驾驶和导航推理的自改进写成策略、课程和无参考评审的协同演化，用来处理固定评审跟不上新失败模式的问题。
证明短开头词可唤醒基模型推理，且效应来自训练数据
Published Oct 6
Evaluated models Olmo-3-7B , Olmo-3-32B , Qwen3-4B and others10 证明 RLVR 后训练允许无界语言漂移且限制漂移必限制奖励
Published Oct 2
Evaluated models gemma-3-1b-pt , Llama-3.2-1B , Qwen2.5-1.5B Abstract 论文证明并验证了 RLVR 在新任务上必然诱发独特的语言漂移，揭示了前沿推理模型可监控性的安全隐患。论文从理论与实验两方面研究了大语言模型在 RLVR 后训练过程中思维链出现的语言漂移现象。
检验低监控读数能否证明代码生成中的奖励作弊已受控
Published Oct 2
Evaluated models Llama-3.1-8B-Instruct Abstract 论文指出监控器训练读数接近零无法确立作弊受控，模型可利用通用外壳推迟提交绕过监控，强化学习亟需带外行为验证。本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。
提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解
Published Sep 30
Evaluated models DeepSeek-R1-Distill-Qwen-32B , QwQ-32B Abstract 论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。
用持续更新的探针做微调，降低有害性并保持线性可监测性
Published Sep 30
Evaluated models Mistral 7B Instruct v0.1 , Llama 3 8B Instruct Abliterated , Qwen3-14B Abstract 持续重拟合的探针可降低有害性、提高诚实性，训练后概念仍能被线性探针读出。Probe-guided fine-tuning 把探针分数当作唯一对齐信号，用来推动 harmlessness 与 honesty，并检查训练后这些概念是否仍线性可读。
提出 worst-case Constrained RL，蒸馏时约束推理前缀偏离以抑制奖励作弊
Published Sep 29
Evaluated models Qwen2.5-1.5B , Llama-3.2-3B , Qwen2.5-Coder-0.5B Abstract 作者提出前缀约束蒸馏。这是把推理蒸馏写成最坏前缀约束 RL 的训练研究。 作者关心最终答案奖励下的 reward hacking，以及序列平均软惩罚允许局部偏离被其他 token 补偿的问题。
提出 ACTR，只更新安全思考神经元以对齐推理与回答的安全类别
Published Sep 29
Evaluated models Qwen3-8B , Gemma4-12B-it 提出 TIPS，用仅结果奖励诱导生成式过程监督
Published Sep 29
Evaluated models Qwen3-4B-Thinking-2507 , Qwen3-4B-Instruct-2507 , Qwen3-8B-Thinking and others8 Abstract 结果监督的 GRPO 可诱导步骤验证。TIPS 用只含结果对错的强化学习训练生成式奖励模型，让步骤级验证出现在思维链里。
提出用 API 推理摘要重建轨迹再蒸馏加强化学习，攻破蒸馏防御
Published Sep 29
Evaluated models Qwen2.5-0.5B , Qwen2.5-1.5B , Qwen2.5-3B and others12 Abstract 更现实的蒸馏攻击是蒸馏后再 RL。这篇工作修订蒸馏攻击的威胁模型：攻击者经合法 API 收集闭源推理数据，先蒸馏自有模型，再做强化学习。作者认为只在蒸馏后评估防御，会漏掉后续 RL，从而高估防御。
提出 EOPSA，用 TRR 截断与安全类过滤做在策略自蒸馏安全对齐
Published Sep 28
Evaluated models Qwen3-1.7B , Qwen3-4B , Qwen3-14B and others5 用门控 IoU 与 RadGraph 的 GRPO 降低胸片报告幻觉
Published Sep 26
Evaluated models Qwen3-VL-8B-GRPO 提出 TAME，在强化学习中抑制模板激活以缓解思维链混淆
Published Sep 21
Evaluated models Qwen3-VL-8B , Gemma-3-12B-it 提出 HackProbe，黑盒检测并免疫自演化中的奖励作弊
Published Sep 4 Abstract 黑盒探针检测自演化奖励黑客，并以带宽受限重选回收真实能力。HackProbe 是挂在自演化循环上的黑盒监控器，用来发现奖励黑客并改选候选。
提出 SPARED，用对抗编辑数据训练基于推理的 AI 生成图像检测器
Published Aug 13
Evaluated models Qwen3.5-9B Abstract SPARED 用防捷径的编辑对抗环训练 9B 推理检测器。SPARED 是一套用于可解释 AI 生成图像检测的攻防强化学习流程，报告模型是 Qwen3.5-9B 上的第三轮防御器。
提出 CHERRL 注入裁判偏差以复现奖励作弊，并用 RHDA 检测训练起点
Published Jun 3
Evaluated models Qwen3-4B , Qwen3.5-plus , Qwen3.5-397B-A17B and others4 Abstract CHERRL 注入已知偏差以观察奖励黑客，并用于分析偏差和评测起点检测器 RHDA。CHERRL 是 rubric-based RL 的可控环境，用来复现奖励黑客、观察奖励分歧，并给检测器提供起点参照。
提出 ARA，读取奖励模型激活并门控 RLHF 奖励以缓解奖励作弊
Published Feb 2
Evaluated models Llama-2-7B , Llama-3.1-8B , Qwen-2.5-7B Abstract ARA 用奖励模型内部表示检出利用，并在 RLHF 里按 Auditor 概率压低代理奖励。ARA 是一套两阶段的 RLHF 审计：先对冻结奖励模型找出利用回复，再在策略优化时按检出概率压低奖励。
提出 GASP 对抗自博弈训练，使推理模型抵御可错上下文
Published Jan 30
Evaluated models DeepSeek-R1-Distill-Qwen-1.5B , DeepScaleR-1.5B , Qwen3-4B and others4 Abstract GASP 用对抗自博弈和分布内修复引导，提升四个开源模型在可错上下文下的推理表现。GASP 是只用终答对错做奖励的后训练方法，目标是让已经会解题的开源推理模型，在条件上下文被局部损坏或轻度扰动时检测并修复。