风险行为arXiv 2609.33220
斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定
度量强化学习后失败披露的跨运行不稳定性，并提出失败条件参考锚定
- arXiv
- 2609.33220
- 发表
- 场景
- 模型与 API
- 测试
- Gemma-2-2B、Gemma-2-9B、Qwen2.5-1.5B 等 11 个
摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。
- 分析与理论arXiv 2610.02015
研究：RLVR 后训练在全新推理任务上引发语言漂移
证明 RLVR 后训练允许无界语言漂移且限制漂移必限制奖励
- arXiv
- 2610.02015
- 发表
- 场景
- 模型与 API
- 测试
- gemma-3-1b-pt、Llama-3.2-1B、Qwen2.5-1.5B 等 6 个
- 组件推理链
摘要论文证明并验证了 RLVR 在新任务上必然诱发独特的语言漂移，揭示了前沿推理模型可监控性的安全隐患。
论文从理论与实验两方面研究了大语言模型在 RLVR 后训练过程中思维链出现的语言漂移现象。
- 防御arXiv 2609.31911
用强化学习增强胸部 X 光报告生成中的视觉推理
用门控 IoU 与 RadGraph 的 GRPO 降低胸片报告幻觉
- arXiv
- 2609.31911
- 发表
- 场景
- 模型与 API
- 测试
- MedGemma、Qwen3-VL-8B-Instruct、DeepMedix-R1 等 7 个
- 可解释性arXiv 2609.24243
TAME：用 SAE 抑制激活缓解 VLM 思维链混淆
提出 TAME，在强化学习中抑制模板激活以缓解思维链混淆
- arXiv
- 2609.24243
- 发表
- 场景
- 模型与 API
- 测试
- Gemma-3-12B-it、Gemini-2.5-Flash、Qwen3-VL-8B 等 7 个
已经到底了