思维链监控 · 论文

研究发现基础模型仅靠固定开头 token 即可达到 RL 级推理表现

证明短开头词可唤醒基模型推理，且效应来自训练数据

arXiv

2610.06851

发表

10月5日

层

训练与数据层

场景

模型与 API

测试

Olmo-3-7B、Olmo-3-32B、Qwen3-4B 等 10 个

• 组件推理链

研究将 on-policy distillation 视为隐式奖励优化，揭示奖励作弊导致的训练崩溃

揭示在策略蒸馏的训练崩溃是对教师偏置的奖励投机

arXiv

2610.03185

发表

10月2日

层

训练与数据层

场景

模型与 API

测试

JustRL-1.5B、DeepScaleR-1.5B-Preview、Qwen3-4B 等 8 个

• 风险奖励作弊

斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定

度量强化学习后失败披露的跨运行不稳定性，并提出失败条件参考锚定

arXiv

2609.33220

发表

9月27日

层

训练与数据层

场景

模型与 API

测试

Qwen2.5-1.5B、Qwen2.5-7B、Qwen2.5-14B 等 11 个

• 防御模型加固
• 风险欺骗与谋划

研究：RLVR 后训练在全新推理任务上引发语言漂移

证明 RLVR 后训练允许无界语言漂移且限制漂移必限制奖励

arXiv

2610.02015

发表

10月2日

层

训练与数据层

场景

模型与 API

测试

gemma-3-1b-pt、Llama-3.2-1B、Qwen2.5-1.5B 等 6 个

• 组件推理链

最弱一环：用最坏情况约束强化学习蒸馏 LLM 推理能力

提出最坏情况约束强化学习，抑制推理蒸馏中的奖励投机

arXiv

2610.00332

发表

10月2日

层

训练与数据层

场景

模型与 API

测试

Qwen2.5-1.5B、Qwen2.5-Math-7B-Instruct、Llama-3.2-3B 等 6 个

• 防御模型加固
• 风险奖励作弊
• 组件推理链

用强化学习增强胸部 X 光报告生成中的视觉推理

用门控 IoU 与 RadGraph 的 GRPO 降低胸片报告幻觉

arXiv

2609.31911

发表

9月26日

层

训练与数据层

场景

模型与 API

测试

Qwen3-VL-8B-Instruct、MedGemma、DeepMedix-R1 等 7 个

• 防御模型加固
• 风险幻觉与编造
• 组件视觉
• +1+1

Box² Bench：语言模型能否有选择地依赖外部指导

提出 Box2-Bench，评测模型能否选择性依赖外部工作流

arXiv

2609.39578

发表

9月30日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Gemini 3.7 Flash、DeepSeek V4 Flash、GLM 5.2 等 9 个

CREDO：用可微读出替代文本采样校准推理模型置信度

提出 CREDO，用保留 token 对的可微读出校准推理模型置信度

arXiv

2609.34857

发表

9月28日

层

训练与数据层

场景

模型与 API

测试

Qwen3-8B、Qwen3-1.7B、Qwen3-4B

• 防御模型加固

TAME：用 SAE 抑制激活缓解 VLM 思维链混淆

提出 TAME，在强化学习中抑制模板激活以缓解思维链混淆

arXiv

2609.24243

发表

9月21日

层

训练与数据层

场景

模型与 API

测试

Qwen3-VL-8B、Gemma-3-12B-it、GPT-4o 等 7 个

• 防御模型加固
• 组件推理链
• +1+1