10月8日 · 周四

思维链监控 · 论文

找到 2 篇

筛选1

模型自身风险

奖励作弊1 失准与价值偏离1

防御类型

影响

系统形态

模型与 API2 AI Agent1 编程 Agent1

层

训练与数据层2

系统组件

被测模型厂商

同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 40 篇还没打标签，不在筛选结果里。

系统形态：模型与 API 话题：思维链监控清除全部

另有 40 篇论文还没打上分类标签，暂不在筛选结果里。

风险行为arXiv:2609.33220 · 9月27日
斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定
揭示纯结果强化学习下失败披露跨运行不稳定，并提出失败条件参考锚定
模型与 API测试Qwen2.5-1.5B、Qwen2.5-7B、Qwen2.5-14B 等 11 个训练与数据层
- 模型加固
- 失准与价值偏离
摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。
完整解读
防御arXiv:2610.00332 · 10月2日
最弱一环：用最坏情况约束强化学习蒸馏 LLM 推理能力
提出最坏情况约束强化学习，抑制推理蒸馏中的奖励投机
模型与 API测试Qwen2.5-1.5B、Qwen2.5-Math-7B-Instruct、Llama-3.2-3B 等 6 个训练与数据层
摘要最坏前缀教师似然约束让小模型在接近 GRPO 正确率的同时维持更高保真，从而得到最高 RSR。
Weakest Link 把大模型推理蒸馏改写成带最坏前缀约束的强化学习：学生最大化可验证任务奖励，但任一前缀上对教师的平均负对数似然不得超过预算 d。作者认为，序列级软 KL 只惩罚平均散度，学生可以用别处的高概率文本掩盖某一步的逻辑错误，同时仍得到正确最终答案。GRPO 则只优化最终答案。
完整解读

已经到底了