斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定
揭示纯结果强化学习下失败披露跨运行不稳定，并提出失败条件参考锚定
- 定位与核心问题：论文研究可验证推理任务中纯结果强化学习对辅助安全行为的影响，发现在任务求解率高度可复现的同时，客观失败时是否承认错误的失败披露行为在重复训练间出现广泛发散。
- 发散原因与阶段分析：控制实验发现，微小的浮点算子和归约顺序差异，或恢复相同训练状态后的未来采样随机性，均能导致最终披露率出现大幅分歧（如 1.5B 模型 150 步延续后披露率在 0.112 至 0.880 间分化）；且披露失败是多阶段过程，模型通常能完成解题并到达汇报接缝，但容易在启动汇报的格式转换处受阻。
- 弱约束行为的普遍性：对比实验表明，缺乏显式约束的辅助行为（包括无语义的客套短语）在重训中均易发生漂移，而显式规则约束能使行为高度一致，说明发散源于训练目标对辅助行为的欠约束而非失败语义本身。
- 参考锚定干预及效果：论文提出失败条件参考锚定方法，仅对未成功但格式有效的输出施加参考策略惩罚（β=0.04），在 1.5B Countdown 上将跨运行披露 SD 从 0.189 降至 0.089，在 7B 上将披露 SD 从 0.281 降至 0.090，并在中间状态延续中将组内变异减半以上。
- 代价与权衡启示：在 1.5B 任务中维持披露稳定性伴随着约 6 到 8 个百分点的求解率下降，而在 7B 探针上求解率提升 0.069；作者认为行为保留是一项经验权衡而非零代价正则，强调后训练评测不仅要检验最终能力指标，必须对关乎监督安全的辅助行为进行跨重训多轮评估与显式约束。