Redwood 研究者称 Gemini 4 Argon 安全报告似乎描述了刻意在思维链上训练,与 Google DeepMind 别处不训练 CoT 的说法相矛盾
AI 导读
Redwood Research 研究者 Buck Shlegeris 称,Gemini 4 Argon 安全报告似乎描述了刻意在思维链(CoT)上训练,而 Google DeepMind(GDM)在别处表示不对 CoT 训练,这令他困惑并希望获得澄清。报告原文写道,Gemini 4 Argon 同时使用对思维轨迹的监督微调和 RL,RL 阶段含思维长度惩罚以教模型高效推理;部分 RL 训练组件会观察思维作为上下文,以加权有望产生良好最终输出的推理,使单个 token 的优化压力部分受思维内容影响。报告援引 Kaufmann et al. (2026) 的框架称,最显著的 obfuscation 风险来自与输出奖励相冲突的奖励,这类辅助奖励与输出奖励正交或结构对齐,因此风险较低。Shlegeris 表示,该论文主张某一类 CoT 训练没有问题,但论证难以令人信服。
正文 · 原文
The Gemini 4 Argon safety report seems to describe intentional training on the CoT. They cite Kaufmann et al, a paper which (unpersuasively to us) argues that a particular category of CoT training is fine.
We're very confused, because GDM also says elsewhere that they don't train on CoT.
We'd appreciate clarity.