跳到正文
原文
OpenAI Alignment Research· OpenAI·本站收录· 原文发表精选关注度44

OpenAI:什么影响模型全生命周期的思维链可监控性?

What Affects CoT Monitorability Across The Model Lifecycle?

AI 导读

OpenAI 研究了预训练、架构、强化学习和模型生成数据如何影响思维链(CoT)可监控性,以无思维链能力和思维链可控性作为监控规避能力的代理指标。结果显示,基座模型 perplexity 下降会稳定推高无思维链能力,部分架构在多跳规划与串行计算评测上超出 perplexity 的预测;强化学习即使只有长度约束和最终答案评分,思维链可控性也会大幅上升,加入工具监督仅小幅增加。团队还发现类似 subliminal learning 的效应,思维链可控性可经模型生成的 SFT 数据传给下一代模型。研究背景是 GPT-6 Astra 在非对抗设置下思维链可监控性下降,UK AISI 测得其无思维链数学时间视界中位数为 30.9 分钟,高于此前对 2028 年底约 7 分钟的预计。

推荐理由

OpenAI 用自家训练管线的实验说明,预训练与 RL 的常规扩展就会推高无思维链能力和思维链可控性,思维链可控性还能经 SFT 数据传给下一代模型。

相关论文
阅读原文alignment.openai.com