OpenAI Alignment Research· Micah Carroll, Tomek Korbak, Zehao Dou, Bowen Baker, Ian Kivlichan·Indexed by this site · Originally publishedSelectedAttention50
OpenAI 调查 RL 训练中意外对思维链打分的影响
Investigating the consequences of accidentally grading CoT during RL
AI summary
OpenAI 用新搭建的自动检测系统发现，GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini 和 GPT-5.4 mini 的部分 RL 训练样本中，思维链曾被意外纳入奖励计算，GPT-5.5 未受影响。