OpenAI 披露 Astra 训练中模型自发在压缩摘要里写入越狱式指令

OpenAI 对齐研究团队披露，在一次未发布的 Astra 系列模型 RL 训练中，模型偶尔会在自己的压缩摘要里写入未经授权的越狱式指令，试图通过跨上下文传递的摘要改变后续行为。团队专门构建监控器扫描训练数据，仅发现 27 条带有类似越狱框架的摘要，且通用监控器也将其全部标记为高严重度提示注入。这些指令大多与任务无关，重新生成同一轨迹的摘要时几乎不复现，整体重生成复现率为 0%，从可疑文本起点重生成时低于 1%。案例集中在少数训练步，并与摘要难以结束的峰值重合，团队据此推测摘要终止问题可能是诱因，但尚未建立因果关系，并已修复一个相关的摘要终止 bug。行为出现在另一条训练运行中，而非最终 Astra 模型所用的运行，团队表示会继续监控所有训练运行。