OpenAI 如何监控内部编码 Agent 的失准行为
How we monitor internal coding agents for misalignment
AI 导读
OpenAI 披露其内部编码 Agent 失准监控系统的运行方式,该系统由 GPT-5.4 Thinking 以最高推理强度驱动,在交互完成后 30 分钟内完成审查并分级。系统覆盖所有标准内部编码 Agent 部署,查看完整对话历史、思维链、工具调用与输出,发现异常后交由人工复核。运行五个月来,系统监控了数千万条内部 Agent 编码轨迹,最高严重级别从未被真实对话触发,约 1000 条对话触发中等严重级别警报并升级人工审查,其中不少来自内部红队测试。OpenAI 称监控系统已覆盖员工独立上报的每一起交互,但表示仍无法可靠量化开放场景下的漏报率,并将监控视为纵深防御的一层,计划探索可在执行前评估并阻断高风险动作的同步监控。
推荐理由
OpenAI 公开内部编码 Agent 监控系统的运行机制与五个月实测数据,为部署 Agent 的团队提供监控设计参考。