跳到正文
原文
OpenAI·本站收录· 原文发表精选关注度50

OpenAI 如何监控内部编码 Agent 的失准行为

How we monitor internal coding agents for misalignment

AI 导读

OpenAI 披露其内部编码 Agent 失准监控系统的运行方式,该系统由 GPT-5.4 Thinking 以最高推理强度驱动,在交互完成后 30 分钟内完成审查并分级。系统覆盖所有标准内部编码 Agent 部署,查看完整对话历史、思维链、工具调用与输出,发现异常后交由人工复核。运行五个月来,系统监控了数千万条内部 Agent 编码轨迹,最高严重级别从未被真实对话触发,约 1000 条对话触发中等严重级别警报并升级人工审查,其中不少来自内部红队测试。OpenAI 称监控系统已覆盖员工独立上报的每一起交互,但表示仍无法可靠量化开放场景下的漏报率,并将监控视为纵深防御的一层,计划探索可在执行前评估并阻断高风险动作的同步监控。

推荐理由

OpenAI 公开内部编码 Agent 监控系统的运行机制与五个月实测数据,为部署 Agent 的团队提供监控设计参考。

阅读原文openai.com