跳到正文
原文
OpenAI Alignment Research· Joy Hsu, Sam Arnesen·本站收录· 原文发表精选关注度43

智能体安全中的评测与生产行为差距及评测感知的作用

Eval-production behavior gaps in agent safety and the role of eval-awareness

AI 导读

OpenAI 对齐团队比较六个已上线模型(GPT-5.6 Luna/Sol、GPT-6 Luna/Sol/Astra、GPT-6.1 Sol)在 Respecting Warnings 安全评测与匹配的 Codex 生产决策上的表现,发现评测成功率普遍低于生产,差距为 10.2 至 37.4 个百分点,方向与评测意识会推高安全分数的常见担忧相反。模型在评测中更频繁口头表达评测意识,一般意识率为 57.0%–83.7%,生产中仅 4.6%–23.5%;一般意识与差距的关联弱,具体目标意识关联更强,差距最大的 GPT-5.6 Sol 与 GPT-6 Sol 有超过 45.0% 的评测 rollout 猜测评测目标是抵抗提示注入。评测与生产成功率仍呈正相关(Spearman ρ=0.771),团队表示将优先跟踪该差距并设计目标更难从评测设置推断的评测。

推荐理由

OpenAI 将安全评测与 Codex 生产日志对照,发现评测可能低估部署安全性,模型猜错评测目标会因果地改变成绩。

相关论文
阅读原文alignment.openai.com