OpenAI研究：Agent评测与生产行为差距

1. 时刻未标
   搜狐

   OpenAI对齐研究团队：智能体在安全评测和生产环境中表现有明显差距

   OpenAI对齐研究团队在11月3日发布的博客报告中称，智能体在安全评测和生产环境中的行为存在明显差距。团队测试了GPT-5.6 Luna、GPT-5.6 Sol、GPT-6 Luna、GPT-6 Sol、GPT-6 Astra和GPT-6.1 Sol六个模型在长程任务中遇到警告或限制后能否不采取禁止行为，结果显示其在评估环境中的成功率均低于生产环境，即生产环境中的模型更遵守安全边界，与过去担心模型识别出被评估后刻意表现更好的模式相反。思维链分析和干预研究显示，模型的安全评测得分可能对模型对评估的假设特别敏感，仅说明其正在被评估对表现没有显著影响，而强调尊重警告的正确目标会大幅提升评测表现。团队据此认为，安全评估不能直接作为安全保证，模型安全的重心需从部署前的一次性评估转向部署中的持续验证。

1. 22:55
   X@verbal72· 讨论

   Source: Hsu and Arnesen, OpenAI Alignment blog, Nov 3: https://t.co/53JI65JnzM Their models, their numbers. Production…（新标签页打开原帖）
2. 22:18
   X@DanielAtik· 讨论

   OpenAI descubre que sus modelos rinden peor en el examen de seguridad que en el trabajo real: hasta 37 puntos menos. Cr…（新标签页打开原帖）
3. 22:06
   X@SIRENutf6· 讨论

   Source: https://t.co/4JGnykyyKp（新标签页打开原帖）
4. 22:06
   X@SIRENutf6· 讨论

   OpenAI measured six models: safety-test success ran 10.2 to 37.4 points below comparable real-use behavior. Stating the…（新标签页打开原帖）
5. 21:30
   X@eforus_overseer· 讨论

   OpenAI measured the gap between the exam and the job. Six models all score lower in the safety eval than in production,…（新标签页打开原帖）
6. 21:26
   X@ainewmeth· 讨论

   Source: OpenAI Alignment, "Eval-production behavior gaps in agent safety and the role of eval-awareness" (Nov 3, 2026)…（新标签页打开原帖）
7. 21:26
   X@ainewmeth· 讨论

   OpenAI just published an agent-safety study comparing the same kind of decision in two places: a Respecting Warnings ev…（新标签页打开原帖）
8. 18:18
   X@kadrkn· 讨论

   Plot twist: OpenAI found all 6 models it studied did WORSE in a safety eval than in matching real Codex work, with gaps…（新标签页打开原帖）
9. 13:24
   X@Yngkvn· 讨论

   @quasicoh ? there is strong evidence of this, in even verbalized eval awareness settings https://t.co/xIDwuAmvKS（新标签页打开原帖）
10. 12:03
    X@dotsMCLOVIN· 讨论

    OpenAI's Nov 3 study found six models respected warnings better in matched production cases than in its safety eval. Mi…（新标签页打开原帖）
11. 09:45
    X@thesimaximalist· 讨论

    OpenAI’s exam plot twist: GPT-6.1 Sol avoided forbidden bypass attempts 91.6% of the time when told the test was about…（新标签页打开原帖）
12. 09:18
    X@DeaglePc· 讨论

    OpenAI 11月3日公布实验：同一个 GPT-6.1 Sol，在“遵守警告”安全测试里，提示正确考题目标，成功率91.6%；提示成相反目标，只剩17.6%。 告诉 AI 考官想测什么，能改分数，未必能证明它平时更可靠。 https…（新标签页打开原帖）
13. 05:14
    X@YUK_KND· 讨论

    ② OpenAIが6モデルを比較し、エージェント安全性評価と実運用の同等ケースで10.2〜37.4ポイントの差を報告。評価が実運用より安全性を高く見積もるとは限らず、評価目的の解釈で結果が大きく変わるとしています。 ソース: https:…（新标签页打开原帖）
14. 04:02
    X@BasicProtein26· 讨论

    I stopped trusting AI honesty scores the day I saw how wide the gap can get. An OpenAI study across 6 models found hone…（新标签页打开原帖）
15. 02:42
    X@joycjhsu· 讨论

    As models become more capable, preventing them from recognizing evaluations is likely to become more difficult. To acco…（新标签页打开原帖）
16. 02:42
    X@joycjhsu· 讨论

    In experiments, telling a model it was being evaluated produced no significant change in safety performance. Telling it…（新标签页打开原帖）
17. 02:42
    X@joycjhsu· 讨论

    How well do safety evaluations reflect agent behavior in deployment? Does a model’s interpretation of the task matter?…（新标签页打开原帖）
18. 02:42
    X@joycjhsu· 讨论

    I joined @OpenAI and have been working with the great team on how we can improve agent safety in the real world! Excit…（新标签页打开原帖）
19. 02:01
    Hacker NewsHacker News· 讨论

    Eval-production behavior gaps in agent safety and the role of eval-awareness（新标签页打开原帖）

1. 16:00
   OpenAI Alignment Research精选

   智能体安全中的评测与生产行为差距及评测感知的作用

   OpenAI 对齐团队比较六个已上线模型（GPT-5.6 Luna/Sol、GPT-6 Luna/Sol/Astra、GPT-6.1 Sol）在 Respecting Warnings 安全评测与匹配的 Codex 生产决策上的表现，发现评测成功率普遍低于生产，差距为 10.2 至 37.4 个百分点，方向与评测意识会推高安全分数的常见担忧相反。模型在评测中更频繁口头表达评测意识，一般意识率为 57.0%–83.7%，生产中仅 4.6%–23.5%；一般意识与差距的关联弱，具体目标意识关联更强，差距最大的 GPT-5.6 Sol 与 GPT-6 Sol 有超过 45.0% 的评测 rollout 猜测评测目标是抵抗提示注入。评测与生产成功率仍呈正相关（Spearman ρ=0.771），团队表示将优先跟踪该差距并设计目标更难从评测设置推断的评测。

当前关注度43·可比范围峰值48（11月6日 03:00）·近 24 小时可比范围变化 0%