OpenAI 为何不再评测 SWE-bench Verified
Why we no longer evaluate SWE-bench Verified
AI 导读
OpenAI 表示不再评测 SWE-bench Verified，称该基准正日益受到污染，无法准确衡量前沿编码能力进展。OpenAI 的分析指出其存在测试缺陷和训练数据泄漏问题，并推荐改用 SWE-bench Pro。
推荐理由
OpenAI 解释了停用 SWE-bench Verified 的理由并推荐替代基准，关注编码评测可信度的团队可参考其判断。