跳到正文
原文
OpenAI·本站收录· 原文发表

OpenAI 分析编码评测中的信号与噪声

Separating signal from noise in coding evaluations

AI 导读

OpenAI 发布一项新分析,指出流行的编码基准 SWE-Bench Pro 存在可靠性与准确性问题,对 AI 模型评测结果提出质疑。该分析的主题是在编码评测中区分信号与噪声。

阅读原文openai.com