METR：约半数通过 SWE-bench Verified 的 AI 补丁不会被维护者合并
Many SWE-bench-Passing PRs Would Not Be Merged into Main
AI 导读
METR 让 3 个 SWE-bench Verified 仓库（scikit-learn、Sphinx、pytest）的 4 名活跃维护者复核 296 个 AI 生成的 PR，发现约一半通过自动评分的补丁不会被合并进 main。以人工 golden patch 的 68% 合并率做基线归一后，维护者合并率平均比自动评分低约 24.2 个百分点（标准误 2.7）；按每年提升幅度看，维护者合并决定比自动评分慢约 9.6 pp/yr（标准误 5.5），但该趋势结果较弱，仅在 10% 显著性水平上成立，且限制为 SOTA 模型后不再显著。
推荐理由
METR 用真实维护者复核 SWE-bench Verified 的通过补丁，量化了基准分数与真实可用性之间的落差。