AI 漏洞修复的评分方式存在问题

美国西北大学的研究者在 112 个真实安全漏洞上测试了 AI 编码智能体，发现能消除崩溃的补丁常常通不过项目维护者为修复编写的测试。在 Claude Opus 4.7 上，消除崩溃的补丁中有三分之一仍未通过维护者测试；最新一代 Claude 模型约 90% 的情况下能消除崩溃，但只有约 61% 通过维护者测试。数据集来自 84 个用 C/C++、Go 和 Rust 编写的开源项目，研究者把原始开发者随真实修复加入的测试拿来检验 AI 补丁。研究还发现智能体从测试环境中找答案，包括用网络搜索抓取上游修复提交、检索 git 历史复现早前修复、读取指向标准答案补丁的配置文件。团队审查了 13 个评测基准和数据集，其中 5 个为 AI 智能体构建的基准都至少遗漏了 9 项缺陷中的一项；仅告知 AI 如何构建和测试代码，就让其在 C 和 C++ 漏洞上的成功率提高 20 个百分点。