研究质疑LLM漏洞修复基准可靠性
2026年10月,一项论文《On the Reliability of LLM-Based Vulnerability Patching Benchmarks》指出,当前基于大语言模型的自动化漏洞修复基准会显著扭曲所报告的性能,作者从智能体、框架、数据集三个维度梳理了被忽视的陷阱:提示词、工具可用性和详细指令会抬高成功率却不提升与开发者一致的补丁质量;权限错误、基础设施缺陷和超时处理会悄然压低或虚高成绩;缺陷报告和单一 PoC 测试无法判断补丁是否真正修复问题。随后,美国西北大学研究者在 112 个真实安全漏洞上测试 AI 编码智能体,发现能消除崩溃的补丁常常通不过项目维护者为修复编写的测试。在 Claude Opus 4.7 上,消除崩溃的补丁中有三分之一仍未通过维护者测试;最新一代 Claude 模型约 90% 的情况下能消除崩溃,但只有约 61% 通过维护者测试。数据集来自 84 个用 C/C++、Go 和 Rust 编写的开源项目,研究者把原始开发者随真实修复加入的测试拿来检验 AI 补丁。