CWE-bench：将智能体安全重心从漏洞利用转向防御
CWE-bench: Refocusing Agentic Security from Exploitation to Defense
AI 导读
研究者推出私有安全评测基准 CWE-bench，用 120 个留出的仓库审计与修复任务衡量 Agent 的漏洞防御能力，覆盖 73 类 CWE、八种语言和 OWASP Top 10 2025 全部类别。Agent 只获得待审计仓库和威胁模型描述，不被告知弱点类型、位置和数量；补丁须经程序化验证器确认既能阻断漏洞利用又保留原有功能，验证器在开发中经一组智能体裁判校验并人工复核分歧。最好的 Agent 达到 68% pass@1 和 81% pass@4；分析显示 pass@1 相同的 Agent 在重试收益和成本上差异明显，没有单一 Agent 在所有语言或漏洞类别上领先，任务难度更多随漏洞类别而非语言变化。作者称，随着 Agent 攻击能力提升，该基准可用于衡量其防御能力能否同步跟上。