Stanford CRFM 发布 BountyBench：用真实漏洞赏金衡量 AI Agent 攻防能力
BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems
AI 导读
Stanford CRFM 提出 BountyBench，一个包含 25 个真实代码库系统和 40 个漏洞赏金的基准，赏金金额从 10 美元到 30,485 美元，覆盖 OWASP Top 10 风险中的 9 类。基准定义 Detect、Exploit、Patch 三类任务，覆盖漏洞从发现到修复的生命周期，并通过信息量调节任务难度。评测 5 个 Agent 后发现明显的攻防失衡：OpenAI Codex CLI 和 Claude Code 的 Patch 成功率分别为 90% 和 87.5%，但 Exploit 成功率仅 32.5% 和 57.5%；基于 GPT-4.1、Gemini 2.5 Pro Preview 和 Claude 3.7 Sonnet Thinking 的自定义 Agent 则相对均衡，Exploit 成功率 40-67.5%，Patch 成功率 45-60%。