CyberGym：大规模评估 AI 智能体的真实世界网络安全能力

1. 01这篇论文试图解决什么问题？

   现有 AI 网络安全评测规模小、只测静态结果，作者提出 1,507 实例的真实漏洞基准 CyberGym。

   如何大规模、真实地评估 AI 智能体的网络安全能力，并衡量其对当前安全生态的实际影响。

   • 问题场景：作者认为 LLM 智能体在软件工程任务上能力增强，对网络安全既有机会也有风险，因此严格评估其安全能力既关键又紧迫。
   • 现有不足：作者指出现有基准有两个局限：(i) 规模小（至多 200 实例，见 Table 1），依赖大量人工构建或脆弱数据源，评测不稳定；(ii) 只关注静态基准实例，难以判断智能体对不断演化的真实安全格局的影响。
   • 核心观察：OSS-Fuzz 自 2016 年以来发现了超过 13,000 个漏洞，每个漏洞都带 PoC 和补丁信息，作者将其作为大规模真实历史漏洞的数据源，并用 sanitizer 作为可靠的漏洞检测 oracle。
   • 论文提出：CyberGym 基准，含 1,507 个实例、覆盖 188 个软件项目；主任务是给定漏洞文本描述和补丁前代码库，让智能体生成复现漏洞的 PoC；另设 4 个难度等级，并支持开放式零日漏洞发现。
   • 任务性质：这是评测/基准类工作，不涉及攻击者威胁模型；被测对象是 AI 智能体框架和骨干 LLM，受害方是含历史漏洞的真实开源项目（容器化环境内执行）。

   收起这一问

2. 02有哪些相关研究？

   相关工作分网络安全基准与编码基准两类；作者称 CyberGym 规模超其他安全基准七倍且能发现零日。

   网络安全基准（CTF 类）

   • NYU CTF Bench（Shao et al., 2024）与 Cybench（Zhang et al., 2025b）：基于 CTF 题目的基准，分别有 200 和 40 个实例（Table 1）。论文指出 CTF 题目是理想化设置，往往不能捕捉真实世界的复杂性。

   网络安全基准（真实项目类）

   • AutoAdvExBench（Carlini et al., 2025）、CVE-Bench（Zhu et al., 2025）、BountyBench（Zhang et al., 2025a）、SEC-Bench（Lee et al., 2025）：转向真实软件项目的基准，实例数 40–200、覆盖 26–41 个项目（Table 1）。论文指出这些工作只关注已知历史漏洞，而 CyberGym 还能发现零日漏洞。
   • ARVO（Mei et al., 2024）：收集 OSS-Fuzz 漏洞并提供可复用 Docker 镜像的基础设施；论文指出 ARVO 本身不定义评测任务和指标，不能单独作为基准，CyberGym 的 1,368 个实例源自 ARVO。

   编码基准与编码智能体

   • SWE-bench（Jimenez et al., 2024）与 SWT-bench（Mündler et al., 2024）：分别让智能体根据 issue 生成 PR、或写单元测试验证 PR。论文指出它们关注功能修复、多为局部代码改动，而 CyberGym 需要全仓库范围的推理。
   • OpenHands（Wang et al., 2025）、Codex（OpenAI）及专用模型 SWE-Gym（Pan et al., 2024）、R2E-Gym（Jain et al., 2025）：由编码基准催生的智能体和微调模型；本文将它们作为被测对象。

   基线与对比设置

   • 本文是基准论文，无方法基线；被测对象为 4 个智能体框架（OpenHands、Codex CLI、EnIGMA、Cybench agent）和 11 个 LLM，对比基准即 CyberGym 本身，并在 Table 1 与上述 6 个安全基准比较规模。

   作者定位：CyberGym 有 1,507 实例、188 个项目，作者称其规模超过其他网络安全基准七倍，且是其中唯一能发现零日漏洞的（Table 1）；与 SWE-bench 互补而非替代。

   收起这一问

3. 03论文如何解决这个问题？

   从 OSS-Fuzz 构建 1,507 个真实漏洞实例，用 sanitizer 双版本执行判定 PoC 复现成功，设 4 个难度等级。

   整体思路：把 OSS-Fuzz 发现并已修补的真实漏洞打包成容器化评测实例，让智能体生成 PoC 复现漏洞，用执行结果自动判定成败，框架名为 CyberGym。

   任务设定与成功判定

   • 主任务（Level 1）：输入漏洞文本描述（含大致位置、类型、根因）和补丁前代码库及可执行文件，智能体输出一个 PoC 输入文件，可通过 submit.sh 提交并获得执行反馈、迭代修改。
   • 成功判定：PoC 在开启 sanitizer 的补丁前版本触发崩溃，且在补丁后版本不触发任何 sanitizer 崩溃，才算成功；指标为 success rate（成功实例占比）。
   • 选复现任务的理由（作者说法）：人类专家复现已知漏洞约需 5 小时（Mu et al., 2018），自动化模糊测试工具在 OSS-Fuzz 项目上发现漏洞的中位时间为 324 天（Keller et al., 2023），说明任务本身有难度。

   四个难度等级

   • Level 0：只给补丁前代码库，不给描述，即开放式漏洞发现，也用于 Section 5 的零日发现。
   • Level 1：代码库加文本描述，即主任务，模拟 CVE 只有文字报告的场景。
   • Level 2：在 Level 1 基础上增加 ground truth PoC 的崩溃堆栈轨迹。
   • Level 3：在 Level 2 基础上增加 diff 格式的 ground truth 补丁和补丁后代码库，模拟真实 one-day 场景。

   数据构建与质量控制

   • 来源：1,507 个漏洞披露于 2017-01-01 至 2025-04-21；其中 1,368 个来自 ARVO（截至 2024-07-31），另收集 139 个更新的漏洞。用二分查找定位补丁提交，获得补丁前/后代码库、ground truth PoC 和补丁。
   • 描述生成：用 GPT-4.1 改写补丁提交信息得到漏洞描述；过滤和改写提示词见附录 C（Figure 9、10）。
   • 质量过滤：GPT-4.1 作为评审剔除信息不足或修复多个问题的提交；重跑 ground truth PoC 验证可复现性；按崩溃堆栈去除重复实例。300 个分层样本的人工核验显示过滤精度 96%，两名标注者 Cohen's κ 为 0.82±0.03（附录 C）。

   规模与统计

   • 描述与 PoC：描述中位长度 24 词、最长 158 词；ground truth PoC 中位 259 字节、最大 1,048,576 字节（Table 3）。
   • 代码库与补丁：代码库中位 1,117 个文件、387,491 行；补丁中位改 1 个文件、7 行，最多 40 个文件、3,456 行（Table 3）。
   • 覆盖面：188 个项目、28 种 sanitizer 崩溃类型（Table 4、5）；62.4% 实例来自前 10 名之外的项目。

   评测设施

   • 模块化容器化环境，提交服务器约用 10TB 磁盘存储任务环境；另提供随机抽取的 300 实例子集（约 20%）用于低成本评测，全量评测约需 3,000 美元 API 额度。

   收起这一问

4. 04论文做了哪些实验？

   11 个 LLM 与 4 个智能体框架评测：OpenHands+Claude-Sonnet-4 达 17.9%，GPT-5 开 thinking 达 22.0%。

   实验设置

   • 被测模型：11 个 LLM——GPT-4.1、GPT-5、o4-mini、Claude-3.7-Sonnet、Claude-Sonnet-4、Gemini-2.5-Flash（闭源通用）；Qwen3-235B-A22B、DeepSeek-V3（开源通用）；SWE-Gym-32B、R2E-Gym-32B、OpenHands-LM-32B（SWE 专用）。
   • 智能体框架：OpenHands、OpenAI Codex CLI、EnIGMA、Cybench agent，统一约 2.0 美元/任务的成本预算、最多 100 次迭代。
   • 基准与指标：CyberGym 全量 1,507 实例（部分实验用 300 实例子集），指标为 success rate；除注明外默认 Level 1。
   • 判定方式：执行判定——PoC 在补丁前版本触发 sanitizer 崩溃、补丁后版本不崩溃；无 LLM 评审参与打分。
   • 默认配置：主实验关闭 thinking（o4-mini 不支持关闭，GPT-5 用 minimal reasoning），智能体 scaffold 为 OpenHands。
   • 重复次数：论文未报告每个实例的运行次数。

   主结果

   各 LLM 配 OpenHands、Level 1 的成功率（Figure 3）：

   模型	成功率 (%)
   Claude-Sonnet-4	17.9
   Claude-3.7-Sonnet	11.9
   GPT-4.1	9.4
   GPT-5 (minimal)	7.8
   Gemini-2.5-Flash	4.8
   DeepSeek-V3	3.6
   o4-mini	2.5
   R2E-Gym-32B	2.0
   Qwen3-235B-A22B	1.9
   OpenHands-LM-32B	1.7
   SWE-Gym-32B	0.1

   • 作者称 SWE 专用模型在 SWE-bench 上表现强但在 CyberGym 上成功率不超过 2.0%，显示两个基准的互补性。
   • 全部模型结果取并集成功率达 27.2%，作者称不同模型成功任务重叠低。
   • 作者报告 o4-mini 常保守地请求用户确认并提前终止执行，其他模型未观察到该模式。

   Thinking 模式与智能体框架对比

   • Thinking 实验：在 300 实例子集上比较 4 个模型（Figure 4）。GPT-5 从 7.7%（minimal reasoning）升至 22.0%（high reasoning），超过 Claude-Sonnet-4；Qwen3-235B-A22B 从 2.7% 升至 4.7%，Claude-3.7-Sonnet 从 14.3% 升至 17.3%，Claude-Sonnet-4 从 17.7% 升至 19.3%。作者称 thinking 对 GPT-5 提升大、对其他模型提升有限。
   • 框架对比：GPT-4.1 为骨干、Level 1（Figure 5），EnIGMA 7.2%、Codex 7.4%、Cybench 9.0%、OpenHands 9.4%；四个框架结果取并集达 18.4%。作者称各框架成功率接近但成功集合重叠小，行为模式不同（OpenHands 多用 Bash 命令链，CTF 框架更依赖 Python 脚本，Figure 17）。

   数据污染与难度分析

   • 数据污染：按各模型知识截止日切分前后实例，对 post-cutoff 样本超 50 的 4 个模型做 Fisher 精确检验和双比例 Z 检验（Table 2），所有 p 值大于 0.1（如 Claude-3.7-Sonnet 前后 11.9% 对 12.5%，p=0.87），作者称未发现统计上显著的差异。
   • 难度等级：OpenHands+GPT-4.1 在 Level 0/1/2/3 的成功率分别为 3.5%、9.4%、13.1%、17.1%（Figure 6）；Level 0 在 GPT-4.1 截止日后的 142 个漏洞上复现了 5 个。
   • PoC 长度：ground truth PoC 越长成功率越低（Figure 7），GPT-4.1 在 [0,10) 字节区间 43.5%、Claude-Sonnet-4 为 55.3%，而 PoC 超过 100 字节的实例（占全基准 65.7%）成功率只有约 10%。

   其他消融与分析

   • 崩溃类型分解：OpenHands+Claude-Sonnet-4 在前 10 类崩溃上成功率 10.6%–25.0%（Table 8）。
   • 平衡重采样：按项目或崩溃类型平衡重采样后结论不变（Figure 15、16）。
   • 失败模式：OpenHands+GPT-4.1 提前终止比例约 0.26–0.30，长明文 PoC 比例 0.14–0.19（Table 9）。
   • 执行步数：成功多集中在 20–80 步，近半数运行在 80–100 步上限附近失败（Figure 18）。
   • 安全影响：评测生成的 PoC 中有 759 个在补丁后版本崩溃，确认 9 个零日（平均存在 969 天）和 18 个不完整补丁；另在 431 个项目上跑 Level 0，GPT-4.1 确认 7 个、GPT-5 确认 22 个零日（4 个重叠），合计 34 个零日，已获 4 个 CVE 编号、10 个已修补。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称受 sanitizer 依赖所限只覆盖 C/C++ 内存安全漏洞与 PoC 任务，并列出基准与智能体两类后续方向。

   作者指出的局限与后续方向

   • 漏洞类型与语言范围：CyberGym 目前主要覆盖 C/C++ 项目的内存安全漏洞，这源于对 sanitizer 检测的依赖，可能无法捕捉安全漏洞的全貌（Section 3.1、Section 6）。
   • 扩展漏洞类别与平台：作者计划扩展到逻辑漏洞、密码学弱点等类型，覆盖 web 和移动平台及更多编程语言（Section 6）。
   • 扩展任务类型：目前只做 PoC 生成，作者计划支持修补（防御）和利用（进攻）等任务；并指出修补评测需解决功能保持判定、异构测试系统标准化等挑战，利用评测需要更细粒度的 oracle（Section 6）。
   • 智能体改进方向：作者建议加强 LLM 长上下文推理、设计融合各智能体互补优势的集成框架、开发专用安全工具、优化工具使用模式（Section 6）。

   实验覆盖范围

   • 被测模型为 11 个 LLM、4 个智能体框架；骨干模型主实验均用 OpenHands 作 scaffold，框架对比实验均用 GPT-4.1 作骨干（Section 4）。
   • Thinking 模式对比只在 300 实例子集、4 个模型上进行（Figure 4）。
   • 数据污染分析只对 post-cutoff 样本超过 50 的 4 个模型做统计检验（Table 2）。
   • 零日发现实验用 OpenHands 配 GPT-4.1 和 GPT-5，覆盖 431 个项目、1,748 个入口可执行文件（Section 5）。
   • 论文未报告每个实例的重复运行次数；质量过滤的人工核验为 300 个分层样本（附录 C）。

   收起这一问

6. 06总结一下论文的主要内容

   CyberGym 用 1,507 个真实漏洞评测智能体，最高成功率 22.0%，并顺带发现 34 个零日漏洞。

   CyberGym 是一个面向 AI 智能体网络安全能力的大规模评测基准，针对现有基准规模小、只测静态结果的问题而构建。

   • 要解决的问题：作者认为现有安全基准至多 200 实例、且只关注已知历史漏洞，难以稳定评估智能体对真实安全生态的影响。
   • 方法要点：从 OSS-Fuzz 收集 1,507 个真实漏洞（188 个 C/C++ 项目），智能体根据漏洞描述和补丁前代码库生成 PoC；以 sanitizer 在补丁前崩溃、补丁后不崩溃判定成功；设 Level 0–3 四个难度等级，全部容器化执行。
   • 主要结果：OpenHands+Claude-Sonnet-4 在 Level 1 成功率 17.9%（Figure 3）；GPT-5 开 thinking 后从 7.7% 升至 22.0%（Figure 4）；SWE 专用模型不超过 2.0%；四个智能体框架各自 7.2%–9.4%，并集 18.4%（Figure 5）。
   • 安全影响：评测过程中发现 18 个历史不完整补丁；开放式发现实验共确认 34 个零日漏洞，已负责任披露，获 4 个 CVE 编号、10 个已修补。
   • 作者结论：作者称 CyberGym 能有效区分智能体和模型的安全能力、构成难度阶梯，且可作为智能体真实安全能力的代理；当前最强组合也只有约 20% 成功率，说明基准整体难度高。

   收起这一问

相关论文