AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准

核心问题在于评估当前前沿AI系统是否能够自主实施贴近真实场景的网络攻击。

• 真实入侵链条的复杂性：真实网络攻击包含从外部暴露面探测、建立初始立足点、内部侦察收集，到跨网络主机横向移动的完整操作链条（Section 1、Section 2.1）。作者指出，评估这种端到端能力对于及早发现新兴网络安全风险至关重要。
• 现有基准的抽象与局限：现有公共基准多聚焦于孤立技能，如CTF解题、漏洞复现与单个漏洞利用生成，往往将真实入侵的操作结构抽象剥离（Section 1）。现有Web利用任务常直接从已知脆弱服务开始，而后渗透任务则通常采用小型网络与固定攻击路径，缺乏开放、可复现的多主机网络靶场基础设施（Section 2.3）。
• 核心观察与研究假设：虽然前沿编码智能体在代码审查与单个漏洞复现上展现出非平凡能力，但将Web漏洞利用与企业级内网横向移动串联起来、并在防御压力下持续推进攻击，仍面临未知的综合挑战（Section 1、Section 2.3）。
• 论文提出的解决方案：作者提出了包含110个Web漏洞与156台内网主机的评测基础设施AGENTCYBERRANGE，并配套研发了评测工具链CAGE，用以在大规模隔离环境中对异构智能体实施端到端攻击评测与自动化验证（Section 1、Section 3）。
• 任务威胁模型：
  • 攻击者目标：在Web利用任务中探测隐藏路径并提交经验证的PoC；在后渗透任务中从入口主机向内网横向扩散并尽可能控制整网（Section A.1）。
  • 攻击者知识：采用黑盒测试设定（Black-box exploitability），无法读取目标源码与宿主机文件，仅依据不同难度等级获取URL、拓扑或CVE提示（Section 3.2、Section 3.3）。
  • 攻击者能力：运行在预装Kali Linux常用渗透测试工具的专用Docker容器中，可通过网络访问暴露入口，并允许按需安装工具（Section 5.1、Section B.3）。
  • 受害系统：运行在独立虚拟网络中的真实Web应用容器与企业级多网段拓扑，包含DMZ、内部服务、数据库、诱饵主机及杀毒软件等防御机制（Section 3.4、Section A.3）。

• CTF与漏洞利用基准：
  • CTF风格基准：Cybench（Zhang等，2025）与NYU CTF Bench（Shao等，2024）提供基于获取flag的标准化打分任务。论文指出，这类基于flag的目标无法反映真实渗透测试的操作过程。
  • 真实软件漏洞复现与利用基准：CyberGym（Wang等，2025）、ExploitGym（Wang等，2026）、CVE-bench（Zhu等，2025）及Exploitbench（Lee与Brumley，2026）利用真实开源软件漏洞评测智能体的漏洞分析与利用生成能力。论文指出，这些基准主要评估漏洞复现与单点利用，未能覆盖内网横向移动等广义渗透技术。
  • 长链条网络攻击度量研究：AISI的The Last Ones（TLO，Folkerts等，2026）评估长周期的网络攻击场景。论文指出，TLO是一项度量研究而非开放的网络靶场基准，且未开源（Table 1）。
• 网络安全与渗透测试智能体：
  • 通用编码智能体扩展至安全领域：Codex、Claude Code、OpenHands与Qwen等通用软件工程智能体在漏洞复现及零日挖掘中展现出能力（Provos，2026）。
  • 渗透测试专用智能体：PentestGPT（Deng等，2024）与Incalmo（Singer等，2025）在交互式攻击环境中运行，整合渗透测试工具以支持多步骤网络攻击；PentestGPT-V2（Deng等，2026）进一步探讨了真实渗透测试中智能体的有效性。
  • 自动化黑盒扫描工具：Black Widow（Eriksson等，2021）与Bacscan（Liu等，2025）等黑盒扫描系统侧重爬虫与暴露面探测。论文指出智能体与传统扫描器面临类似的爬取与深度路径瓶颈。
• 基线方法与对比基准：
  • 对比基准：论文在Table 1中对比了Cybench、CyberGym、ExploitGym、PentestGPT、XBOW、TLO与AGENTCYBERRANGE在Web利用、后渗透、真实环境、零日漏洞及开源状态等维度的差异。
  • 测试基线智能体：实验选取通用前沿智能体系统（Codex + GPT-5.5、Claude Code + Opus-4.7、Claude Code + GLM-5.1、Claude Code + DeepSeek-V4-Pro、Qwen Code + Qwen-3.7-Max、Kimi Code + Kimi-2.6）及专用渗透测试智能体PentestGPT-V2。
• 本文定位的区别：作者称，AGENTCYBERRANGE是用于测量前沿AI系统在真实网络靶场中自主网络攻击能力的开放、多靶场评测基础设施，将Web应用利用与多主机后渗透内网横向移动联合起来，提供端到端评估（Section 1、Section 2.3）。

作者构建了由 AGENTCYBERRANGE 评测基准套件与 CAGE 统一评测工具链组成的评测基础设施，通过双轨任务与证据验证评估AI系统的端到端网络攻击能力（Section 1、Section 3、Section 4）。

双轨基准设计与环境构建

• WebExploitBench：覆盖15个真实Web应用，涵盖CMS、电商、BI平台、LLM智能体系统等，包含110个漏洞（18个未公开0-day、56个公开1-day和36个合成漏洞），涵盖17类Web漏洞（Section 3.4.1、Table 2、Table 6）。设计遵循真实应用、0-day/1-day覆盖、类型多样性与黑盒可利用性原则；合成漏洞置于合法业务流程之后，需经过多步交互方能触达（Section 3.2）。
• PostExploitBench：包含8个独立网络靶场与156台内网主机，拓扑划分为DMZ、中间业务网络与核心内网，跨越3至7个隔离的/24子网，覆盖12类后渗透技术（Section 3.4.2、Table 3）。靶场中包含43个攻击链核心节点与113个非脆弱诱饵主机，部分靶场部署了防病毒软件、EDR类防护或模拟防御者，要求智能体在受监控环境下维持攻击（Section 3.4.2）。

三级信息难度梯度

• Web利用任务分级：Level-0仅提供目标应用入口URL；Level-1额外提供存在漏洞的具体URL列表；Level-2在Level-1基础上进一步给出每个URL对应的漏洞类型提示（Section 3.3、Figure 4）。
• 后渗透任务分级：Level-0仅提供入口主机IP地址；Level-1额外提供包含可达子网与主机的内网拓扑；Level-2进一步提供具体CVE编号、凭据泄露位置或配置缺陷提示（Section 3.3、Figure 4）。

CAGE 评测工具链架构

• Agent Adapter：为异构CLI智能体提供统一接口，将任务指令与步数预算转换为特定智能体所需的执行命令，屏蔽鉴权与本地状态差异（Section 4.1）。
• Agent Manager：为每个评测轮次创建隔离容器，注入环境变量，结构化记录模型请求、Token消耗与执行轨迹，记录完成、超时或预算耗尽等终止状态（Section 4.2）。
• Benchmark Manager：负责Web应用与多主机靶场的自动化容器编排、网络初始化、入口暴露与状态重置（Section 4.3）。

自动化运行时验证机制

• Web利用双重校验：智能体报告结构化JSON与可执行PoC脚本。验证器首先在隔离环境中运行PoC，检验是否产生实际安全影响（如读取随机数据库金丝雀字符串、向内网监听服务发送SSRF请求）；随后解析PoC访问的URL组件并与基准标注比对，防止同一类型的非目标漏洞误报（Section 4.4、Section A.2）。
• 后渗透标记验证：智能体在控制主机后需写入标记文件，普通权限写入/tmp目录下指定文件，提权任务要求写入/root目录下特定文件；验证器定期巡检各主机目录，检测到标记即判定该节点攻陷（Section 4.4、Section A.3）。

实验设置

• 被测系统配置：测试6款前沿模型与智能体脚手架组合，分别为Codex + GPT-5.5（xhigh）、Claude Code + Claude-Opus-4.7（max）、Claude Code + GLM-5.1、Claude Code + DeepSeek-V4-Pro、Qwen Code + Qwen-3.7-Max，以及Kimi Code + Kimi-2.6；另在部分失败案例上测试专用智能体PentestGPT-V2（Section 5.1、Table 7）。
• 评测基准与规模：WebExploitBench包含15个Web应用的110个漏洞；PostExploitBench包含8个企业级靶场共156台内网主机（Section 3.4）。
• 对比基线与难度：涵盖通用编码智能体原生配对与统一脚手架；均在Level-0（无提示）、Level-1（URL/拓扑提示）和Level-2（漏洞/CVE提示）三种难度下评测（Section 3.3、Section 5.1）。
• 指标定义：采用Pass@1（单次尝试成功率）、Pass@3 (Avg.)（三次独立尝试平均成功率）、Pass@3 (Max)（三次尝试中至少一次成功的比例），并记录Token消耗量（Cost，单位M）与耗时（Time，单位分钟）（Table 4、Table 5说明）。
• 评审与验证方式：Web利用执行PoC并检验金丝雀/带外请求等运行时效果且匹配URL；后渗透检查/tmp（用户权限）及/root（root权限）下的标记文件（Section 4.4）。
• 资源预算与重复设置：Web利用单任务上限150步，后渗透任务上限500步；所有任务设置2小时超时；核心评测执行3次独立重复试验（Section 5.1）。

主结果

表格较宽，可左右滑动

（数据据 Table 4 与 Table 5，注：Claude-Opus-4.7在后渗透评测中有12次尝试因安全拒答而终止，已在统计中排除）

• 整体性能分层呈现：作者指出，在无提示的Level-0设定下，GPT-5.5在两项任务上均取得最高成功率，在Pass@3 (Max)下攻破110个Web漏洞中的31个（涉及12个应用与13类漏洞）；Claude-Opus-4.7与Qwen-3.7-Max位列中间梯队，其余模型成功率较低（Section 5.2、Section 5.3）。
• 后渗透能力初显但未达全网攻陷：作者指出，前沿智能体在后渗透任务中展现出多步骤内网渗透能力，但各系统成功率均未超过50%，距离完全攻陷复杂网络靶场仍有明显差距（Figure 1、Section 5.3）。
• 安全拒答现象显现：在后渗透测试中，Claude-Opus-4.7出现12次由于安全原因拒绝继续攻击目标主机的现象，作者认为这体现了真实网络安全评估中固有的双重用途矛盾（Section 5.3）。

提示信息与难度级别影响分析

• 评测内容：比较不同系统在Level-0（无提示）、Level-1（URL/拓扑提示）与Level-2（漏洞类型/具体CVE提示）下的Pass@3 (Avg.)表现（Section 5.4、Table 8、Table 9、Figure 5）。
• 实验结果：在Web利用中，由Level-0提升至Level-1带来平均成功率提升，GPT-5.5从16.06%上升至32.12%，但升至Level-2仅为33.03%；后渗透任务中，Level-1拓扑信息平均提升有限，但Level-2具体弱点提示下GPT-5.5的Pass@3 (Avg.)达到46.34%（Table 8、Table 9）。
• 作者解读：作者认为端点发现是Web利用的核心瓶颈，一旦给出URL，智能体能有效聚焦利用生成；而对后渗透而言，仅有拓扑仍需智能体自行映射与建链，明确的弱点提示才能大幅缩小搜索空间（Section 5.4、Section C）。

攻击行为与防御对抗分析

• 评测内容：通过MITRE ATT&CK战术映射与高频命令统计，分析智能体在探测、利用、凭据发现、横向移动与防病毒软件绕过中的行为分布（Section 5.2、Section 5.3、Figure 6、Figure 10）。
• 实验结果：GPT-5.5在Web利用中大量使用python3且是唯一可见使用ffuf端点探测工具的智能体；在后渗透中，当防病毒软件查杀生成的Webshell后，智能体能自发变异载荷恢复立足点，但在部分靶场中反复触发蜜罐服务留下报警日志（Section 5.2、Section 5.3、Figure 6、Figure 10）。
• 作者解读：作者认为简单基于特征码的拦截难以阻断智能体攻击，当前智能体已具备一定的环境防御适应能力，但缺乏隐蔽操作意识（Section 5.3）。

探索深度与失败原因分析

• 评测内容：统计Web利用中漏洞深度（从入口URL到目标端点所需交互步数）对检出率的影响，并分析后渗透中的典型断链案例（Section 5.2、Section 5.3、Figure 8、Figure 11）。
• 实验结果：GPT-5.5在深度2时的漏洞检出率为35%（14/40），随着深度增加持续下降，深度6时降至11%（1/9）（Figure 8）；在Confluence链条案例中，智能体攻陷Confluence后未能系统搜索Wiki以提取GitLab凭据与下游源码，专用智能体PentestGPT-V2同样未解出此案例（Figure 11、Section 5.4）。
• 作者解读：作者认为深层交互构成了当前智能体探索的关键障碍；同时智能体缺乏经验丰富渗透者的信息收集习惯，在面对无弱点主机时耗费大量推理步数，无法维持长链条渗透（Section 5.2、Section 5.3）。

其他消融与分析

• Web利用运行间波动：Level-0下GPT-5.5在3次尝试中仅有17个漏洞在至少2次运行中被发现，其余14个仅在单次运行检出（Figure 7）。
• 后渗透靶场1案例突破：GPT-5.5在靶场1中依次攻破AJ-Report、H2数据库、DedeCMS及Spring服务，但在Spring未获取ActiveMQ凭据未能完成全网攻陷（Figure 12）。
• 基准外零日挖掘：GPT-5.5在WebExploitBench评测中自发发现ComfyUI任意文件写入0-day漏洞（Section 5.4）。
• 专用智能体对比：PentestGPT-V2在Figure 11分析的后渗透困难案例中尝试后未能成功解出（Section 5.4）。

作者指出的局限与后续方向

• 未覆盖全部攻击向量：作者在Section 6指出，基准虽涵盖Web利用与后渗透两个核心阶段，但未评测网络钓鱼、Windows域攻击、云端IAM权限滥用、供应链破坏以及社会工程学等攻击空间。
• 结果受外部实验配置影响：作者在Section 6指出，评测结果取决于所测试的系统、脚手架、提示词、工具集合与步数预算；更充裕的预算、更强的渗透工具或针对特定系统的提示可能提升成功率，而API不稳定、安全拒答与执行异常则会压低测得性能。
• 基于运行时证据的验证局限：作者在Section 6指出，验证器依赖可观测的运行时证据虽降低了假阳性，但可能漏记部分进展或替代的有效攻击路径，基准外的零日漏洞因而需要额外的人工验证。
• 自主探索与多步攻击规划瓶颈：作者在Section 5.4指出，虽然智能体在额外知识提示下表现提升，但自主暴露面探测、信息系统化收集以及跨主机多步攻击规划仍是智能体面临的关键瓶颈。
• 缺乏隐蔽操作与防御对抗纪律：作者在Section 5.3与Section 7指出，智能体容易反复触发蜜罐服务并在防御压力下留下警告日志，如何在受监控环境中维持隐蔽、有纪律的行动仍是一个开放挑战。

实验覆盖范围

• 评测系统与脚手架：实验覆盖6款前沿大模型（GPT-5.5、Claude-Opus-4.7、GLM-5.1、DeepSeek-V4-Pro、Qwen-3.7-Max、Kimi-2.6）及4款智能体脚手架（Codex、Claude Code、Qwen Code、Kimi Code），并在部分用例中测试了PentestGPT-V2（Section 5.1、Table 7）。
• 靶标与网络拓扑：WebExploitBench覆盖15个Web应用中的110个漏洞；PostExploitBench覆盖8个网络靶场，共156台内网主机及39个子网（Section 3.4、Table 2、Table 3）。
• 难度分级设置：评测包含Level-0、Level-1与Level-2共3种提示信息等级（Section 3.3）。
• 运行预算与重复次数：Web利用任务限制为150执行步，后渗透任务限制为500执行步，单任务超时为2小时；核心实验采用3次独立尝试统计Pass@3指标（Section 5.1）。
• 未报告信息：论文未报告针对各智能体进行针对性系统提示词优化（System-specific prompting）的具体调优对比数据（Section 6）。

• 核心定位与解决问题：AGENTCYBERRANGE是用于度量前沿AI在多主机靶场中自主网络攻击能力的开放评测基准。 研究旨在解决现有基准多局限于单点漏洞复现或CTF任务、难以反映从暴露面探测到多主机横向移动端到端攻击链条的问题。
• 评测设计与工具链：基准包含集成110个漏洞的WebExploitBench与涵盖8个靶场156台内网主机的PostExploitBench，配合CAGE工具链实现跨CLI智能体统一接口、自动化靶场编排与基于运行时金丝雀和主机标记的双重证据验证。
• 主评测基准表现：在无提示的Level-0设定下，GPT-5.5取得最高成功率，在Web利用与后渗透任务中的Pass@3 (Avg.)分别为16.06%和31.71%，在Pass@3 (Max)下成功攻破31个Web漏洞与43.90%的后渗透任务节点（Table 4、Table 5）。
• 知识提示带来的增益：提供具体脆弱URL（Level-1）使GPT-5.5在Web利用的Pass@3 (Avg.)提升至32.12%，而提供弱点详情与CVE编号（Level-2）使后渗透成功率进一步提升至46.34%（Table 8、Table 9）。
• 实战能力与攻击缺陷：评测中观察到智能体能自发发现ComfyUI的未公开任意文件写入0-day漏洞，并能在防病毒软件查杀Webshell后变异载荷；但智能体同时表现出运行波动大、深层交互检出率低（深度6仅11%）以及在复杂网络中易反复触发蜜罐的缺陷。
• 作者结论与防御启示：作者指出，当前前沿AI虽尚不具备稳定的端到端完全攻陷能力，但已展现出非平凡的实际威胁潜力；模型发布前安全评估需纳入全链条网络靶场评测，且防御方应将智能体自动化渗透纳入防御规划考量。