CyberArena：在实时对称攻防对抗中评测 AI 智能体

静态、单角色的网络安全基准测不出智能体在对手实时适应时同时进攻和防守的能力。

• 场景：作者认为真实行动里，一方利用漏洞、另一方修补，补丁再迫使攻击改道。固定评测会被泄漏解或记忆利用保住效果，也会随模型变强而饱和。
• 现有不足：作者指出三点。目标不适应；单角色把攻防拆开，防御评测重放预录利用而非实时对手（Figure 1）；作者定义的固定任务会失去区分力（Section 5.4）。
• 核心设定：对手的攻击和修补改变每一方面对的条件，服务与沙箱是共同环境。作者把竞争互动驱动的攻防共同演化称为 Recursive Adversarial Improvement（RAI），并把 CyberArena 称为迈向 RAI 的第一步。
• 本文提出：对称多轮攻防平台、把稀疏对局映到统一参照的动力学潜在能力模型、持续生成并审查新环境的智能体策展流水线，以及对 12 个前沿参赛者、40 个挑战、466 场有效对局的评测。
• 对抗设定：
  • 目标：每名参赛者同时夺取对手服务上轮换的读、写或执行目标，并修补、维持己方服务。
  • 知识：排名对局不给漏洞提示。简报描述应用、端口、源码路径和须保留的功能，不披露漏洞或修复。
  • 能力：对自己的服务有 root SSH，可编辑、重建、重启；经攻击网络访问对手服务。起始访问由挑战定义，防御修改跨轮保留。
  • 环境与判定：隔离沙箱中的相同脆弱服务。竞技场用 MCP 工具核验旗标与写入标记，健康检查器检查可用性与规定功能。排名时每轮至多计一次成功夺取。

单角色漏洞与 CTF 基准

• 夺旗与渗透：Shao et al.（2024）的 NYU CTF Bench、Zhang et al.（2025b）的 Cybench、Yang et al.（2023）的 InterCode 让孤立智能体从固定目标夺旗。渗透测试方向包括 Deng et al.（2024）的 PentestGPT、Gioacchini et al.（2024）的 AutoPenBench 和 Lin et al.（2026）。
• 真实软件漏洞：Fang et al.（2024）、Zhu et al.（2025，2026）、Wang et al.（2026a，2026b）、Lee et al.（2025）、Liu et al.（2026）、Zhang et al.（2025a）、Shi et al.（2026）分别覆盖一日或零日利用、Web CVE、PoC、缓解措施下的利用、漏洞赏金和端到端修补。
• 作者的对照：Table 1 中这些基准评测预定义任务，没有实时对手。作者特别指出 BountyBench 把 Exploit 与 Patch 分成针对已知漏洞的独立任务。本文沿用用旗标作为利用成功证据的 CTF 惯例，但把两个角色放进同一场。

能力估计与排名

• 场内积分不够跨场比较：Vigna et al.（2014）与 Zafar et al.（2024）用积分决定 CTF 胜者。作者指出跨比赛还要计入对手强度和题目难度；原始胜率依赖对手集合（Balduzzi et al., 2018；Omidshafiei et al., 2019）。
• 配对评分与项目反应：Bradley–Terry、Elo、Glicko、TrueSkill，以及 Chatbot Arena 的配对比较（Zheng et al., 2023；Chiang et al., 2024）。项目反应理论把成功与能力和难度联系起来（Lord and Novick, 1968；Reckase, 2009）。
• 分攻防的运动模型：Maher（1982）、Dixon and Coles（1997）分别估计进攻与防守强度。作者称本文把 Bradley–Terry 的攻防差与挑战特异的项目反应项合在一起。

有限预算下的选局

• 信息增益排程：Maia Polo et al.（2024）、Hofmann et al.（2025）讨论用更少样例做评测；Heckel et al.（2019）、Chiang et al.（2024）主动选择配对比较。作者据此按期望信息增益安排对局，而不是穷举配对。

实验对照与基准

• 对照不是把 Table 1 的基准再跑一遍。作者在同一 40 个挑战上比较单人攻击与三轮对抗（Section 5.4），并在同一 466 场有效对局上用只计胜、平、负的 Bradley–Terry 核对期望分排名（Appendix D.4）。

作者把 CyberArena 定位为把基于利用的评测扩展到面对适应型对手的同时攻防。Table 1 标题称，在所比较的现有工作中，它是首个让自主智能体面对实时、适应型对手并同时攻防的基准。

CyberArena 让两名 model–harness 参赛者在隔离沙箱托管同一脆弱服务，多轮同时进攻和防守；再用带轮次依赖的潜在能力模型，把稀疏对局映到共同参照上的期望分。

对局协议

• 每场三轮，每轮 20 分钟，不给漏洞提示。参赛者使用固定版本和固定设置。论文称每场需要两名智能体、历时一小时。
• 攻击方从挑战定义的基线访问出发，越过安全边界完成读、写或执行目标。目标每轮轮换，旧路径仍可用也要针对新目标夺取。防御修改跨轮保留。
• 周期性健康检查惩罚破坏规定功能的补丁。排名积分来自夺取（每轮至多一次成功）、阻止对手夺取，以及保持服务健康（Appendix A）。
• 每队一个智能体全程运行，轮询对局状态并自行决定进攻或修补。轮次计时器轮换目标，不在轮间重置智能体或服务。

能力估计与排名

• 对局 g=(i,j,c)。Y 表示 i 在该轮是否至少夺取 j 的一个目标；Z 为通过的健康探测数，归一化到 m=20。
• 计入轮次动态之前，夺取的对数几率为 η_i,j,c=α_c+λ_c[a_i−d_j+q_c^⊤(u_i−v_j)]。αc 是挑战难度截距，λc>0 控制能力差的敏感度，qc 是策展者指定的机制画像，ai、dj 为攻防能力，ui、vj 为机制专长。
• 同一进攻方向的三轮共享随机效应；另有轮次效应和上一轮夺取项。可用性由并行的 beta-binomial 从健康检查估计。动态与超参数先验在 53 场留出对局上标定，这些场不进入评测似然。
• 单场分数对回合平均夺取、未被对手夺取的回合和正常运行时间等权：S_i(g)=100/3[Ȳ_g,i+(1−Ȳ_g,j)+Z̄_g,i/m]。排名是该分数对所有对手、所有参照挑战和后验抽样的期望。每批之后用 Laplace 近似重拟合，并给出模型条件下的 5–95% 可信区间。专长在机制间、参赛者间和为零；log λc 在挑战间和为零。

自适应选局

• 穷举配对不可行。均匀试点之后，按参数的近似期望信息增益排程，并保留 25% 均匀探索，以应对模型误设（Appendix D.3）。排名活动中，试点之后各批计划 24 场。

智能体挑战策展

• 来源是公开漏洞公告，以及 saarCTF、FAUST、DEF CON CTF 决赛的攻防存档。公告类优先 CISA KEV 或 Metasploit 中有公开利用的条目，并用 OSV 定位易受攻击与已修补版本。撤回、缺证据、许可证不兼容或仓库不活跃的候选被排除。
• 有效攻击须经真实应用漏洞达成声明目标，评测环境引入的得分捷径无效，参考利用未覆盖的漏洞也可算。有效防御须挡住被测利用并保留规定功能（Figure 2）。简报不披露漏洞或修复，并附加到系统提示词。
• 公告类候选先隔离复现：同一概念验证只在易受攻击实例上达成目标，功能检查在两个实例上都通过；再做编辑、重启和干净环境重跑。打包不改变已验证的安全假设。
• 准入前由验证器检查构建、运行和接口。三名审查智能体分别做静态审查、作弊审查和可利用性审查；作弊审查须在参赛者权限下执行所报捷径。最终判定智能体对照源码与运行证据。有缺陷则退回，自动审查最多四轮。人类审查了 27 个挑战的安全假设、目标和设计。Appendix C 给出三层提示词全文：竞技场规则、运行指令、挑战简报。

核验设施

• 每个挑战是统一接口的 Python 包：固定镜像、目标植入与取回、功能检查、重启处理和简报。写、执行目标每轮须发布新标识，框架拒绝复用。
• 读和执行核对提交值；执行旗须由服务执行上下文中的辅助程序取出。写目标由设施从声明区域读回本队本轮标记，不在被防守容器内执行选手提交的命令。计分观测由设施产生，不由智能体自报。
• 46 个包中，40 个的网络检查器在健康轮询容器内、处于防守方 root 之外；4 个遗留包在服务容器内检查；2 个框架对照没有这两类功能检查器。

实验设置

• 被测参赛者：12 个，跨十个模型族，各配官方 harness，没有官方 harness 的用 OpenCode（Table 6）：GPT-5.6 Sol、Claude Opus 5、GLM-5.3、Gemini 3.7 Flash、Grok 4.6、Claude Opus 4.8、Qwen3.8 Max、Gemini 3.5 Flash、DeepSeek V4 Pro 0813、MiniMax M3、Kimi K3、HY4 Preview。
• 对局与题目：提交 760 场，得到 466 场有效对局；参照集 40 个挑战（14 个 CTF、26 个开源）。池中 46 个挑战，40 个有六机制画像。协议见 Section 3.1，提示词见 Appendix C.2。
• 标定与批次：53 场、六个挑战、四个参照模型（Claude Opus 4.8、GPT-5.5、Gemini 3.5 Flash、Kimi K3），不进入评测似然。22 个批次：三个均匀试点共 46 场有效对局，其后按 Section 3.3 计划每批 24 场。
• 指标：期望分按对手和挑战配置均匀平均，刻度为 0–100，附 90% 模型条件可信区间。另报告轮次夺取率、守旗率和健康探测通过率。Bradley–Terry 用同一 466 场的胜、平、负核对名次。
• 行为审计：GPT-6 Sol 与 GPT-6.1 Sol 审计全部 466 场，产出 2,397 条发现、673 个候选模式，249 个跨对局重复。论文写明这不构成对每条发现的独立人工核验。GPT-6 Sol 不是参赛者。
• 排除：294 场不计入分数：完成前失败 254、取消 25、记录无法解析 4、启动失败 1、健康探测不足的完成局 10。失败任务会重放。

主结果

表格较宽，可左右滑动

模型	期望分	90%区间	有效局	美元/局
GPT-5.6 Sol	78.6	76.8–80.2	83	17.7
Claude Opus 5	73.8	72.1–75.4	62	30.6
GLM-5.3	68.5	67.2–69.9	78	4.7
Gemini 3.7 Flash	67.1	65.9–68.2	76	7.3
Grok 4.6	65.5	63.9–66.9	86	5.4
Claude Opus 4.8	65.0	63.7–66.1	73	13.0
Kimi K3	57.0	55.2–58.9	77	4.7
HY4 Preview	56.3	54.7–58.2	81	1.2

据 Table 2。一场对局计两名参赛者，Games 是该参赛者的有效局数。省略 Qwen3.8 Max（62.3）、Gemini 3.5 Flash（60.6）、DeepSeek V4 Pro 0813（59.5）、MiniMax M3（59.1），数字均据 Table 2。

• 作者称在 22 个批次的累计重拟合中，GPT-5.6 Sol 始终第一，最后一次更新里所有参赛者分数变化不到 1 个百分点（Figure 4）。Gemini 3.7 Flash 于第 15 批之后、Claude Opus 5 于第 18 批之后加入，起点为共享先验。
• 标准 Bradley–Terry 与期望分的 Kendall τ=0.85，但前两名对调：Claude Opus 5 第一、GPT-5.6 Sol 第二。作者解释为前者只计胜者，期望分还计入分差。作者报告这些对调并非潜在能力上的统计显著差别（顶对 p=0.41，其余 0.64–0.99）。另有 Grok 4.6 与 Gemini 3.7 Flash 对调，以及 Gemini 3.5 Flash、DeepSeek V4 Pro 0813、MiniMax M3 顺序相反。
• 作者报告 12 名智能体的攻击与防御能力 Pearson r=0.85（Figure 3b）；六个机制轴中五轴同样如此，protocol and state 上攻防几乎不相关（Figure 5）。Figure 6 中 GPT-5.6 Sol 守旗轮次占 83%，Claude Opus 5 为 81%，其余为 43–61%。上一轮丢旗后，前者下一轮再丢的比例为 44%，其余智能体合并为 62%。作者认为这与轮间防御适应更一致。

实时对抗中的行为

• 事件记录加全量轨迹审计。GPT-5.6 Sol 在第 1 轮首次完成服务重启的中位数为 2.3 分钟，其余为 3.9–12.3 分钟（Figure 9）。Table 4 一例中，它 0.7 分钟夺旗、1.2 分钟部署补丁，Claude Opus 4.8 到 18.9 分钟才部署。审计对局中，另外九个模型的智能体在 9% 的场次识别出防御修复但推迟部署。
• 第 1–2 轮丢旗后，防守方在 67% 的情形查询针对己方的攻击，57% 在下一轮前重启。重启者下一轮守住旗的比例为 60%，未重启者为 9%。作者称这是关联，不能据此认定防御已经生效。
• Table 3（占 466 场审计对局，类别可重叠）：部分补丁留下另一条已观察到的路径 21%；修复声明超出记录测试 23%；主动睡眠度过轮次 14%；过度拦截合法流程 8%；已识别修复未部署 9%；轮换后仍用旧目标或旧证明 8%；攻击者安装的代码在修复或重启后仍可执行 4%。作者称 Grok 4.6 动作记录稀疏，其低记录频率难以解释（Figure 10）。案例还包括绕过被封端点、自写抓包后轮换被复用的令牌，以及插件在入口修补和重启后仍可执行（Figure 11、Table 4）。

单人与对抗

• 对 GPT-5.6 Sol、Claude Opus 4.8、GLM-5.3，单人攻击是对未加固服务的两次单轮尝试（初次加一次重试），任一尝试夺旗即算解出。40 个挑战中 30 个被三者都解出。正文没有逐个给出三者在全部 40 个挑战上的单人百分比；Figure 12a 画的是这组单人结果。
• 在这 30 个挑战的对抗局中，第 3 轮夺旗率分别为 52%、37%、35%（Section 5.4）。引言称到第三轮的合计夺旗率为 42%。作者推测，这种动态交互可以在不不断退役题目的情况下应对基准饱和。

竞技场完整性

• 空沙箱只暴露静态健康端点，仍正常放旗和轮换。三场初始对局有 6 次经未认证观众端点被接受的夺取。限制面板并排除受影响对局后，重放三组配对，18 个攻击方轮次中 22 次提交均未被接受（Appendix E.2）。
• 第二探针保留 etcd（CVE-2026-33343）和 NATS（CVE-2026-58209）的应用漏洞，但把可计分旗移出该漏洞暴露的数据。八场没有提交被接受。
• 排名活动有一部分发生在面板限制之前。记录筛查未发现对该路由的调用或提及；一个 harness 的转录省略工具调用，1,336 次接受夺取中有 121 次只能筛查模型文本。审计直接关联到捷径的接受夺取为 6 次，占 0.45%，分布在 3/466 场（0.64%），仍留在排名中。

其他消融与分析

• 有效局模型词元费用合计 8,368 美元，场均 18.0 美元；含排除运行后活动花费 10,542 美元。190,893 次请求中 95% 的提示词 token 来自提供商缓存；缓存输入占费用 62%，输出占 13%（Figure 8）。
• 466 场共 53,511 次游戏工具调用，场均 115 次；get_game_state 25,066 次（53.8/场），get_attacks_received 14,739 次（31.6/场）（Figure 13）。
• nginx-ui-management 的检查器在运行器上泄漏内存，该挑战没有有效局，仍留在参照集，分数由共享参数和先验预测（Section 5.2）。
• 标定中带上一轮夺取项的 M3，按批次、配对、挑战留出的对数分数最高，为 -158.0、-158.4、-186.1（Table 8）。留出批次上，它对“100”序列预测 18.2、观测 31，对“101”预测 6.4、观测 1（Appendix D.2）。
• Appendix D.4：72 场平局。对全部 66 对做 Holm 校正后，种子 0 报告 25 对、种子 20260925 报告 27 对达到 5% 水平；GPT-5.6 Sol 与 Claude Opus 5 的校正后 p 在两个种子下均为 1.0。
• 直接 SSH 登录探测出现在 141 场（30.3%），作者称没有证据表明这些直接探测成功。七场（1.5%）有按网络地址或账号识别或优待健康检查器的尝试（Appendix E.3）。

作者指出的局限与后续方向

• 功能检查不全：自动功能测试只覆盖预期行为的一部分，可能漏掉部分退化或未测路径上的失败（Section 6）。
• 检查器可被区别对待：审计在七场中发现按网络地址或账号识别健康检查器的尝试；有的防御对检查器放行、对其他客户端拒绝。经 SSH 在智能体主机上跑检查还有状态伪造风险。作者提出共享入口代理、更广的行为测试和随机化检查器身份（Section 6）。
• 生态覆盖：目前只探索 12 组固定的模型–工具组合和有限挑战领域，更广配置和专门漏洞类型未被测量。作者称开源编排、策展、挑战套件和执行日志，以邀请分布式审计和社区提交（Section 6）。
• 攻击范围：成对、单服务对局省略拒绝服务等体积型向量和多智能体蜂群。作者认为潜在模型按离散结果聚合、与智能体数量无关，扩展到分布式多服务主要需要编排更新（Section 6）。
• 尚未优化能力：目前只测量、不优化。作者提出把离线策略优化用于这些轨迹，再把改进后的参赛者送回竞技场，以闭合 RAI（Section 6）。
• 标定范围：只覆盖四个参赛者和六个挑战，且未建立 Laplace 区间的名义覆盖；区间在 Section 3.2 被报告为模型条件的（Appendix D.2）。

实验覆盖范围

• 排名为单次活动：12 个参赛者、40 个参照挑战、提交 760 场、有效 466 场、22 个批次；294 场排除运行不计入分数（Section 5.2）。
• 单人对照只包含 GPT-5.6 Sol、Claude Opus 4.8、GLM-5.3，每题一次初次尝试加一次重试（Section 5.4）。
• 轨迹审计覆盖全部 466 场有效局，由 GPT-6 Sol 与 GPT-6.1 Sol 完成。论文写明程序支持可追溯，但不构成对每条发现的独立人工核验（Section 5.3）。论文未报告审计与人工判断的一致性数值。
• 完整性探针包括空沙箱，以及 etcd（CVE-2026-33343）和 NATS（CVE-2026-58209）；排名记录另做了面板路由筛查（Section 5.5）。
• 池中 46 个挑战里 6 个被打过但尚未画像、不在排名参照中；nginx-ui-management 在参照集中但没有有效局（Section 5.2、Appendix B）。人类审查了 27 个挑战（Section 4）。

CyberArena 是面向网络安全智能体的对称、多轮、攻防同时进行的动态基准。

• 问题：孤立智能体对不变目标夺旗或打补丁，测不到对手实时改条件时的速度和精度；固定题目还会饱和，泄漏或记住的利用仍可能有效。
• 做法：两名参赛者在隔离沙箱托管同一脆弱服务，三轮各 20 分钟，同时夺旗并修补己方。设施核验旗、写入标记和健康，而不是接受自报。自动流水线从 CTF 存档和公开漏洞生成、审查并验证环境。潜在模型把攻防差、挑战难度、机制专长和轮次依赖映成共同参照上的期望分，并用期望信息增益分配对局。
• 排名：12 个前沿参赛者、40 个挑战、466 场有效对局中，GPT-5.6 Sol 期望分 78.6，Claude Opus 5 为 73.8（Table 2）。只计胜负的 Bradley–Terry 把这两名对调，与期望分的 Kendall τ=0.85；作者报告该对调的 p=0.41，不把它当作潜在能力上的统计显著差别。
• 攻防与饱和：12 名智能体的攻击与防御能力 Pearson r=0.85。三者都单人解出的 30 个挑战上，第 3 轮夺旗率为 52%、37%、35%。引言给出的合计率为 42%。
• 行为：审计对局中，部分补丁占 21%，修复声明超出记录测试占 23%。也有跨轮仍可执行的攻击者代码，以及自写抓包后轮换凭据。作者称这些轨迹更像对打，而不是一次考试。
• 作者的结论：把对手当作测量仪器，能记下静态基准看不到的行为；静态谜题会饱和，竞争性竞技场可作为测量并引导攻防共同演化的基础。作者同时写明功能检查覆盖不全、标定窄，而且当前只测量能力，还没有用这些轨迹去优化策略。