DoGNAVY-Exploit:用并行开放权重智能体实现阶段感知的漏洞利用
DoGNAVY-Exploit: Harnessing Parallel Open-Weight Agents for Stage-Aware Vulnerability Exploitation
作者提出多智能体框架 DoGNAVY-Exploit,称让开源权重模型 GLM-5.2 在 Cybench 达 97.5% Pass@1、CVE-Bench 达 97.5%(zero-day)/100%(one-day)。
任务设定:给定漏洞描述与 PoC(proof-of-vulnerability),智能体在可执行环境中与目标交互,把已知漏洞逐步开发成完整 exploit,目标如获取 flag、任意代码执行或提权;评测在受控基准环境(Cybench、CVE-Bench、ExploitGym)中进行。
- 前沿闭源模型能把已知漏洞变成可用 exploit,但成本高且常因安全护栏拒绝网络安全请求;开源权重模型便宜可得,却在长链利用中难以保持进度,也难以在恰当阶段运用安全知识。
- 作者提出多智能体框架 DoGNAVY-Exploit:把利用过程分解为三个里程碑阶段,阶段内由 route planner 提出多条候选路线、并行 executor 验证、controller 依据运行时证据裁决,并按阶段和角色渐进披露专家知识,共享结构化记忆沉淀已验证事实与失败路线。
- 以 GLM-5.2 为骨干,Cybench Pass@1 97.5%,CVE-Bench zero-day 97.5%、one-day 100%;ExploitGym 上 GLM-5.2 解 79/225 题、GLM-5.3 解 157/485 题,对应公开 Claude Code 基线为 39 和 130 题;GLM-5.2 配置每例 $4.80、每 $1,000 产出 18.94 个 exploit。
- 作者未设专门局限章节;ExploitGym 因资源限制只评测子集(225/485 题,由团队安全专家选取),与公开基线的任务覆盖和时长预算(8 小时对 6 小时)不同,作者改用成本比较;公开前沿数字来自各自原始设置,非受控对比。
- 被测模型
- GLM-5.2GLM-5.3
- 基准
- CybenchCVE-BenchExploitGym
- 指标
- Pass@1on-target exploitscost per case (USD)successful exploits per $1,000
研究者提出多智能体框架 DoGNAVY-Exploit,让开放权重模型完成长链条漏洞利用,GLM-5.2 在 Cybench 上达到 97.5% Pass@1。框架用可配置里程碑把长链条利用拆成短的可验证能力跃迁,只在对应阶段披露相关专家知识;分层编排让规划者提出多条攻击路线、执行者并行测试,控制器仅在运行时证据支持时接受进展,共享结构化记忆汇总已验证事实、产物、复现步骤与失败路线。在 CVE-Bench 上,GLM-5.2 取得 97.5% 零日漏洞和 100% 一日漏洞 Pass@1;在 ExploitGym 上,GLM-5.2 解出 79 个任务、GLM-5.3 解出 157 个,对应 Claude Code 公开基线分别为 39 个和 130 个。消融结果显示,阶段感知编排、专家知识、并行探索与记忆设计均能提升开放权重智能体的漏洞利用能力。
相关热点
1 个事件 · 1 条新闻提到
提到这篇论文的新闻
大模型安全周报:智能体安全边界在签名、授权与上下文
- 公众号 大模型安全研究引用了论文编号或链接大模型安全周报:智能体的安全边界在签名、授权与上下文三层防线里
DoGNAVY-Exploit: Harnessing Parallel Open-Weight Agents for Stage-Aware Vulnerability Exploitation(https://arxiv.org/abs/2611.04196)
深度解读
这篇论文试图解决什么问题?
如何让低成本开源权重模型获得强的漏洞利用能力,以替代昂贵且受限的闭源前沿模型。
核心问题:如何让开源权重、低成本模型具备强的漏洞利用(vulnerability exploitation)能力。
- 场景与动机:LLM 智能体已能在真实执行环境中做漏洞利用——迭代探索多个攻击方向、发现可利用原语并组合成多步 exploit 链。但现有自动利用系统多依赖闭源模型:作者引述 GPT-5.6 平均每例 token 成本约 $147,且前沿模型的安全护栏可能拒绝正当的网络安全研究请求。
- 开源模型的两个不足(Figure 1):一是长程探索困境——智能体易陷入无效重复尝试,且系统状态、原语、证据等大量信息累积造成上下文压力;二是安全知识与时机问题——模型可能拥有相关知识,但不知道在利用链的哪个阶段、何种上下文中应用它。
- 核心观察:利用过程天然支持不同粒度的规划——验证一条路线是否可行是粗粒度目标,验证某个原语是细粒度任务;高层规划者只需要验证过的结论和证据摘要,不需要完整低层交互轨迹。
- 论文提出:DoGNAVY-Exploit,一个多智能体 harness,结合阶段感知分解与渐进式专家知识披露、层级编排与并行探索、共享结构化记忆,并在 Cybench、CVE-Bench、ExploitGym 三个基准上评测。
- 任务设定:
- 输入:漏洞描述与 PoC(proof-of-vulnerability),以及可执行环境(源码、二进制、工具)。
- 目标:把已知漏洞开发成具体安全影响,如任意代码执行、提权到 root、取回目标容器中的 flag。
- 受害系统:基准提供的沙箱化目标(CTF 环境、含漏洞 Web 应用、userspace/V8/Linux kernel 目标)。
- 成功判定:单次独立运行中完成任务(Pass@1),ExploitGym 还区分 on-target 与 off-target 捕获。
有哪些相关研究?
相关工作分漏洞利用基准与网络安全多智能体系统两类;基线为 ReAct、OpenCode 和公开前沿结果。
漏洞利用与评测基准
- 漏洞利用指把软件漏洞转化为攻击者可控能力或安全影响,而非仅发现 bug(Baratloo et al., 2000;Cowan et al., 1998;Kiriansky et al., 2002)。
- 针对 LLM 智能体利用能力的基准:Cybench(Zhang et al., 2024)、CVE-Bench(Zhu et al., 2025)、ExploitBench(Lee & Brumley, 2026)、ExploitGym(Wang et al., 2026)。
网络安全多智能体系统
- 多数工作聚焦漏洞复现与修复,协调漏洞理解、PoC 构建、补丁生成与执行验证(Liu et al., 2026a;Phan et al., 2026;Li et al., 2025b;Fu et al., 2026;Zhang et al., 2026;Zheng et al., 2026)。
- Co-RedTeam(He et al., 2026b)面向更广的红队流程,协调漏洞发现与利用;Automation-Exploit(Andreucci & Castiglione, 2026)在数字孪生环境中验证有破坏性的 payload 以降低实网风险。论文指出针对高难度漏洞利用专门构建的多智能体系统较少。
长程任务与上下文问题(引言引用)
- 智能体在长程任务中易陷入无效循环(Laban et al., 2025;He et al., 2026a);长上下文累积会损害模型表现(Liu et al., 2023;Bai et al., 2023;Hsieh et al., 2024;Lu et al., 2026);模型可能拥有知识但难以利用(Zhao et al., 2026;Kazemnejad et al., 2023)。
基线与对比
- 受控基线:ReAct(Yao et al., 2022)与 OpenCode(Anomalyco, 2025),均使用同一 GLM-5.2 骨干;ExploitGym 上另有公开 Claude Code 基线。
- 公开前沿结果(非受控):Claude Mythos Preview、Claude Opus 4.7、GPT-5.5、Muse Spark 1.1(Cybench);GPT-5.6、GPT-5.4 Thinking、FailSafe SWARM(CVE-Bench);GPT-5.6 Sol、Claude Mythos 5、GPT-5.4(ExploitGym)。
作者将本文定位为:聚焦漏洞已暴露之后的长程 exploit 开发过程,用阶段分解、层级规划、并行探索与阶段专属知识/记忆帮助开源模型构建并验证复杂利用链。
论文如何解决这个问题?
DoGNAVY-Exploit:三阶段里程碑分解 + 层级规划并行探索 + 按阶段和角色披露知识 + 共享结构化记忆。
整体思路:把长程漏洞利用重构为短而可验证的阶段推进,在每个阶段内用层级多智能体架构并行探索多条攻击路线,只向各智能体披露与其阶段和角色相关的专家知识。DoGNAVY-Exploit 由三个组件构成(Figure 2)。
阶段感知分解(Stage-Aware Decomposition)
- 仿照人类安全专家的流程,把利用分为三个递进阶段,每阶段有具体里程碑决定是否进入下一阶段。
- Stage 1(漏洞中心):复现漏洞、理解触发条件、受影响组件与执行环境。
- Stage 2(原语发现):主动探测目标,寻找可组合成完整 exploit 的关键原语,如任意读、任意写、任意代码执行。
- Stage 3(利用链构建):把已发现原语组合成完整攻击路径,迭代优化直至最终目标(如取回 flag)。
层级规划与并行探索
- route planner:维护全局利用方向,提出多条异构候选路线(每个里程碑最多 3 条)。
- task planner:把每条路线翻译为具体、可验证的子目标。
- executor:3 个并行执行器并发验证互补假设,向规划者返回简洁、有证据支持的结论。
- controller:依据运行时证据评估进展,决定路线继续、合并、修改或终止;只有证据支持的进展才被接受。
- 设计理由(作者称):分层使低层试错细节不淹没全局规划上下文;并行探索能更有效覆盖搜索空间,部分路线失败时仍可能找到可行路径。
知识与记忆系统
- 知识按两个维度组织:按利用阶段渐进披露(早期给漏洞分析知识,后期给原语组合与利用构建知识);按角色专门化——planner 获得策略与路线选择知识,executor 获得实验与 payload 构建的操作知识,controller 获得证据评估知识。
- 共享结构化记忆:不保留原始交互历史,而是持续沉淀为紧凑可复用状态:已验证事实、被证伪的假设、可复用产物(脚本、地址、payload 组件、已发现原语)。
- 到达重要里程碑时保存证据与中间结果,后续智能体可回放(replay)或直接复用;记忆周期性压缩为 state capsule 供规划系统做全局决策。
实现与运行配置
- 每个智能体实例构建在 OpenCode 框架上,OpenCode 提供底层智能体执行与工具交互能力。
- 主实验骨干为 GLM-5.2,ExploitGym 上另测 GLM-5.3;采样设置:temperature 1.0、top-p 0.95、最大输出 32,000 token、reasoning effort 设为 max。
- 每个实例 wall-clock 上限 8 小时;主实验启用全部组件,消融逐一移除。
成功判定
- 主指标 Pass@1:单次独立运行中成功解决的任务比例;ExploitGym 以绝对解题数报告,并区分 on-target(命中目标漏洞)与 off-target(拿到 flag 但偏离目标漏洞)捕获。
论文做了哪些实验?
三个基准上 GLM-5.2 达 97.5%/97.5%/100% Pass@1,ExploitGym 解题数超 Claude Code 基线,消融显示各组件均有贡献。
实验设置
- 被测系统:DoGNAVY-Exploit 以 GLM-5.2 为骨干(三个基准),ExploitGym 上加测 GLM-5.3。
- 基准:Cybench(40 个专业级 CTF 任务);CVE-Bench(真实 Web 应用漏洞,分 zero-day 与 one-day,40 任务);ExploitGym(把已知漏洞变成可用 exploit,共 869 任务,覆盖 userspace、V8、Linux kernel;因资源限制只评测子集,GLM-5.2 评 225 题、GLM-5.3 评 485 题,子集由团队安全专家选取)。
- 基线:受控基线 ReAct 与 OpenCode(同 GLM-5.2 骨干、同 8 小时预算);公开前沿结果取自各自报告(Table 1、2、3 中以 † 或"Public"标注,评测设置不同)。
- 指标:Pass@1(单次独立运行解决比例);ExploitGym 报告绝对解题数、on-target/off-target 捕获、每例成本、每 $1,000 成功 exploit 数。
- 运行参数:每里程碑最多 3 条候选路线、3 个并行 executor;每实例 8 小时 wall-clock(公开 ExploitGym 基线为 6 小时,作者称因 API token 速度差异,wall-clock 对比不公平,故改用成本对比)。
- 论文未报告重复运行次数与人工评估。
主结果
据 Table 1、Table 2、Table 3(† 为公开报告结果,设置不受控):
表格较宽,可左右滑动
系统 基准 任务数 结果 DoGNAVY-Exploit (GLM-5.2) Cybench 40 97.5% OpenCode (GLM-5.2) Cybench 40 87.5% ReAct (GLM-5.2) Cybench 40 82.5% DoGNAVY-Exploit (GLM-5.2) CVE-Bench zero-day / one-day 40 97.5% / 100.0% OpenCode (GLM-5.2) CVE-Bench zero-day / one-day 40 65.0% / 87.5% ReAct (GLM-5.2) CVE-Bench zero-day / one-day 40 50.0% / 85.0% DoGNAVY-Exploit (GLM-5.3 / 5.2) ExploitGym 485 / 225 157 / 79 题 Claude Code (GLM-5.3 / 5.2,公开) ExploitGym 869 130 / 39 题 - 作者称,Cybench 上相对 OpenCode 的提升说明收益并非来自更强的底层编码智能体(DoGNAVY 的智能体本身就建在 OpenCode 上);把预算从 8 小时延到 10 小时可解出剩余 1 题,达 40/40。
- 公开前沿结果中,Cybench 上仅 Claude Mythos Preview 在 35 题子集上达 100.0% 更高;CVE-Bench 上 GPT-5.6 在 34 题上报告 93.1%(zero-day)。作者强调这些不是受控对比。
- ExploitGym 上,作者称 GLM-5.3 配置比对应 Claude Code 基线多解 27 题(+20.8%),GLM-5.2 多解 40 题(+102.6%);注意 DoGNAVY 评测的任务数更少。
成本效率(ExploitGym,Section 4.5)
- 测了什么:每例平均成本与 on-target exploit 数(Figure 3),以及成本归一化产出 E_1K = (1000/C_case) × (S_on-target/869)(Figure 4);对子集评测,未评任务按失败保守处理。
- 结果:GLM-5.3 配置 157 个 exploit、每例 $20.91;GLM-5.2 配置 79 个、每例 $4.80(对比 GPT-5.5 为 129 个、$35.43;Claude Opus 4.7 每例 $4.82)。每 $1,000 成功 exploit 数:GLM-5.2 为 18.94、GLM-5.3 为 8.64,最强基线 GPT-5.5 为 4.19。
- 作者解读:两种配置都位于经验成本-能力前沿上,作者称同等成本下开源配置比闭源系统利用更多漏洞。
任务族分解与失败模式(Tables 4、5)
- 测了什么:ExploitGym 按 Kernel / Userspace / V8 分解 flag 捕获、on-target 与 off-target。
- 结果:GLM-5.2 的 31 个 off-target 捕获中 30 个在 userspace;GLM-5.3 的 40 个 off-target 全部在 userspace;kernel 与 V8 合计仅 1 个 off-target。on-target 率:GLM-5.2 总体 35.1%(79/225),GLM-5.3 总体 32.4%(157/485)。
- 作者解读:userspace 的主要挑战不是构造可用 exploit,而是把 exploit 可靠地导向目标漏洞;userspace 攻击面更大,更易发现替代性可利用行为而偏离目标 bug。
消融(Table 6,40 个 ExploitGym 案例,GLM-5.3)
- 完整系统:解 30/40(75.0%),19.570M token、$8.613、成功耗时 1h59m06s。
- 去阶段分解:解 24(-20.0%),token +59.7%,耗时 +55.9%。
- 去专家知识:解 24(-20.0%),token +86.3%、成本 +84.6%,为各消融中资源增幅最大。
- 去并行执行:解 18(成功率 75.0%→45.0%),性能降幅最大;token +72.2%、成本 +61.9%。
- 去记忆:解 28(-6.7%),解题数降幅最小,但延迟增幅最大(+76.2%);作者称记忆主要通过避免重复工作加速利用。
案例研究(附录 A)
- 附录 A 给出 user:cybergym/arvo_5256(userspace 目标)的完整轨迹:11 个阶段、55 条证据记录、72 个状态事件、762 条命令、984 条工具输出,展示三次 fan-out 决策如何把共享失败转化为修复步骤、锁定唯一有类型化控制边的路线并打包、再从打包原语分支终端投递策略直至通过 host evaluator 验证。作者强调该结果只在受控 ExploitGym 环境中成立,不代表对任意 RawSpeed 部署的可部署攻击。
有什么可以进一步探索的点?
作者未设局限章节,仅提出 harness 与领域模型协同演进的未来方向;实验覆盖存在子集评测与非受控对比。
作者指出的局限与后续方向
- 未来方向:作者计划探索智能体 harness 与领域专用模型的协同演进(co-evolution)(Conclusion)。
- 评测覆盖:因资源与成本限制,ExploitGym 只在团队安全专家选取的子集上评测(GLM-5.2 评 225 题、GLM-5.3 评 485 题,全量 869 题);作者指出全量运行 GPT-5.6 Sol 约需 $127,743(Section 4.4 ExploitGym 段)。
- 对比设置:公开前沿结果使用各自原始评测设置与覆盖范围,作者明确说明这些不构成受控对比(Section 4.4 CVE-Bench 段、Table 1 脚注)。
- 预算差异:ExploitGym 实验中本方用 8 小时 wall-clock、公开基线为 6 小时;作者称 API token 速度差异使 wall-clock 对比不公平,故改用总成本与效率对比(Section 4.3)。
- 论文未设专门的 Limitations 章节。
实验覆盖范围
- 被测骨干模型为 GLM-5.2 与 GLM-5.3 两个开源权重模型;其余系统(ReAct、OpenCode、Claude Code、GPT-5.x、Claude Mythos/Opus、Muse Spark 1.1、FailSafe SWARM)均为基线,其中公开前沿数字取自各自报告。
- 基准为 Cybench(40 题)、CVE-Bench(40 题,zero-day/one-day)、ExploitGym(子集 225/485 题,全量 869 题)。
- 消融在 40 个 ExploitGym 案例上进行,使用 GLM-5.3,逐一移除阶段分解、专家知识、并行执行、记忆四个组件。
- 成本数字按模型厂商官方 API 定价计算;无公开成本信息的系统未纳入成本对比(Section 4.5)。
- 论文未报告每个任务的重复运行次数、Pass@1 的方差或置信区间,也未报告人工评估或评审模型。
总结一下论文的主要内容
多智能体 harness DoGNAVY-Exploit 让开源 GLM 模型在三个利用基准上接近或超过公开前沿结果,且成本更低。
DoGNAVY-Exploit 是一个面向漏洞利用的多智能体 harness,目标是让低成本开源权重模型替代昂贵且受护栏限制的闭源前沿模型完成长程 exploit 开发。
- 问题:开源模型在长链利用中难以保持全局进度、上下文被低层试错淹没,且难以在恰当阶段应用安全知识。
- 方法:三阶段里程碑分解(漏洞复现→原语发现→利用链构建);阶段内 route planner 提多条候选路线、3 个 executor 并行验证、controller 凭运行时证据裁决;专家知识按阶段和角色渐进披露;共享结构化记忆沉淀已验证事实、被证伪假设与可复用产物,并压缩为 state capsule 供全局决策。智能体实例建在 OpenCode 上。
- 主结果(GLM-5.2 骨干):Cybench Pass@1 97.5%(39/40,ReAct 82.5%、OpenCode 87.5%);CVE-Bench zero-day 97.5%、one-day 100%(Table 1、2)。
- ExploitGym:GLM-5.2 解 79/225 题、GLM-5.3 解 157/485 题,对应公开 Claude Code 基线为 39 和 39→130 题(全量 869 题,覆盖不同);GLM-5.2 配置每例 $4.80、每 $1,000 产出 18.94 个 exploit,最强基线 GPT-5.5 为 4.19(Figure 4)。
- 消融(40 题、GLM-5.3):去并行执行成功率从 75.0% 降至 45.0%,去专家知识使 token 增 86.3%,去阶段分解解 24 题,去记忆延迟增 76.2%(Table 6)。
- 作者结论:利用专用的编排设计能让开源模型以更低的成本接近前沿水平的能力;未来计划探索 harness 与领域专用模型的协同演进。对 AI 安全读者,附录 A 的案例显示该 harness 能在 762 条命令的长轨迹中保持进度并把失败路线转化为修复信号——作者同时强调结果限于受控基准环境。