Skip to content

Translation in progress Some entries still include text in the original language.

arXiv:Agent 与 MCP 安全· arXiv:2609.18120· Rushabh Vipulkumar Patel·Indexed by this site · Originally published

PentestChain:面向免费层 LLM 的成本感知 MCP 编排自动化渗透测试框架

PentestChain: A Cost-Aware, MCP-Orchestrated Framework for Automated Penetration Testing with Free-Tier LLMs

Quick read

Other

Based on 论文 PDF (AI 生成); refer to the original

Patel 等提出 PentestChain:确定性利用图加免费层 LLM 级联,在 Metasploitable 2 上四次运行平均产出 11.5±0.6 个已确认会话,测得付费 API 成本为 $0。

Questions
GPT-4 等前沿模型能做自动渗透,但按次 token 费用使持续测试对资源较少的组织不可负担。作者问:免费层与本地 LLM 加确定性回退,能否在效果接近的同时把每次交战成本降到零。
Methods
PentestChain 在 Kali 容器中跑十阶段流水线:41 条 (端口, 关键词) 利用图承担利用逻辑,LLM 只做九个有界角色。成本感知级联先试本地 Ollama qwen2.5:7b,再免费 OpenRouter 与 Cerebras,最后规则回退。FastMCP 暴露十一工具,并配四项缓解。
Experiments and results
已测的是五个异构目标上的遗留指标。Metasploitable 2 四次运行检测 26 个服务、富集 34 个 CVE、exploits ready 为 11.5±0.6,规则回退率 3.6±0.6%,付费成本 $0。现代 Debian 一次检查匹配到 0 个利用模块。标准化测试床、基线复现与消融在 Table 2 中标为 Projected,结果尚未收集。
Limitations and future work
作者称单次现代主机运行不能在规模上确立加固基础设施上的行为,A3 无法仅靠引擎关闭,利用图对加固目标会正确不触发。AutoPenBench、Cybench 子集、PentestGPT 182 子任务、基线复现与四因素消融均为计划协议,结果未收集。
Experimental setupMetasploitable 2、OWASP Broken Web Applications (BWA) et al. · open ports、services et al.
Threat model
引擎经 MCP 暴露时的四面威胁:A1 恶意客户端把引擎指向未授权目标;A2 恶意服务器或工具投毒(tool poisoning、rug-pull、line-jumping);A3 客户端 RCE(如 CVE-2025-6514);A4 MITM 或 confused deputy。资产为利用能力、决策完整性与交战数据机密性。
Benchmarks
Metasploitable 2OWASP Broken Web Applications (BWA)Windows 7 SP1bWAPP/bee-boxcontemporary Debian host
Metrics
open portsservicesCVEs enrichedexploits ready / confirmed sessionsfallback ratetokenspipeline timepaid-API dollar costweb findingsOllama success rate
AI summaryPentestChain 是一个十阶段自动化渗透测试框架,通过成本感知的 AI 级联(本地 Ollama qwen2.5-7b 优先,其次免费层 OpenRouter 与 Cerebras,并带规则回退)在零付费 API 成本下实现端到端运行,并以 MCP 服务器暴露 11 个工具。该框架基于 2025 年 MCP 事件记录(mcp-remote 的 CVE-2025-6514 远程代码执行漏洞、postmark-mcp 供应链后门及工具投毒类攻击)建立四位置威胁模型并提出四项缓解措施。

PentestChain 是一个十阶段自动化渗透测试框架,通过成本感知的 AI 级联(本地 Ollama qwen2.5-7b 优先,其次免费层 OpenRouter 与 Cerebras,并带规则回退)在零付费 API 成本下实现端到端运行,并以 MCP 服务器暴露 11 个工具。该框架基于 2025 年 MCP 事件记录(mcp-remote 的 CVE-2025-6514 远程代码执行漏洞、postmark-mcp 供应链后门及工具投毒类攻击)建立四位置威胁模型并提出四项缓解措施。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    免费层与本地 LLM 加确定性回退,能否把自动渗透的每次交战付费成本降到零并保持可用。

    免费层与本地模型驱动的结构化流水线,加上确定性回退,能否在效果上接近依赖前沿模型的框架,同时把每次交战的付费成本降到零。

    • 场景与重要性:作者援引 2024 年新 CVE 量同比约增 32%、超过四万条,以及平均数据泄露成本 488 万美元、ISC2 估计的 480 万从业人员缺口。渗透测试能在攻击者之前发现问题,但成本与频次难以维持。作者称已有 AI 工具几乎都假设可无限制使用 GPT-4 一类前沿模型,持续测试对最需要它的较小组织不可负担。
    • 现有方法的不足:作者称进攻安全评测综述里只有约四分之一的已发表原型评测过本地或小模型,免费层区间基本未被刻画。已发表框架几乎只评效果:PentestGPT、AutoPentester 用 GPT-4,Ezetta–Feng 与同名多智能体预印本用 GPT-4.1,PentAGI 接受本地模型但严肃工作假定前沿模型。作者称这些工作都不报告每次交战的美元成本,也不问免费层模型是否够用。Fang 等报告自主 GPT-4 智能体在一组一日漏洞上利用率为 87%,平均每次运行 3.52 美元,约为人力的 2.8 倍便宜,但仍是持续测试下会累积的按次费用。
    • 核心观察:作者认为知识–执行差距使小模型常能用自然语言描述攻击,却难以通过工具调用执行;把执行放进确定性利用图后,模型只需做标注与排序。作者认为成本下降因此是结构性的,而不是用质量换价格。
    • 本文提出什么:PentestChain,在 Kali Linux Docker 容器中运行的十阶段自动渗透框架,配 PostgreSQL。确定性利用图承载进攻逻辑,成本感知级联依次尝试本地 Ollama、免费层云提供商与规则回退,整条流水线经带十一工具的 MCP 服务器暴露。作者还给出四面 MCP 威胁模型与四项缓解,以及一套可复现、容器化的评测协议。
    • 威胁模型:受害面是经通用工具调用协议暴露的自主利用引擎,作者称这与目标网络本身的攻击面不同。术语上,engine 是 PentestChain 的 Flask/MCP 进程,host 是驱动它的 MCP 兼容客户端,target 是被测系统。
      • 目标与资产:保护 (i) 利用能力本身,防止对操作者无权测试的系统作未授权使用;(ii) 引擎决策的完整性,即它遵从哪些主机指令;(iii) 交战数据的机密性,包括扫描结果、后利用中恢复的凭据与目标清单。
      • A1 恶意客户端:主机把引擎指向操作者无权测试的目标,使防御工具变成未授权访问工具。
      • A2 被攻陷或敌对的服务器 / 工具投毒:恶意 MCP 服务器,或受信服务器上被投毒的工具描述,注入指令供主机模型执行。作者引用 tool poisoning、rug-pull 与 line-jumping,以及野外观察到的 postmark-mcp 供应链后门。
      • A3 客户端远程代码执行与 A4:A3 中客户端协议处理缺陷让敌对服务器在操作者机器上执行代码,实例为 CVE-2025-6514(CVSS 9.6,mcp-remote 0.0.5–0.1.15)。A4 为中间人 / confused deputy:重放或重排工具调用,或诱使引擎用合法目标授权为攻击者服务。
  2. What related research exists?

    相关工作覆盖自动渗透、进攻 LLM、安全智能体基准、成本可及性,以及 MCP 攻击面。

    自动渗透从强化学习到 LLM 智能体

    • DeepExploit [58] 与 POMDP 路线:DeepExploit 训练 A3C 智能体按 banner 选择 Metasploit 模块,但未超出训练目标泛化。Schwartz 与 Kurniawati [55] 把渗透测试形式化为 POMDP,作者称无模型 RL 可在仿真中找到最优攻击路径。Microsoft CyberBattleSim [45] 提供抽象网络攻击环境;Erdődi 与 Sommervoll 的 Agent Web Model [18] 把 RL 扩展到 Web。Ghanem 等 [25] 在 Metasploitable 风格目标上演示深度 RL 利用,但训练成本高且对 banner 变化脆弱。作者称仿真到现实的差距是 RL 路线反复出现的弱点 [61]。
    • 与本文的关系:作者称 PentestChain 用策展的利用图配上仅在无规则匹配时使用的 AI 回退,避开端到端学习,换取无需训练数据的确定性、可解释利用选择。

    LLM 用于进攻安全

    • Happe 与 Cito、PentestGPT、AutoPentester、PenHeal:Happe 与 Cito [32] 在人工引导下用对话模型驱动提权;其 2025 综述 [31] 认为 LLM 擅长检索与解释输出,不擅长长程规划与可靠生成命令。PentestGPT [14] 显示 LLM 具备任务知识,但需要人复制每条命令。AutoPentester [27] 用直接工具调用补上这一环。PenHeal [36] 加入修复建议,作者称漏洞覆盖提高 31%。
    • PentestAgent、D-CIPHER 与 Fang 等:PentestAgent [57] 被作者称为方法上最接近的先例,把交战分解为情报收集、漏洞分析与利用,由带 RAG 的协作智能体驱动,报告阶段完成度而非单一数字。D-CIPHER [26, 62] 用规划与异构执行角色推进多智能体方向。Fang 等 [21–23] 表明前沿智能体能自主攻击网站、在给定描述时利用一日 CVE,并以团队形式向零日衔接。
    • 知识–执行差距:作者称小与中等模型常能正确描述攻击,却不能经工具调用执行,而类型化工具接口可挽回其中很大一部分性能 [30]。这直接推动把执行交给确定性利用图。

    安全智能体基准与成本

    • 标准化测试床:Cybench [66] 汇集 40 个职业 CTF 任务,以 First Solve Time 作难度代理,有无引导与子任务引导两种模式。AutoPenBench [28] 提供 33 个按里程碑计分的任务(22 个体外加 11 个真实 CVE),作者称其自主成功率远低于人工辅助。PentestGPT 基准 [14] 把 13 个目标分解为 182 个子任务,覆盖 OWASP Top 10。NYU CTF Bench [56] 增加面向 LLM 进攻任务的开源 CTF 数据集。Happe 与 Cito [30] 编目指标与测试床,并记录小模型评测缺口。
    • 成本与可及性:作者称已发表框架几乎只评效果。Ezetta–Feng 工具包 [20] 用 GPT-4.1 报告标题结果;同名多智能体预印本 [4] 在超过一百个 VulHub 与 NVD 漏洞上,信息收集、漏洞发现与利用成功率分别为 87.3%、62.3% 与 56.6%。PentAGI [1, 65] 接受本地模型,但严肃工作假定前沿模型。作者称没有人把每次交战美元成本当作一等指标。

    MCP:从协议到攻击面

    • 协议与事件:Model Context Protocol [6, 7] 由 Anthropic 于 2024 年 11 月发布,定义主机与服务器之间的 JSON-RPC 工具调用。作者引用 2025 年事件记录 [13, 38, 40, 60] 与分类法 [34, 67]。MCPSecBench [3] 提供探测 MCP 实现的系统化场地。另一支研究工具集成智能体中的提示注入及协议暴露 [44]。
    • 两个名为 PentestMCP 的工作:Ezetta–Feng 工具包 [20] 是扫描、枚举、指纹、漏洞扫描、利用与后利用的 MCP 服务器实现库,是积木而非带成本度量的编排流水线。多智能体框架 [4] 把 LLM、MCP 与 RAG 放在任务图之后,用 GPT-4.1 在 100+ VulHub/NVD CVE 上评测。相对 PentAGI [65](前沿优先、可本地)和需微调的本地智能体 xOffense [5],作者称 PentestChain 不需训练,并在模型之下保留确定性正确性下限。

    基线方法与基准:计划中的同测试床基线是 PentestGPT [14] 与 PentestAgent [57],仪器为 AutoPenBench、Cybench 子集与 PentestGPT 的 182 子任务基准。Table 2 将基线复现标为 Projected,结果尚未收集。已测数字来自五个自建目标,而不是这些标准化测试床。

    作者把本文定位为:把进攻逻辑放进确定性图,使免费层或本地模型够用;报告测得的零美元成本;并分析所暴露的 MCP 面,而不是只把 MCP 当管道。作者在第 6 节同测试床复现基线,而不是对照它们已发表的数字;该复现本身仍属计划协议。

  3. How does the paper address this problem?

    十阶段流水线以 41 条确定性利用图为骨干,LLM 只做九个有界角色,并按成本顺序级联。

    PentestChain 把利用选择放在确定性图上,只在图未命中时调用有界的模型建议,并用按成本排序、以规则为底的级联保证每次调用都有输出。

    四层架构与十阶段流水线

    • 四层:表示层是 Flask,Web UI 在端口 4444,经 Flask-SocketIO 推送事件。编排层是带分阶段日志的 run_full_scan 状态机。执行层以子进程包装 Nmap、Metasploit(pymetasploit3)、Nikto、sqlmap 与 WPScan,并解析结构化输出。持久层是 PostgreSQL。横切服务为 AI helper(在九个有界点调用)和端口 8000 上的 FastMCP 服务器。
    • 十个阶段:(0) 网络发现与拓扑;(1) 多技术端口发现;(2) 服务版本检测;(3) NSE 脚本扫描,由 AI 协助选脚本;(4) 并行查询 NVD、CISA KEV、ExploitDB 与 OSV 做多源 CVE 富集;(5) 仅对面向 Web 的服务做 Nikto、Dirb、sqlmap、WPScan;(6) 先查图再 AI 回退的利用生成;(7) 经保持的 Metasploit 交互控制台做实机利用;(8) 生成含风险、修复与验证的修复建议;(9) 导出 HTML、PDF、DOCX、JSON。
    • 九个有界角色:网络区域标注、NSE 脚本选择、CVE 排序、利用建议、Web 标志选择、修复撰写,以及三个分析步骤。每个角色都有确定性回退,作者称没有任何一次 AI 调用位于关键路径上。

    成本感知级联与利用图

    • 调用顺序:call_ai_fast 按严格成本顺序尝试 (1) 本地 Ollama 的 qwen2.5:7b(边际成本为零,数据留在主机);(2) 免费层 OpenRouter;(3) 免费层 Cerebras;(4) 总是成功的规则结果。非 200、429 或超时则换下一家,并把该提供商标为死亡 90 秒。每分钟守卫保持在免费层上限内。开发期间云提供商从 Groq 与 Gemini 迁到 OpenRouter 与 Cerebras,原因是 Groq 收紧限速,且 Gemini 在高峰对大约 30% 的免费层调用返回 HTTP 503。每次调用记录模型字符串。
    • 不失败不变式:算法 1 中确定性分支 D_r 是全函数,所有云提供商耗尽时每个调用点仍得到合式结果。作者称因此免费层用尽时框架仍然正确,而不只是免费层可用时便宜。
    • EXPLOIT_MAP:Python 字典,把 (port, keyword) 映到 (msf_module, payload, needs_lhost)。当前 41 条,覆盖 FTP、SMB、数据库、Web、distcc、IRC、VNC、NFS 等。关键词用 Nmap 打印的精确版本串,以子串包含匹配。needs_lhost 区分反向 shell 与 bind shell 及辅助模块,避免开发中发现的一类静默失败:对 vsftpd 一类后门设置 LHOST 会使 Metasploit 报错。
    • 选择过程:算法 2 中,端口相等且关键词是 banner 子串则直接配置模块;未命中才调用 call_ai_fast 的 Suggest 角色,建议经 IsValidModule 校验后才使用,否则返回 None,作者称这是诚实的未命中,不声称建立会话。

    成本模型与 CVE 富集

    • 美元成本:对一次交战,付费成本为各提供商输入、输出 token 乘以对应单价之和,即论文公式 (1) 的 C_eng。每一项从 ai_calls 表读取。本地 Ollama 的单价按构造为 0;OpenRouter 与 Cerebras 只在免费配额内使用,配额内单价为 0;确定性分支不发 API 调用。作者称因此 C_eng = 0 是该配置的不变式,只有启用付费层才会产生费用。反事实是把免费/本地层换成付费层后 token 量大体不变但单价大于 0,成本随测得 token 量线性增长;论文把该付费数字当作投影,而不是测得的 PentestChain 成本。
    • CVE 富集:对每个检测到的服务并行查 NIST NVD(CVSS v3.1)、CISA KEV、ExploitDB 与 Google OSV,按 CVE 标识符合并,再由 AI 评分角色按 CVSS、KEV 标志与是否有利用代码排序,回退为只按 CVSS。

    MCP 暴露与四项缓解

    • 十一工具:start_scan、get_scan_status、list_services、get_cves_for_service、run_exploit、get_exploitation_results、generate_remediation、get_remediation_for_service、get_full_report、list_active_sessions、stop_scan。每个工具是对 Flask 应用的一次 HTTP 请求。
    • 控制与残余风险(Table 1):(1) 只绑定 127.0.0.1,对应 A1、A4;(2) 扫描工具在服务器启动时固定的目标允许列表上校验目标 IP,对应 A1;(3) 工具面排除文件系统写入与修复脚本执行,对应 A2;(4) 每次工具调用记录时间戳、工具名与参数,对应 A2、A3、A4。Table 1 将 A1、A4 的残余风险标为 Low,A2 为 Medium,A3 为 High。作者称这些是纵深防御:A3 是客户端缺陷,引擎不能单独关闭,因而建议固定客户端版本并把工具描述当作不可信输入。规范层上,远程 HTTP 传输现要求带 PKCE 的 OAuth 2.1;作者称已部署服务器中只有一部分实现了规定的授权,且 A3 表明 OAuth 流程本身也是攻击面。

    实现与部署

    • 环境:开发环境为 Windows 11、Docker Desktop 与 VirtualBox。Kali 容器基于 kalilinux/kali-rolling,含 Nmap、Metasploit、sqlmap、Nikto、WPScan、Python 3.11。Docker Compose 在桥接网络上编排应用与 PostgreSQL,eventlet 固定为 0.33.3。已测目标之一是隔离的仅主机网络上的 Metasploitable 2 虚拟机。交互式 Metasploit 控制台使用 30 秒截止时间,以便会话在修复验证期间保持。
    • 三种部署:仅 Web UI(MCP 服务器停止)、仅 MCP(外部主机驱动,浏览器不打开)、以及二者同时。作者称仅 MCP 对应免费层与隔离网络的叙述:只对本地 Ollama 运行,除隔离目标网络外无出站流量。同一代码库支持三种模式。
    • 度量仪器:PostgreSQL 六张表为 scans、services、cves、exploitation、remediation、ai_calls。ai_calls 记录提供商、模型字符串、token 数、延迟与结果,使回退率与美元成本可从记录计算。
  4. What experiments did the paper conduct?

    五个自建目标共十次运行已测得,零付费成本;标准化测试床、基线与消融尚未收集。

    实验设置

    • 已测与计划的分界:Table 2 标明,Tables 3、6、4、5 的遗留单目标指标为 Measured;AutoPenBench、Cybench、PentestGPT 基准上的标准化结果、PentestGPT 与 PentestAgent 的基线复现、以及消融均为 Projected,结果尚未收集,不能当作已测结果。
    • 已测目标与运行:单主机上的 Kali 容器(Flask UI 端口 4444,FastMCP 端口 8000)加 PostgreSQL。五个目标共十次运行:Metasploitable 2(Linux,4 次)、OWASP BWA(含 DVWA、WebGoat、Mutillidae 及 15+ 应用,2 次)、Windows 7 SP1(暴露 SMB/RDP,2 次)、Docker 中的 bWAPP/bee-box(1 次)、当代 Debian 主机(1 次)。
    • 模型与级联:本地 Ollama qwen2.5:7b,然后免费层 OpenRouter 与 Cerebras,再规则回退。论文未报告这些已测运行的温度、随机种子或重复试验次数超出上述运行数。
    • 已测指标:检测覆盖、利用成功、修复覆盖、AI 回退率、流水线时间、token 消耗、每次交战美元成本。Web 发现数也有报告。成功判定在利用上是经 Metasploit 确认的 shell 或 Meterpreter 会话。
    • 计划中的协议(未收集):AutoPenBench 33 个里程碑任务、Cybench 40 个 CTF 中的分层子集(无引导与子任务引导)、PentestGPT 基准 13 个目标上的 182 个子任务。每配置至少 10 次独立试验,报告均值±标准差、95% 置信区间,以及 k 属于 {1, 3, 5} 的 pass@k;比较用 Mann–Whitney U 或 Wilcoxon 符号秩检验,效应量用 Cohen's h 与 Cliff's δ,多重比较用 Holm–Bonferroni。样本量论证针对 10 个百分点的成功率差异。基线将在相同测试床与工具上复现 PentestGPT 与 PentestAgent,各取其文档中最强配置。四因素消融为 MCP 对直接编排、完整级联对仅本地对单提供商、qwen2.5:7b 对更大本地模型对付费 API 模型、以及 map+AI 对仅 AI。

    主结果

    Table 3 是 Metasploitable 2 上四次运行。Table 4 是五个目标的汇总;BWA 与 Win7 为两次运行的均值,bWAPP 与现代主机各一次。MSF2 的 CVE、critical、high 取 Table 3 的四次运行数字。

    Swipe horizontally to read the table

    指标MSF2(4 次)BWA(2 次均值)Win7(2 次均值)bWAPP(1 次)Modern(1 次)
    Open ports26.8 ± 0.510.0422.5213
    CVEs enriched34.0 ± 0.085.044.0147
    Critical7.0 ± 0.037.05.521
    Exploitsready 11.5 ± 0.6confirmed 3.0confirmed 1.0confirmed 0confirmed 0
    Web findings60(§6.9)180.559.57448
    Dollar cost$0$0$0$0$0

    据 Table 3 与 Table 4。MSF2 的 high 为 18.5 ± 4.0;服务数 26.0 ± 0.0;token 181 ± 23K;流水线时间 21.7 ± 4.4 分钟(R1 为“—”,均值来自 R2–R4);Ollama 调用 76.8 ± 12.0;修复计划 13.3 ± 0.6(R1 未报告);回退率 3.6 ± 0.6%。

    • 作者的解读:作者称确定性利用图在脆弱目标上无需修改即可跨平台匹配,例如 BWA 与 Windows 7 上的 tomcat_mgr_upload 与 ms17_010_eternalblue,以及 Metasploitable 2 上的 vsftpd_backdoor、samba_usermap_script 与 distcc_exec。零成本在全部十次运行上保持。
    • 利用细节(§6.8):distcc_exec 以 bind 载荷在端口 4445 打开 cmd/unix shell(Session 1);postgres_payload 上传共享对象,在同一 bind 端口打开 Meterpreter(Session 2)。按扫描配置,每次运行记录 5 到 23 次成功利用动作。作者称确定性图在咨询 AI 建议者之前抓住了其中大部分。修复为每个检测到的服务生成,报告可导出四种格式。
    • 负面与例外:Windows 7 两次运行差异大,Run 1 为 530 端口 / 59 CVE / 2 个利用(含 EternalBlue),Run 2 为 315 / 29 / 0;作者认为可能来自 Windows 防火墙状态不同。bWAPP 表面最小(14 个 CVE,无可利用模块),仍有 74 条 Web 发现。现代 Debian 上检测与富集可用,确定性利用正确不触发。

    级联可靠性与成本

    • 测了什么:Table 6 按提供商拆每次运行的调用、成功率、延迟与成本。正文另给出 OpenRouter 与 Cerebras 的调用均值。
    • 结果:Ollama qwen2.5:7b 平均 76.8 次调用,成功率 96.4%,延迟 16,114 ms,成本 $0。OpenRouter(免费)21.8 次、$0;Cerebras(免费)21.8 次、$0;二者的成功率与延迟在 Table 6 中为“—”,论文称未单独仪器化。规则回退占 AI 决策的 3.6%,成功率 100%,延迟 <1 ms,成本 $0。四次交战的测得付费 API 支出为零。回退率 3.6 ± 0.6%,作者称集中在免费层提供商的高峰时段。
    • 作者的解读:因为规则路径总返回有效结果,AI 层的端到端可靠性按构造实际上为 100%,没有阶段会因缺少模型响应而失败。

    现代主机抽查与一次 BWA 走查

    • 现代 Debian(Table 5,192.168.64.9,一次):端口 22 OpenSSH 8.4p1,发现为“—”;端口 80 Apache httpd 2.4.51,17 条发现;端口 81 nginx 1.18.0,31 条发现。7 个 CVE(1 critical、1 high),0 个利用模块匹配,风险 3.0/10。AI 排序把 CVE-2021-44790(CVSS 9.8)与 CVE-2021-44224(CVSS 8.2)置于较低严重度的 nginx OSV 通告之上。Web 阶段仍有 48 条发现。作者称遗留 BWA 的风险分为 10.0/10,并认为评分反映的是可利用性而不是发现条数。作者同时写明,单次运行不能在规模上确立加固基础设施上的行为,但这种降级是架构预期的结果。
    • 一次 OWASP BWA 走查(§6.15):扫描端口 1–10000,检测到十个开放服务;多源富集得到 79 个独立 CVE(37 critical、28 high)。这与 Table 4 的 BWA 均值(85.0 个 CVE、37.0 critical)不是同一汇总口径。AI 定向的 Web 阶段产生 163 条发现,其中 15 个反射型 XSS 概念验证。阶段 8 为全部五个可修复服务生成修复,付费 API 成本为零。Table 4 的 BWA Web 发现均值为 180.5,与这次走查的 163 不是同一个数。

    基线对照表的性质

    • Table 7 不是同测试床实测:PentestGPT 为三模块、人工回路、GPT-4、成本 N/R、评测范围 182 子任务;PentestAgent 为多智能体加 RAG、GPT-4、成本 N/R、74.2% succ.;Ezetta–Feng 为 MCP 工具包、GPT-4.1、100+ VulHub;多智能体 PentestMCP 为 GPT-4.1、100+ CVE;PentAGI 为 12+ 智能体、Premium、成本 N/R;Nessus 等为插件 CVE 枚举、无模型、许可证、企业且不利用。PentestChain 一行写 Free/local、$0、5 个目标 10 次运行。作者称商业扫描器不展示利用是设计使然。作者称 PentestChain 展示的是从侦察到已验证修复的端到端功能、测得成本为零。Table 2 写明基线复现仍是 Projected,因此 Table 7 中他人数字是文献定位,不是本文同测试床复现结果。

    其他消融与分析

    • §6.7 富集样例:四次运行检测到 26.8 ± 0.5 个开放端口与 26 个服务,富集 34 个独立 CVE(7 critical,high 为 15–22,视扫描配置而定)。点名 CVE-2011-2523(CVSS 9.8)、CVE-2008-0122(CVSS 10.0)、CVE-2010-2075。
    • §6.9 Web:阶段 5 只对判定为面向 Web 的服务扫描,产生 60 条发现,XSS 与注入问题与服务级 CVE 分开归组。
    • 计划中的消融预期(未收集):作者预期去掉确定性图会使 7B 模型的已确认利用下降,而信息收集几乎不动;免费层槽位在长程 Cybench 与子任务轴上落后付费槽位最多,在确定性骨干支持的富集轴上落后最少。
    • token 反事实:Table 3 均值 181 ± 23K token/交战。作者把 Fang 等的每次运行 3.52 美元作为外部锚点,并称在持续测试下该费用会按交战重复,而公式 (1) 在本配置下不随量变化、保持为零。该 3.52 美元不是 PentestChain 的测得成本。
  5. What are some points that can be further explored?

    标准化测试床、同床基线与四因素消融仍是计划;单次现代主机运行被作者标为不能确立规模行为。

    作者指出的局限与后续方向

    • 单次现代主机不能确立规模行为:§6.13 写明,对当代 Debian 的单次运行不能在规模上确立加固基础设施上的行为;作者同时称这种降级是架构预期结果(Discussion 重复了检测与富集可用、确定性利用不触发这一点)。
    • A3 不能由引擎单独关闭:§3.3 与保障小节写明,四项控制是纵深防御,不是安全性证明;A3 是客户端侧缺陷,建议固定客户端版本并把工具描述当作不可信输入。Table 1 将 A3 残余风险标为 High。§9 写将回访残余风险。
    • 计划中的未知缺陷走协调披露:伦理与披露小节写明,计划中的实验若发现先前未知的缺陷,将以 45–90 天窗口做协调披露。产物发布在 Open Science 附录中设有门控。作者计划发布,而不是已经完成公开产物。
    • 标准化比较、基线复现与消融尚未收集:§6 与 Table 2 明确这些是 planned protocol,结果尚未收集,不得读成已测结果。§6.11 用 “we will report” 列出将报告的 AutoPenBench、Cybench 子集与 PentestGPT 基准指标。这是作者标明的未完成评测,而不是已完成实验里的数字偏低。
    • 遗留目标的外部效度:§6.1 把遗留目标引起的外部效度问题当作采用三个既有容器化测试床的理由。作者在 Discussion 中把现代主机抽查看作对 legacy-only 局限的探查,并预期利用图在加固目标上不触发。

    实验覆盖范围

    • 已测运行:五个目标、共十次运行,指标见 Tables 3–6:Metasploitable 2 四次,BWA 两次,Windows 7 SP1 两次,bWAPP/bee-box 一次,当代 Debian 一次(§6.6、§6.12、§6.13)。
    • 已测模型槽位:本地 Ollama qwen2.5:7b、免费层 OpenRouter、免费层 Cerebras,以及规则回退(Table 6)。OpenRouter 与 Cerebras 的成功率、延迟在 Table 6 中未单独仪器化。
    • 已测能力范围:服务检测、四源 CVE 富集、Metasploit 确认会话、面向 Web 服务的扫描发现、按服务的修复生成,以及从 ai_calls 算出的 token、延迟、回退率与付费美元成本。
    • 协议已写明但结果标为 Projected:AutoPenBench(33 个任务)、Cybench 子集、PentestGPT 182 子任务、PentestGPT 与 PentestAgent 的同测试床复现,以及 MCP、成本路由、模型规模、利用图四项消融(Table 2,§6.1、§6.5、§6.11)。论文未报告这些配置的 pass@k、显著性检验或效应量的实测值。
    • 统计与成本仪器的已写范围:计划协议规定每配置至少 10 次试验并记录种子、模型字符串与完整提示词(§6.4)。已测遗留运行的次数是上文的 4、2、2、1、1,论文未报告这些运行的温度或 pass@k。成本只在免费/本地配置下测量为 $0;付费层成本以公式 (1) 与 Fang 等的 3.52 美元作为投影(§6.3、Table 2)。
  6. Summarize the main content of the paper

    确定性利用图加免费层级联在十次自建运行上测得付费成本为零;标准化对照仍是计划。

    PentestChain 是一个十阶段、经 MCP 暴露的自动渗透框架,用确定性利用图把 7B 本地模型挡在利用关键路径之外,并把每次交战的美元成本当作实测指标。

    • 问题:前沿模型上的自动渗透按次收费,持续测试对资源较少的组织不可负担。作者问免费层与本地模型加确定性回退能否把该费用降到零,同时保持端到端可用。
    • 做法:41 条 (端口, 关键词) 到 Metasploit 模块的映射优先于模型。call_ai_fast 依次尝试 Ollama qwen2.5:7b、免费 OpenRouter、免费 Cerebras,最后用全函数式规则回退。LLM 只承担九个有界角色。FastMCP 提供十一工具,并以本机绑定、目标允许列表、排除写入、审计日志对应 A1–A4。付费成本 C_eng 由 ai_calls 中的 token 与单价计算,在该配置下单价被约束为 0。
    • 已测结果:Metasploitable 2 四次运行平均 26.8±0.5 个开放端口、26 个服务、34 个 CVE、11.5±0.6 个 ready exploits、回退率 3.6±0.6%、181±23K token、流水线 21.7±4.4 分钟(R1 时间未报告)、付费成本 $0(Table 3)。Ollama 成功率 96.4±0.6%,延迟 16,114 ms(Table 6)。五个目标共十次运行的付费成本均为 $0(Table 4)。现代 Debian 一次运行富集 7 个 CVE、匹配 0 个利用模块、风险 3.0/10(Table 5)。
    • 尚未测得:AutoPenBench、Cybench 子集、PentestGPT 182 子任务、同测试床的 PentestGPT 与 PentestAgent,以及四因素消融,在 Table 2 中均为 Projected。Table 7 中其他系统的成功率与 “N/R” 成本来自文献定位,不是本文复现。
    • 作者的结论:作者认为起作用的是架构而不是规模:图负责小模型不能稳定生成的执行,模型限于标注与排序,因而 7B 配置可以在没有前沿模型时完成从侦察到修复的流程。作者认为现代主机上利用不触发是预期的降级,并认为发布的增量风险在于可及性与规模,因为框架编排的是已公开的工具。作者同时写明 A3 无法仅靠引擎关闭,单次加固主机运行不能确立规模上的行为。
Read originalarxiv.org