Skip to content

Translation in progress Some entries still include text in the original language.

论文追踪· arXiv:2610.04243·Indexed by this site · Originally published

NeuroSploit v4.2.0 在 GOAD 上的评测:结构化智能体编排提升 AD 渗透测试

NeuroSploit on GOAD

Quick read

Evaluation and benchmarks

Based on 论文 PDF (AI 生成); refer to the original

NeuroSploit在GOAD测9个模型,覆盖96.4–100%;Opus直调仅21.4–53.6%。

Questions
AD沦陷被作者视为内网渗透影响最大的结果。独立LLM同时规划、执行和验证,会出现技术选择偏向、状态无感知和用叙述代替工具回执。评测对象是GOAD上的结构化harness与直接调用之差。
Methods
NeuroSploit v4.2.0把22个AD智能体和7条多阶段链交给harness编排,模型只负责生成。信念门、CWE验证器、跨模型投票和六类护栏在改状态与确认发现前拦截。对照是同一工具集上的直接调用。
Experiments and results
Table I:harness覆盖96.4–100%,链完成91.7–100%。Table V:Opus直调覆盖21.4–53.6%。Astra三项均为100%,三域118分钟;Opus 4.8加harness为134分钟。
Limitations and future work
作者将外推限制在故意脆弱的GOAD、单一拓扑和已有低权限凭据,并写明部分技术只证可达、未实际执行。实验覆盖9个模型的harness与3个Opus的直接调用,各3次、温度0.0。论文未报告专家复核一致性,也未写明投票模型名称。
Experimental setupClaude Opus 4.6、Claude Opus 4.7 et al. · GOAD (full lab, v2) · Technique Coverage、Chain Completion Rate (CCR) et al.
Evaluated models
Claude Opus 4.6Claude Opus 4.7Claude Opus 4.8GPT-6 AstraGPT-5.6 SolGrok 4.6Qwen 3.8GLM 5.3Kimi k3
Benchmarks
GOAD (full lab, v2)
Metrics
Technique CoverageChain Completion Rate (CCR)PrecisionTime to Compromise (TTC)Token CostGuardrail Activations
AI summary开源 Rust 自主渗透测试框架 NeuroSploit v4.2.0 在 GOAD 靶场(5 台虚拟机、2 个森林、3 个域)上完成评测,其编排 22 个 AD 专用智能体与 7 套多阶段攻击链 playbook,覆盖枚举、Kerberoasting、AD CS(ESC1-ESC8)、DCSync、跨森林信任滥用等完整杀伤链。对 Claude Opus 4.6/4.7/4.8、GPT-6 Astra、GPT-5.6 Sol、Grok 4.6、Qwen 3.8、GLM 5.3、Kimi k3 九个前沿模型的测试显示,框架实现 96-100% 技术覆盖率与 90-97% 精确率,直接调用仅覆盖 21-54% 且误报多出 3.2 倍;使用 Opus 4.8 时 134 分钟完成三域完全攻陷,护栏机制阻止了触发锁定的喷洒、未授权 DCSync 转储与越界侦察。

开源 Rust 自主渗透测试框架 NeuroSploit v4.2.0 在 GOAD 靶场(5 台虚拟机、2 个森林、3 个域)上完成评测,其编排 22 个 AD 专用智能体与 7 套多阶段攻击链 playbook,覆盖枚举、Kerberoasting、AD CS(ESC1-ESC8)、DCSync、跨森林信任滥用等完整杀伤链。对 Claude Opus 4.6/4.7/4.8、GPT-6 Astra、GPT-5.6 Sol、Grok 4.6、Qwen 3.8、GLM 5.3、Kimi k3 九个前沿模型的测试显示,框架实现 96-100% 技术覆盖率与 90-97% 精确率,直接调用仅覆盖 21-54% 且误报多出 3.2 倍;使用 Opus 4.8 时 134 分钟完成三域完全攻陷,护栏机制阻止了触发锁定的喷洒、未授权 DCSync 转储与越界侦察。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    评测结构化harness能否补上独立LLM做AD自主渗透时的选择、状态与验证缺口。

    独立LLM做assumed-breach的AD自主渗透时,规划、执行和验证绑在同一模型上,缺少可强制的状态、授权与证据约束。

    • 场景: 作者称AD支撑逾90%的Fortune 1000身份管理,沦陷是内网渗透中影响最大的结果。交战要串起侦察到跨林滥用,并避免锁定和破坏性副作用。
    • 现有不足: 作者认为模型兼任规划、执行和验证,因而偏向熟悉技术、改属性前不记状态、用叙述宣布成功。论文指出COCHISE无确定性验证器、跨模型投票和结构化护栏。
    • 核心判断: 作者主张编排与生成分离:按攻击面选智能体,改状态前授权,用回执和跨模型投票核验。五项保证属性被放在harness,而不是模型。
    • 评测对象: 评测NeuroSploit v4.2.0在GOAD(5台虚拟机、2林、3域)上的表现,激活22个AD智能体和7条链,比较9个模型与部分直接调用。
    • 评测设定: 设定为assumed-breach:低权限域用户起步,凭据可经信任跨林使用。直接调用有同一工具集,但无智能体提示、链编排、护栏和跨模型验证。
  2. What related research exists?

    相关工作集中在独立LLM渗透框架、AD实验床和评测伦理,作者用编排与验证作区分。

    作者将NeuroSploit放在独立LLM渗透框架之后,强调编排与验证分离,而不是只换模型。

    LLM自主渗透测试

    • PentestGPT(Deng等,2024): 推理、生成、解析三模块,在HackTheBox机器上评测。论文未把它当作本文数值基线。
    • 团队与流水线: 论文转述Fang等(2024)的智能体团队能利用现实零日,并称单个智能体做不到同等结果。AutoAttacker(Xu等,2024)用规划–执行和角色扮演越狱,在GPT-4上攻击虚拟网络。PentestAgent(Shen等,2024)按侦察到后渗透分阶段执行。
    • COCHISE(Happe与Cito,2025): 作者称这是首个在AD中做assumed-breach全自主渗透的LLM框架,在GOAD上比较五个含推理、非推理和开放权重的模型。论文转述其暴露的限制是死胡同、规划与执行之间信息不完整,以及安全方面的担心,并另指出它没有确定性验证器、跨模型投票和结构化护栏。

    实验床、评测文献与伦理

    • GOAD(Orange Cyberdefense,2023): 故意脆弱的AD实验环境。完整实验为5台虚拟机、2林、3域、双向信任。植入项包括口令复用、用户SPN、关闭预认证、危险ACL、委派、MSSQL链接、有漏洞的AD CS模板、关闭SMB签名、启用LLMNR/NBT-NS,以及SID filtering部分关闭的跨林信任。
    • 综述与其他原型: Li等(2026)称2023–2026年有81篇Agent4Pentest论文。Incalmo、PenForge、AutoPentest分别做多主机协同、按目标临时建专家智能体,以及Web场景的漏洞管理。Happe等(2025)讨论进攻性安全的实验床与指标;ZeroDayBench、StealthBench分别评零日利用与行动隐蔽性。
    • 伦理框架: Beilinson等(2026)讨论自主进攻智能体的护栏要求。作者后文用该框架讨论双重用途,没有把它当作实验基线。

    对照系统、基线与定位

    • 技术文献: 作者综述Kerberoasting、AS-REP roasting、DCSync、AD CS(Schroeder与Christensen的ESC1–ESC13)、NTLM中继与胁迫、委派、危险ACL、MSSQL链接、GPO、DPAPI、LAPS/gMSA。作者称到林沦陷通常要串3–7个技术。
    • xOffense(Khan等,2025): Table VI把它写成带领域适配模型的多智能体、自定义实验环境、Web加部分基础设施、基本范围控制和多智能体共识。该表把覆盖和假阳性标为Not quantified。
    • 基线方法: 基线是同一模型的直接调用,只用Claude Opus 4.6/4.7/4.8,环境是GOAD full lab。Table VI把本文与COCHISE、xOffense按架构并置,不是同一协议下的数值复跑。作者把差异概括为覆盖广度、不依赖模型自述的验证,以及放在模型控制面之外的安全架构。
  3. How does the paper address this problem?

    NeuroSploit把选路、状态、授权和证据核验从模型生成中拆出,再在GOAD上评测。

    NeuroSploit v4.2.0是Rust(tokio)实现的自主渗透harness。AD交战不启用全部473个markdown智能体,只激活22个AD智能体和7个链智能体。模型生成动作,harness保存状态、选择智能体、执行授权并核验证据。

    四层架构

    • 执行层: 在Kali sandbox中派发工具,范围门默认拒绝,审计记录哈希链接。sandbox为Docker,无宿主网络、无socket挂载,并设置no-new-privileges。
    • 编排层: 属性图上的POMDP信念、按侦察信号选智能体、攻击链推进和状态图。
    • 验证层: 发现由另一个模型裁决,而不是产出它的模型;另有27个CWE验证器和PoC再验证。--votes为3。论文写RL加权投票需收敛才确认,未给出权重,也未写出投票模型名称。
    • 报告层: 严重性用已演示的攻击复杂度、所需权限和范围变化代入FIRST CVSS v3.1方程,而不是按漏洞类别赋值。输出包括Markdown、SARIF 2.1.0和JSON。

    智能体与链

    • 文档结构: 每个智能体是markdown,含阶段、决策点和预期工具命令的用户提示,以及角色、安全约束、报告格式和前置发现链接。正文没有给出这些提示的全文。
    • 六类个体智能体: 侦察先读锁定策略,再门控后续猜密。凭据类把破解放在离线侧。其余为中继与胁迫、提权、横向移动,以及域沦陷(单账户DCSync证明、跨林、只检测不安装的持久化、关键CVE检查)。
    • 七条链的题材: Kerberoast经ACL到域管理员、本地管理员经凭据搜刮到域沦陷、认证胁迫接到AD CS、GenericWrite条件下的RBCD到S4U、MSSQL链接服务器跨信任边界、跨林信任滥用,以及外部立足点到林根。
    • 停表规则: 每一跳需要工具回执才能前进。某一阶段给不出回执时,链停止,并只报告到最后有回执的阶段。输出是一条带分阶段证据的复合发现。

    信念门与护栏

    • 信念门: 发现和凭据是带概率分布的图节点。熵仍大于τ、分布弥散时,may_assert拒绝发出发现;回执积累后做贝叶斯更新。论文未给出τ。凭据不能只凭破解输出的格式前进,还要有后续认证回执。
    • 锁定与改写: 喷洒为一轮一猜,且必须先读到域锁定策略。写服务主体名、委派相关属性和影子凭据要先授权,记录改前值,证明后确认恢复。
    • 转储与范围: DCSync证明限定单个低价值账户,不做完整目录转储。黄金票据只记为风险,不铸造。范围门拒绝授权外目标,并处理替代IP编码、指向私有地址的重定向和DNS重绑定。
    • 证据落地: 主张需要原始工具回执,如命令输出、图上的边、哈希行或认证确认。没有回执的叙述降为unconfirmed。

    交战怎么跑、怎样算成功

    • 实验床: GOAD v2,Vagrant与VirtualBox,宿主64 GB内存和16个vCPU,5台Windows Server 2019。攻击机为Kali Linux 2026.3,工具版本在Table VII,进程在sandbox内。每次运行前恢复干净快照。
    • 范围策略: 低权限域用户起步。范围覆盖实验网段和三个域;destructive_verbs为false,persistence为detect_only,dcsync_proof为single-account-only。
    • 模型替换: 9个模型只换--model。作者称同一套智能体、验证器和护栏适用于不同厂商。温度0.0,每组3次,报告中位数,8小时未完成记DNF,全程无人工干预。主命令还打开PoC再验证、typesafe和NIST SP 800-53映射,预算档为high。
    • 判定: 14类技术里,有工具回执才计入覆盖。7条链按已完成阶段计链完成率。精确率是Precision=TP/(TP+FP),真假阳性由专家复核。TTC在Section IV写为到每域DCSync等效访问的墙钟时间,Table I则定义为三域完整沦陷用时。
  4. What experiments did the paper conduct?

    9个模型在GOAD各跑3次;harness覆盖96.4–100%,Opus直调为21.4–53.6%。

    harness下9个模型的技术覆盖为96.4–100%,链完成为91.7–100%;三个Opus的直接调用覆盖为21.4–53.6%(Table I、Table V,3次中位数)。

    实验设置

    • 模型: harness内为Claude Opus 4.6/4.7/4.8、GPT-6 Astra、GPT-5.6 Sol、Grok 4.6、Qwen 3.8、GLM 5.3、Kimi k3。直接调用只有三个Opus。Section XV写Astra端点评测日为2026-09-15。
    • 环境: GOAD full lab v2,5台Windows Server 2019,2林3域。宿主64 GB、16 vCPU。攻击机Kali Linux 2026.3,工具版本见Table VII,置于sandbox。
    • 协议: 每组3次独立运行,表和图为中位数。运行间恢复干净快照。温度0.0。单次上限8小时,超时记DNF。无人工干预。assumed-breach,低权限域用户。--votes为3,并做PoC再验证。
    • 基线: 直接调用得到拓扑、初始凭据和同一Kali工具的shell,但没有结构化智能体提示、链编排、护栏和跨模型验证。Table V写明该对照省略非Anthropic模型。
    • 指标: 14类植入技术的覆盖率;7条链的阶段完成率;精确率由专家复核后计算。TTC有“每域DCSync等效访问”和“三域完整沦陷”两种写法。另有令牌、美元成本和护栏触发。
    • 未报告项: 专家人数与一致性、投票模型名称、各模型工具查询次数。逐次结果写在补充材料,正文未附。

    主结果

    Swipe horizontally to read the table

    模型条件覆盖%链完成%精确率%TTC(min)
    GPT-6 Astraharness100100100118
    Claude Opus 4.8harness10010096.9134
    Qwen 3.8harness10097.293.5141
    Kimi k3harness96.494.493.5148
    Claude Opus 4.7harness10097.293.5152
    Claude Opus 4.6harness96.491.790.0182
    Claude Opus 4.8直接调用53.625.072.0>400
    Claude Opus 4.6直接调用21.48.652.9DNF

    据Table I(harness)与Table V(直接调用)。DNF为8小时超时。表中省略harness下的GPT-5.6 Sol、Grok 4.6、GLM 5.3:覆盖与链完成均为100%,精确率96.9%,TTC为128、130、132分钟(Table I)。也省略Opus 4.7直接调用:覆盖39.3%,链完成14.3%,精确率60.9%,TTC>480分钟(Table V)。

    • 分档: 作者把harness内模型分成Astra、四个满链完成模型、Qwen/Kimi/Opus 4.7,以及更低的Opus 4.6,并称差别主要在少见操作的命令语法和阶段超时。
    • 架构与模型: 作者称跨模型覆盖极差从直接调用的约2.5倍压到harness内的约1.04倍,并认为模型能力只带来增量。
    • 口径不一致: 摘要写精确率90–97%,并称直接调用的假阳性是harness的3.2倍。Table I含Astra的100%精确率。论文未给3.2倍的计算口径。Section V.C写无harness时每次7–9个假阳性,Section X写27次直接运行共104个,两处未对齐。

    逐技术差距与路径用时

    • Table II: harness下Opus 4.8与4.7的14类均为✓;4.6的GPO为∼。直接调用中,AD CS、跨林信任、持久化检测对三个Opus均为—。NTLM中继和委派滥用仅Opus 4.8为∼,4.7与4.6为—。
    • 链: 作者称直接调用的Opus 4.8从未尝试胁迫、RBCD、跨林和外部到林根。Opus 4.6的harness在胁迫–中继–AD CS和MSSQL两条链上各缺一个阶段,原因是工具语法,重试一次后超过阶段超时。Figure 6图注写harness在所有链和模型上完成率不低于75%;逐链数字在文本转换后对不齐,不抄。
    • 案例: Section VI的路径用时对应Opus 4.8:主域12.4分钟(5条发现:Critical 2、High 2、Medium 1),子域18.7分钟,跨林14.3分钟,RBCD 8.6分钟。作者称直接调用的Opus 4.8未尝试RBCD;DPAPI路径未给总用时,并称任何直接调用配置都未尝试。作者另给该模型每域平均44.7分钟。Figure 8中跨林被作者称为始终最慢;分域柱读数对不齐,不抄。

    护栏

    • 一次交战: Opus 4.8在GOAD上触发23次、阻断13次(Figure 10、Section VII)。喷洒节流3次、0阻断;改状态门7次、2阻断;DCSync限制2次、0阻断;范围门1次、1阻断;跨模型否决4次、4阻断;证据降级6次、6阻断。
    • 拦住的内容: 两次改状态阻断分别是范围外账户和未记录改前状态。一次DCSync试图扩到全部域控制器,被改回单账户。范围外扫描在发包前被拦。四条被否决的主张包括:有委派配置,但投票模型认为该类型不能支持所声称的S4U链。
    • 直接调用: 无护栏可触发。作者称Opus 4.8发出4次超过锁定阈值的喷洒、尝试完整NTDS转储,并扫描3个范围外地址段。案例中读到的锁定策略为阈值5、窗口30分钟、持续30分钟。

    精确率、证据与成本

    • 假阳性构成: Section V.C把无harness的假阳性分成虚构工具输出38%、误读错误34%、只按格式认定凭据28%。Section X在27次直接运行中计104个假阳性和89条错过路径,计数为虚构输出39、误读错误35、假定凭据30、跳过技术42、死胡同28、范围漂移19。作者称验证管线能拦住其中171/193(89%)。
    • 漏网: 作者称Opus 4.8的harness在全部运行中有3个假阳性穿过验证,都属于范围判断偏差;中位数那次有1个,是GPO写权限范围被看错。回执完整/部分/仅引用为89%/8%/3%,6条因无回执降为unconfirmed。这组比例未标明模型。
    • CVSS与成本: Figure 9标注Opus 4.8的harness为31条、直接调用为18条;作者称harness有5条Critical(两个域的DCSync各9.8、ESC1为9.8、跨林9.1、MSSQL链9.0)。柱高对不齐,不抄。作者称相对专家的MAE为0.12、r=0.98,直接调用MAE为0.74,有4条差两个CVSS等级;未标明模型。Table IV中Opus 4.8/4.7/4.6加harness的单发现成本为3.63、3.09、2.68美元;直接调用的Opus 4.8为8.26美元。作者称后者约为前者的2.3倍。

    其他消融与分析

    • 发现实例:Opus 4.8/4.7/4.6的harness为31/31、29/31、27/31;4.7缺GPO与一条MSSQL细节,4.6还缺PetitPotam胁迫和AD CS ESC8(Section VIII)。
    • 命令一次成功率:Astra 97%,Opus 4.8/4.7/4.6为91%、78%、64%(Section XIII)。作者称Astra在全部运行中对AD CS ESC8相关命令一次成功,其他模型至少重试一次。
    • Table II的∼如何计入覆盖率,论文未说明;直接调用Opus 4.8有7个✓和3个∼,覆盖率行却是53.6%,而7/14=50%。
    • 令牌:Table I中harness为11.6至20.8×10^6。Figure 12图注写Opus 4.8比4.6少34%(13.9M对21.0M),与Table I的20.8×10^6不一致。利用阶段占30–36%,验证占16–20%。
    • 直接调用跳过率:AD CS、跨林、持久化检测在27次运行中均为100%,MSSQL链接为78%;最长死胡同47轮(Section X)。
    • CVSS分项偏差为SMB签名相关0.3分、委派相关0.2分(Section XII,未标明模型)。通用修复建议占直接调用发现的72%,harness输出为0%。
  5. What are some points that can be further explored?

    作者把外推限制在故意脆弱实验环境、单拓扑和已有低权限凭据上。

    作者把结论限制在故意脆弱的GOAD、单一拓扑、已有凭据,以及部分技术只证可达。

    作者指出的局限与后续方向

    • 实验环境与生产环境不同: GOAD是故意植入错误配置的环境。作者认为面对有Tier-2 SOC监测的部署,覆盖率会更低;规避被有意排除,作者认为那会成为主要困难(Section XV)。
    • 模型端点会变: 前沿模型持续更新。文中写GPT-6 Astra端点评测日为2026-09-15,之后行为可能不同。温度固定为0.0,随机解码的方差没有测量(Section XV)。
    • 只有一种拓扑: 双向信任且SID filtering部分关闭只是配置空间中的一个点。作者写启用SID filtering、选择性身份验证信任或分层管理(Red Forest / ESAE)时,可能出现本文未捕获的失败模式(Section XV)。
    • 起步即有凭据: 全部交战从有效低权限域凭据开始。初始访问不在范围内,作者将其留给后续工作(Section XV)。讨论中也写初始访问阶段未被评测,仍是缺口(Section XIII.E)。
    • 部分技术只证可达: 黄金票据持久化、完整NTDS提取和骨架钥安装只验证到能力可达,没有实际执行。作者认为因此覆盖率略微高估了无约束智能体需要演示的内容(Section XV)。
    • 后续方向: 扩展到GOAD-Light、NHA、DVAD和带分层管理与网络分隔的自定义多林;规避感知执行;接入Rave决策层;人选择路径的混合流程;便宜模型做常规步骤、贵模型做复杂链(Section XVI)。

    实验覆盖范围

    • 模型与条件: harness条件覆盖论文列出的9个模型;直接调用对照为Claude Opus 4.6、4.7、4.8。Table V写明这一对照省略非Anthropic模型。
    • 环境与重复: GOAD full lab v2,5台Windows Server 2019,2林3域。每组3次独立运行,表内为中位数;温度0.0,单次上限8小时(Section IV)。工具版本在Table VII。
    • 计分对象: 14类植入技术与7条多阶段链。精确率经专家复核。论文未报告复核人数、一致性,以及投票模型名称(Section III–IV)。
    • 护栏与案例: 护栏计数来自Opus 4.8的一次GOAD交战(23次触发);五条路径的用时也对应Opus 4.8(Section VI–VII)。论文未报告各模型的工具查询次数。
    • 对照写法: 直接调用被用作无编排基线。Table VI将本文与COCHISE、xOffense按架构、护栏和验证方式并置;COCHISE一格写的是账户沦陷,不是本文的14类覆盖率。
  6. Summarize the main content of the paper

    在GOAD上,harness把9个模型的技术覆盖做到96.4–100%,并记录护栏阻断。

    NeuroSploit v4.2.0被放在GOAD上做多模型基准,用来看结构化编排是否改变assumed-breach下的AD自主渗透结果。

    • 问题: 独立LLM同时规划、执行和验证。作者认为这会带来熟悉技术偏向、不记录变更前状态,以及用叙述代替工具回执。
    • 做法: harness用22个AD智能体和7条多阶段链维护状态、按侦察选路,并在确认前经过信念门、CWE验证、跨模型投票和六类护栏。对照是三个Opus在同一工具集上的直接调用。
    • 覆盖: Table I中9个模型的技术覆盖为96.4–100%,链完成为91.7–100%。GPT-6 Astra的覆盖、链完成和精确率均为100%,三域用时118分钟。Opus 4.8加harness为134分钟、精确率96.9%。
    • 对照: 同一Opus 4.8的直接调用覆盖为53.6%、链完成为25.0%(Table V;结论中写54%)。直接调用最低覆盖是Opus 4.6的21.4%,且8小时超时。作者称AD CS、跨林和持久化检测在直接运行中未被尝试。
    • 护栏与例外: Opus 4.8一次运行触发护栏23次、阻断13次。作者称该模型的直接调用有超阈值喷洒和完整NTDS尝试。Opus 4.6在harness内仍有GPO未完成和两条链的阶段超时。摘要的3.2倍假阳性没有给出口径。
    • 作者结论: 作者认为决定交战质量的是harness架构,而不是模型代差。后续方向包括更多实验床、规避、Rave决策层、人机混合和按任务换模型。作者同时把外推限制在故意脆弱实验环境、已有低权限凭据,以及部分技术只证可达。
Read originalarxiv.org