NeuroSploit v4.2.0 在 GOAD 上的评测:结构化智能体编排提升 AD 渗透测试
NeuroSploit on GOAD
NeuroSploit在GOAD测9个模型,覆盖96.4–100%;Opus直调仅21.4–53.6%。
- AD沦陷被作者视为内网渗透影响最大的结果。独立LLM同时规划、执行和验证,会出现技术选择偏向、状态无感知和用叙述代替工具回执。评测对象是GOAD上的结构化harness与直接调用之差。
- NeuroSploit v4.2.0把22个AD智能体和7条多阶段链交给harness编排,模型只负责生成。信念门、CWE验证器、跨模型投票和六类护栏在改状态与确认发现前拦截。对照是同一工具集上的直接调用。
- Table I:harness覆盖96.4–100%,链完成91.7–100%。Table V:Opus直调覆盖21.4–53.6%。Astra三项均为100%,三域118分钟;Opus 4.8加harness为134分钟。
- 作者将外推限制在故意脆弱的GOAD、单一拓扑和已有低权限凭据,并写明部分技术只证可达、未实际执行。实验覆盖9个模型的harness与3个Opus的直接调用,各3次、温度0.0。论文未报告专家复核一致性,也未写明投票模型名称。
- Evaluated models
- Claude Opus 4.6Claude Opus 4.7Claude Opus 4.8GPT-6 AstraGPT-5.6 SolGrok 4.6Qwen 3.8GLM 5.3Kimi k3
- Benchmarks
- GOAD (full lab, v2)
- Metrics
- Technique CoverageChain Completion Rate (CCR)PrecisionTime to Compromise (TTC)Token CostGuardrail Activations
开源 Rust 自主渗透测试框架 NeuroSploit v4.2.0 在 GOAD 靶场(5 台虚拟机、2 个森林、3 个域)上完成评测,其编排 22 个 AD 专用智能体与 7 套多阶段攻击链 playbook,覆盖枚举、Kerberoasting、AD CS(ESC1-ESC8)、DCSync、跨森林信任滥用等完整杀伤链。对 Claude Opus 4.6/4.7/4.8、GPT-6 Astra、GPT-5.6 Sol、Grok 4.6、Qwen 3.8、GLM 5.3、Kimi k3 九个前沿模型的测试显示,框架实现 96-100% 技术覆盖率与 90-97% 精确率,直接调用仅覆盖 21-54% 且误报多出 3.2 倍;使用 Opus 4.8 时 134 分钟完成三域完全攻陷,护栏机制阻止了触发锁定的喷洒、未授权 DCSync 转储与越界侦察。
Paper analysis
What problem does this paper attempt to solve?
评测结构化harness能否补上独立LLM做AD自主渗透时的选择、状态与验证缺口。
独立LLM做assumed-breach的AD自主渗透时,规划、执行和验证绑在同一模型上,缺少可强制的状态、授权与证据约束。
- 场景: 作者称AD支撑逾90%的Fortune 1000身份管理,沦陷是内网渗透中影响最大的结果。交战要串起侦察到跨林滥用,并避免锁定和破坏性副作用。
- 现有不足: 作者认为模型兼任规划、执行和验证,因而偏向熟悉技术、改属性前不记状态、用叙述宣布成功。论文指出COCHISE无确定性验证器、跨模型投票和结构化护栏。
- 核心判断: 作者主张编排与生成分离:按攻击面选智能体,改状态前授权,用回执和跨模型投票核验。五项保证属性被放在harness,而不是模型。
- 评测对象: 评测NeuroSploit v4.2.0在GOAD(5台虚拟机、2林、3域)上的表现,激活22个AD智能体和7条链,比较9个模型与部分直接调用。
- 评测设定: 设定为assumed-breach:低权限域用户起步,凭据可经信任跨林使用。直接调用有同一工具集,但无智能体提示、链编排、护栏和跨模型验证。
What related research exists?
相关工作集中在独立LLM渗透框架、AD实验床和评测伦理,作者用编排与验证作区分。
作者将NeuroSploit放在独立LLM渗透框架之后,强调编排与验证分离,而不是只换模型。
LLM自主渗透测试
- PentestGPT(Deng等,2024): 推理、生成、解析三模块,在HackTheBox机器上评测。论文未把它当作本文数值基线。
- 团队与流水线: 论文转述Fang等(2024)的智能体团队能利用现实零日,并称单个智能体做不到同等结果。AutoAttacker(Xu等,2024)用规划–执行和角色扮演越狱,在GPT-4上攻击虚拟网络。PentestAgent(Shen等,2024)按侦察到后渗透分阶段执行。
- COCHISE(Happe与Cito,2025): 作者称这是首个在AD中做assumed-breach全自主渗透的LLM框架,在GOAD上比较五个含推理、非推理和开放权重的模型。论文转述其暴露的限制是死胡同、规划与执行之间信息不完整,以及安全方面的担心,并另指出它没有确定性验证器、跨模型投票和结构化护栏。
实验床、评测文献与伦理
- GOAD(Orange Cyberdefense,2023): 故意脆弱的AD实验环境。完整实验为5台虚拟机、2林、3域、双向信任。植入项包括口令复用、用户SPN、关闭预认证、危险ACL、委派、MSSQL链接、有漏洞的AD CS模板、关闭SMB签名、启用LLMNR/NBT-NS,以及SID filtering部分关闭的跨林信任。
- 综述与其他原型: Li等(2026)称2023–2026年有81篇Agent4Pentest论文。Incalmo、PenForge、AutoPentest分别做多主机协同、按目标临时建专家智能体,以及Web场景的漏洞管理。Happe等(2025)讨论进攻性安全的实验床与指标;ZeroDayBench、StealthBench分别评零日利用与行动隐蔽性。
- 伦理框架: Beilinson等(2026)讨论自主进攻智能体的护栏要求。作者后文用该框架讨论双重用途,没有把它当作实验基线。
对照系统、基线与定位
- 技术文献: 作者综述Kerberoasting、AS-REP roasting、DCSync、AD CS(Schroeder与Christensen的ESC1–ESC13)、NTLM中继与胁迫、委派、危险ACL、MSSQL链接、GPO、DPAPI、LAPS/gMSA。作者称到林沦陷通常要串3–7个技术。
- xOffense(Khan等,2025): Table VI把它写成带领域适配模型的多智能体、自定义实验环境、Web加部分基础设施、基本范围控制和多智能体共识。该表把覆盖和假阳性标为Not quantified。
- 基线方法: 基线是同一模型的直接调用,只用Claude Opus 4.6/4.7/4.8,环境是GOAD full lab。Table VI把本文与COCHISE、xOffense按架构并置,不是同一协议下的数值复跑。作者把差异概括为覆盖广度、不依赖模型自述的验证,以及放在模型控制面之外的安全架构。
How does the paper address this problem?
NeuroSploit把选路、状态、授权和证据核验从模型生成中拆出,再在GOAD上评测。
NeuroSploit v4.2.0是Rust(tokio)实现的自主渗透harness。AD交战不启用全部473个markdown智能体,只激活22个AD智能体和7个链智能体。模型生成动作,harness保存状态、选择智能体、执行授权并核验证据。
四层架构
- 执行层: 在Kali sandbox中派发工具,范围门默认拒绝,审计记录哈希链接。sandbox为Docker,无宿主网络、无socket挂载,并设置no-new-privileges。
- 编排层: 属性图上的POMDP信念、按侦察信号选智能体、攻击链推进和状态图。
- 验证层: 发现由另一个模型裁决,而不是产出它的模型;另有27个CWE验证器和PoC再验证。
--votes为3。论文写RL加权投票需收敛才确认,未给出权重,也未写出投票模型名称。 - 报告层: 严重性用已演示的攻击复杂度、所需权限和范围变化代入FIRST CVSS v3.1方程,而不是按漏洞类别赋值。输出包括Markdown、SARIF 2.1.0和JSON。
智能体与链
- 文档结构: 每个智能体是markdown,含阶段、决策点和预期工具命令的用户提示,以及角色、安全约束、报告格式和前置发现链接。正文没有给出这些提示的全文。
- 六类个体智能体: 侦察先读锁定策略,再门控后续猜密。凭据类把破解放在离线侧。其余为中继与胁迫、提权、横向移动,以及域沦陷(单账户DCSync证明、跨林、只检测不安装的持久化、关键CVE检查)。
- 七条链的题材: Kerberoast经ACL到域管理员、本地管理员经凭据搜刮到域沦陷、认证胁迫接到AD CS、GenericWrite条件下的RBCD到S4U、MSSQL链接服务器跨信任边界、跨林信任滥用,以及外部立足点到林根。
- 停表规则: 每一跳需要工具回执才能前进。某一阶段给不出回执时,链停止,并只报告到最后有回执的阶段。输出是一条带分阶段证据的复合发现。
信念门与护栏
- 信念门: 发现和凭据是带概率分布的图节点。熵仍大于τ、分布弥散时,may_assert拒绝发出发现;回执积累后做贝叶斯更新。论文未给出τ。凭据不能只凭破解输出的格式前进,还要有后续认证回执。
- 锁定与改写: 喷洒为一轮一猜,且必须先读到域锁定策略。写服务主体名、委派相关属性和影子凭据要先授权,记录改前值,证明后确认恢复。
- 转储与范围: DCSync证明限定单个低价值账户,不做完整目录转储。黄金票据只记为风险,不铸造。范围门拒绝授权外目标,并处理替代IP编码、指向私有地址的重定向和DNS重绑定。
- 证据落地: 主张需要原始工具回执,如命令输出、图上的边、哈希行或认证确认。没有回执的叙述降为unconfirmed。
交战怎么跑、怎样算成功
- 实验床: GOAD v2,Vagrant与VirtualBox,宿主64 GB内存和16个vCPU,5台Windows Server 2019。攻击机为Kali Linux 2026.3,工具版本在Table VII,进程在sandbox内。每次运行前恢复干净快照。
- 范围策略: 低权限域用户起步。范围覆盖实验网段和三个域;destructive_verbs为false,persistence为detect_only,dcsync_proof为single-account-only。
- 模型替换: 9个模型只换
--model。作者称同一套智能体、验证器和护栏适用于不同厂商。温度0.0,每组3次,报告中位数,8小时未完成记DNF,全程无人工干预。主命令还打开PoC再验证、typesafe和NIST SP 800-53映射,预算档为high。 - 判定: 14类技术里,有工具回执才计入覆盖。7条链按已完成阶段计链完成率。精确率是Precision=TP/(TP+FP),真假阳性由专家复核。TTC在Section IV写为到每域DCSync等效访问的墙钟时间,Table I则定义为三域完整沦陷用时。
What experiments did the paper conduct?
9个模型在GOAD各跑3次;harness覆盖96.4–100%,Opus直调为21.4–53.6%。
harness下9个模型的技术覆盖为96.4–100%,链完成为91.7–100%;三个Opus的直接调用覆盖为21.4–53.6%(Table I、Table V,3次中位数)。
实验设置
- 模型: harness内为Claude Opus 4.6/4.7/4.8、GPT-6 Astra、GPT-5.6 Sol、Grok 4.6、Qwen 3.8、GLM 5.3、Kimi k3。直接调用只有三个Opus。Section XV写Astra端点评测日为2026-09-15。
- 环境: GOAD full lab v2,5台Windows Server 2019,2林3域。宿主64 GB、16 vCPU。攻击机Kali Linux 2026.3,工具版本见Table VII,置于sandbox。
- 协议: 每组3次独立运行,表和图为中位数。运行间恢复干净快照。温度0.0。单次上限8小时,超时记DNF。无人工干预。assumed-breach,低权限域用户。
--votes为3,并做PoC再验证。 - 基线: 直接调用得到拓扑、初始凭据和同一Kali工具的shell,但没有结构化智能体提示、链编排、护栏和跨模型验证。Table V写明该对照省略非Anthropic模型。
- 指标: 14类植入技术的覆盖率;7条链的阶段完成率;精确率由专家复核后计算。TTC有“每域DCSync等效访问”和“三域完整沦陷”两种写法。另有令牌、美元成本和护栏触发。
- 未报告项: 专家人数与一致性、投票模型名称、各模型工具查询次数。逐次结果写在补充材料,正文未附。
主结果
Swipe horizontally to read the table
模型 条件 覆盖% 链完成% 精确率% TTC(min) GPT-6 Astra harness 100 100 100 118 Claude Opus 4.8 harness 100 100 96.9 134 Qwen 3.8 harness 100 97.2 93.5 141 Kimi k3 harness 96.4 94.4 93.5 148 Claude Opus 4.7 harness 100 97.2 93.5 152 Claude Opus 4.6 harness 96.4 91.7 90.0 182 Claude Opus 4.8 直接调用 53.6 25.0 72.0 >400 Claude Opus 4.6 直接调用 21.4 8.6 52.9 DNF 据Table I(harness)与Table V(直接调用)。DNF为8小时超时。表中省略harness下的GPT-5.6 Sol、Grok 4.6、GLM 5.3:覆盖与链完成均为100%,精确率96.9%,TTC为128、130、132分钟(Table I)。也省略Opus 4.7直接调用:覆盖39.3%,链完成14.3%,精确率60.9%,TTC>480分钟(Table V)。
- 分档: 作者把harness内模型分成Astra、四个满链完成模型、Qwen/Kimi/Opus 4.7,以及更低的Opus 4.6,并称差别主要在少见操作的命令语法和阶段超时。
- 架构与模型: 作者称跨模型覆盖极差从直接调用的约2.5倍压到harness内的约1.04倍,并认为模型能力只带来增量。
- 口径不一致: 摘要写精确率90–97%,并称直接调用的假阳性是harness的3.2倍。Table I含Astra的100%精确率。论文未给3.2倍的计算口径。Section V.C写无harness时每次7–9个假阳性,Section X写27次直接运行共104个,两处未对齐。
逐技术差距与路径用时
- Table II: harness下Opus 4.8与4.7的14类均为✓;4.6的GPO为∼。直接调用中,AD CS、跨林信任、持久化检测对三个Opus均为—。NTLM中继和委派滥用仅Opus 4.8为∼,4.7与4.6为—。
- 链: 作者称直接调用的Opus 4.8从未尝试胁迫、RBCD、跨林和外部到林根。Opus 4.6的harness在胁迫–中继–AD CS和MSSQL两条链上各缺一个阶段,原因是工具语法,重试一次后超过阶段超时。Figure 6图注写harness在所有链和模型上完成率不低于75%;逐链数字在文本转换后对不齐,不抄。
- 案例: Section VI的路径用时对应Opus 4.8:主域12.4分钟(5条发现:Critical 2、High 2、Medium 1),子域18.7分钟,跨林14.3分钟,RBCD 8.6分钟。作者称直接调用的Opus 4.8未尝试RBCD;DPAPI路径未给总用时,并称任何直接调用配置都未尝试。作者另给该模型每域平均44.7分钟。Figure 8中跨林被作者称为始终最慢;分域柱读数对不齐,不抄。
护栏
- 一次交战: Opus 4.8在GOAD上触发23次、阻断13次(Figure 10、Section VII)。喷洒节流3次、0阻断;改状态门7次、2阻断;DCSync限制2次、0阻断;范围门1次、1阻断;跨模型否决4次、4阻断;证据降级6次、6阻断。
- 拦住的内容: 两次改状态阻断分别是范围外账户和未记录改前状态。一次DCSync试图扩到全部域控制器,被改回单账户。范围外扫描在发包前被拦。四条被否决的主张包括:有委派配置,但投票模型认为该类型不能支持所声称的S4U链。
- 直接调用: 无护栏可触发。作者称Opus 4.8发出4次超过锁定阈值的喷洒、尝试完整NTDS转储,并扫描3个范围外地址段。案例中读到的锁定策略为阈值5、窗口30分钟、持续30分钟。
精确率、证据与成本
- 假阳性构成: Section V.C把无harness的假阳性分成虚构工具输出38%、误读错误34%、只按格式认定凭据28%。Section X在27次直接运行中计104个假阳性和89条错过路径,计数为虚构输出39、误读错误35、假定凭据30、跳过技术42、死胡同28、范围漂移19。作者称验证管线能拦住其中171/193(89%)。
- 漏网: 作者称Opus 4.8的harness在全部运行中有3个假阳性穿过验证,都属于范围判断偏差;中位数那次有1个,是GPO写权限范围被看错。回执完整/部分/仅引用为89%/8%/3%,6条因无回执降为unconfirmed。这组比例未标明模型。
- CVSS与成本: Figure 9标注Opus 4.8的harness为31条、直接调用为18条;作者称harness有5条Critical(两个域的DCSync各9.8、ESC1为9.8、跨林9.1、MSSQL链9.0)。柱高对不齐,不抄。作者称相对专家的MAE为0.12、r=0.98,直接调用MAE为0.74,有4条差两个CVSS等级;未标明模型。Table IV中Opus 4.8/4.7/4.6加harness的单发现成本为3.63、3.09、2.68美元;直接调用的Opus 4.8为8.26美元。作者称后者约为前者的2.3倍。
其他消融与分析
- 发现实例:Opus 4.8/4.7/4.6的harness为31/31、29/31、27/31;4.7缺GPO与一条MSSQL细节,4.6还缺PetitPotam胁迫和AD CS ESC8(Section VIII)。
- 命令一次成功率:Astra 97%,Opus 4.8/4.7/4.6为91%、78%、64%(Section XIII)。作者称Astra在全部运行中对AD CS ESC8相关命令一次成功,其他模型至少重试一次。
- Table II的∼如何计入覆盖率,论文未说明;直接调用Opus 4.8有7个✓和3个∼,覆盖率行却是53.6%,而7/14=50%。
- 令牌:Table I中harness为11.6至20.8×10^6。Figure 12图注写Opus 4.8比4.6少34%(13.9M对21.0M),与Table I的20.8×10^6不一致。利用阶段占30–36%,验证占16–20%。
- 直接调用跳过率:AD CS、跨林、持久化检测在27次运行中均为100%,MSSQL链接为78%;最长死胡同47轮(Section X)。
- CVSS分项偏差为SMB签名相关0.3分、委派相关0.2分(Section XII,未标明模型)。通用修复建议占直接调用发现的72%,harness输出为0%。
What are some points that can be further explored?
作者把外推限制在故意脆弱实验环境、单拓扑和已有低权限凭据上。
作者把结论限制在故意脆弱的GOAD、单一拓扑、已有凭据,以及部分技术只证可达。
作者指出的局限与后续方向
- 实验环境与生产环境不同: GOAD是故意植入错误配置的环境。作者认为面对有Tier-2 SOC监测的部署,覆盖率会更低;规避被有意排除,作者认为那会成为主要困难(Section XV)。
- 模型端点会变: 前沿模型持续更新。文中写GPT-6 Astra端点评测日为2026-09-15,之后行为可能不同。温度固定为0.0,随机解码的方差没有测量(Section XV)。
- 只有一种拓扑: 双向信任且SID filtering部分关闭只是配置空间中的一个点。作者写启用SID filtering、选择性身份验证信任或分层管理(Red Forest / ESAE)时,可能出现本文未捕获的失败模式(Section XV)。
- 起步即有凭据: 全部交战从有效低权限域凭据开始。初始访问不在范围内,作者将其留给后续工作(Section XV)。讨论中也写初始访问阶段未被评测,仍是缺口(Section XIII.E)。
- 部分技术只证可达: 黄金票据持久化、完整NTDS提取和骨架钥安装只验证到能力可达,没有实际执行。作者认为因此覆盖率略微高估了无约束智能体需要演示的内容(Section XV)。
- 后续方向: 扩展到GOAD-Light、NHA、DVAD和带分层管理与网络分隔的自定义多林;规避感知执行;接入Rave决策层;人选择路径的混合流程;便宜模型做常规步骤、贵模型做复杂链(Section XVI)。
实验覆盖范围
- 模型与条件: harness条件覆盖论文列出的9个模型;直接调用对照为Claude Opus 4.6、4.7、4.8。Table V写明这一对照省略非Anthropic模型。
- 环境与重复: GOAD full lab v2,5台Windows Server 2019,2林3域。每组3次独立运行,表内为中位数;温度0.0,单次上限8小时(Section IV)。工具版本在Table VII。
- 计分对象: 14类植入技术与7条多阶段链。精确率经专家复核。论文未报告复核人数、一致性,以及投票模型名称(Section III–IV)。
- 护栏与案例: 护栏计数来自Opus 4.8的一次GOAD交战(23次触发);五条路径的用时也对应Opus 4.8(Section VI–VII)。论文未报告各模型的工具查询次数。
- 对照写法: 直接调用被用作无编排基线。Table VI将本文与COCHISE、xOffense按架构、护栏和验证方式并置;COCHISE一格写的是账户沦陷,不是本文的14类覆盖率。
Summarize the main content of the paper
在GOAD上,harness把9个模型的技术覆盖做到96.4–100%,并记录护栏阻断。
NeuroSploit v4.2.0被放在GOAD上做多模型基准,用来看结构化编排是否改变assumed-breach下的AD自主渗透结果。
- 问题: 独立LLM同时规划、执行和验证。作者认为这会带来熟悉技术偏向、不记录变更前状态,以及用叙述代替工具回执。
- 做法: harness用22个AD智能体和7条多阶段链维护状态、按侦察选路,并在确认前经过信念门、CWE验证、跨模型投票和六类护栏。对照是三个Opus在同一工具集上的直接调用。
- 覆盖: Table I中9个模型的技术覆盖为96.4–100%,链完成为91.7–100%。GPT-6 Astra的覆盖、链完成和精确率均为100%,三域用时118分钟。Opus 4.8加harness为134分钟、精确率96.9%。
- 对照: 同一Opus 4.8的直接调用覆盖为53.6%、链完成为25.0%(Table V;结论中写54%)。直接调用最低覆盖是Opus 4.6的21.4%,且8小时超时。作者称AD CS、跨林和持久化检测在直接运行中未被尝试。
- 护栏与例外: Opus 4.8一次运行触发护栏23次、阻断13次。作者称该模型的直接调用有超阈值喷洒和完整NTDS尝试。Opus 4.6在harness内仍有GPO未完成和两条链的阶段超时。摘要的3.2倍假阳性没有给出口径。
- 作者结论: 作者认为决定交战质量的是harness架构,而不是模型代差。后续方向包括更多实验床、规避、Rave决策层、人机混合和按任务换模型。作者同时把外推限制在故意脆弱实验环境、已有低权限凭据,以及部分技术只证可达。