面向安全 AI 渗透测试智能体：安全威胁、护栏与架构视角

现有对话式护栏盖不住能执行真实工具调用的自主渗透测试智能体。

• 场景：作者称 LLM 与扫描器、利用框架、shell、浏览器等结合后，可在较少人工监督下从侦察做到后渗透；输入、记忆、工具接口或训练被操纵时，可能对非预期目标执行真实网络行动（第 1 节）。
• 现有护栏：作者称它们假设人工监督、单轮交互、可信输入和纯文本输出。自主渗透智能体多步运行，并接收对抗方控制的目标系统输入，这些假设被违反。
• 分类主张：作者把威胁分成基础模型继承的生命周期攻击（Cat. A–C），以及持久记忆、RAG、智能体通信或工具执行才出现的架构攻击（Cat. D–F），并设对称护栏 G-A–G-F。作者称“是否覆盖”与“为何在该场景结构上不够”此前未被形式化。
• 本文产出：综述式分析框架，把架构要素、信任边界、攻击面、失效模式、护栏和研究挑战连起来，并对代表性框架做定性暴露评估（第 1.1 节）。
• 威胁模型：分析对象是 AI 渗透测试智能体本身，不是被评估目标基础设施中的漏洞（第 4 节）。
  • 目标：影响推理、损害决策、污染知识源、控制工具使用，或把进攻能力导向非预期目标。
  • Tier 1 — Model-Level Adversary（Cat. A–B）：对预训练语料、SFT 数据、偏好对齐数据或 LoRA 等适配有写权限。
  • Tier 2 — Runtime Context Adversary（Cat. C–D）：无内部参数访问，但能改提示、目标响应、服务横幅、检索条目或记忆。作者称这对已部署智能体最现实，因为目标基础设施本身不可信。
  • Tier 3 — Agent Architecture Adversary（Cat. E–F）：可篡改智能体间通信、工具定义、MCP 服务器或插件、工具输出与执行工作流。
  • 边界与排除：Model Boundary、Context Boundary、Execution Boundary（第 4.2 节）。排除目标基础设施漏洞、物理攻击、硬件侧信道，以及智能体执行环境之外的操作系统攻陷（第 4.3 节）。

论文没有单独的 Related Work 节。相关讨论主要在引言末、第 2 节和第 5–7 节。

传统自动化渗透

• 人工流程与单点工具：第 2 节写传统渗透仍以人工为认知中心；Nmap、Metasploit、Burp Suite 只自动化部分子任务。
• 攻击图系统：以 Cauldron 为代表，用扫描输出、网络拓扑和利用知识库构造攻击路径（[48]）。作者认为这类系统依赖预定漏洞库、符号推理引擎和专家设计的攻击模型，仍是规则驱动、人工监督，而不是基于推理的自主决策。

相邻综述与效果讨论

• 作者点名的相邻综述：分层攻击面的智能体安全综述 [14]、更广的进攻性 AI 综述 [28]、从提示清洗到红队的 LLM 智能体综述 [23]、基于强化学习的自动化渗透综述 [63]，以及进攻性安全中的 LLM 智能体评测实践 [32]。
• 对实际效果的引用：作者引用 [17] 讨论现实评估里区分有能力渗透智能体的因素，并引用 [72] 的看法：已报告成功可能部分反映幻觉发现，而非真实利用。

被归类的攻击与护栏文献

• 生命周期攻击：作者按预训练投毒、对齐破坏和推理时注入组织既有工作，文中例子包括 web-scale poisoning [9]、指令微调投毒 [91]、Best-of-Venom [5]、Sleeper Agents [44]，以及直接/间接提示注入和 AgentDojo [16]。
• 架构层攻击：记忆与 RAG（MINJA [19]、AgentPoison [12]、TrojanRAG [13]、PoisonedRAG [125]）、多智能体传播（Agent Smith [29] 等）、工具与工作流（STAC [56]、MCPTox [99]、ChainFuzzer [103]）。Figure 1 按类列出这些代表工作。
• 现有护栏：第 7 节把 LlamaGuard、PromptShield、Constitutional AI、NeMo Guardrails，以及 TrustRAG、ToolSafe 等，定位为面向对话助手、内容审核或通用应用的机制。作者认为它们不足以覆盖自主渗透智能体的攻击面。

论文没有设置可对打的经验攻击或防御基线。定性对照对象是 Table 1–5 中的代表性 AI 渗透框架。作者把本文定位为架构中心的双轴生命周期分类，用来连接架构组件、信任边界、攻击面、失效模式和护栏，而不是单层或工具中心分类，也不同于只给攻击分类或工具摘要的综述。

作者不提出新攻击器或新检测器，而是用双轴分类把基础模型继承的漏洞和智能体架构才出现的漏洞分开，再按同一结构配护栏，并用已发表架构做定性暴露评估。

信任边界与对手分层

• 三条边界：Model Boundary 分开基础 LLM 与其上的智能体框架；Context Boundary 分开系统指令与外部运行时信息（用户提示、目标观察、检索文档、持久记忆）；Execution Boundary 分开语言生成与真实执行，包括工具、shell、插件、API 和智能体协调（第 4.2 节）。
• 三层对手：Tier 1 能写训练与适配管线，对应 Cat. A–B；Tier 2 只影响运行时上下文，对应 Cat. C–D；Tier 3 针对协调与执行架构，对应 Cat. E–F。第 4.3 节排除目标系统漏洞，以及物理攻击、硬件侧信道和执行环境外的操作系统攻陷。
• 分类理由：作者称只按机器学习生命周期分类，不足以刻画持久记忆、检索、多智能体协作和自主工具执行带来的攻击面（第 5 节）。

代表性架构

• 单智能体：一个 LLM 走 observe–plan–act。ARACNE 以交互 shell 为中心，论文写其当前实现没有显式持久记忆和 RAG；PentestGPT 分开全局规划与命令生成，执行路径上仍有人工校验；HackSynth 用规划器加摘要器维持长程上下文，不靠持久记忆或 RAG；RefPentester 增加自我反思；PenHeal 分成渗透模块和补救模块。
• 多智能体：任务分给规划、侦察、检索、利用、验证或报告等角色。AutoPentest 与 AutoPentester 采用 Supervisor–Worker；BreachSeek 采用 Supervisor–Evaluator；Incalmo 把规划、环境建模和攻击图拆成服务，并写成 LLM-agnostic；CAI 组合多种基础模型与 Model Context Protocol（MCP）；VulnBot 的 Planner 与 Executor 共享任务表示。
• Table 1 的能力轴：Planner、Memory、RAG、Reflection、Tool Execution、Multi-Agent、Human Oversight。作者称全部被调查框架都具备规划与工具执行；记忆和检索打开投毒面，自主工具执行提高工作流操纵和不安全命令的可能，多智能体协作引入通信与分布式决策上的新向量。
• 作者引用的效果质疑：第 3.3 节引用 [72]，认为已报告成功可能部分来自幻觉发现。这不是本文自己的测量。

攻击分类 Cat. A–F

• Cat. A 预训练：攻击面是预训练语料和优化过程，越过 Model Boundary。代表手法包括数据污染、语料投毒和 sleeper backdoor。作者称中毒行为可在微调和对齐之后仍然存在，推理时护栏不能单独消掉。
• Cat. B 微调与对齐：攻击面是微调数据、偏好标注、奖励模型和 LoRA 等适配模块。代表手法包括指令微调投毒、偏好投毒、奖励模型操纵和恶意适配器。作者转述所引工作：少量微调或偏好数据被投毒即可改变行为且难检测。本文未给该比例。
• Cat. C 推理时：不改参数，改用户提示、目标响应、终端输出、服务横幅和检索文档，越过 Context Boundary。包括提示注入、越狱、提示泄漏、目标劫持、上下文操纵和观察投毒。作者称授权工具命令与未授权工具命令的语义距离很小（policy proximity），会削弱这一类的推理层防御。
• Cat. D 记忆与知识：持久记忆、RAG、向量索引和外部知识库，影响可跨越多轮。MINJA 被描述为只经查询交互注入；AgentPoison 被写成对检索概率的约束优化；TrojanRAG 与 PoisonedRAG 被用来说明对抗段落可以劫持 RAG 输出。作者称少量对抗段落即足够，本文未给条数。
• Cat. E 多智能体协调：攻击面是智能体间通信、共享推理、任务委派和联合规划。论文把被操纵的交换信息放在 Execution Boundary。Agent Smith 被描述为跨智能体生态的蠕虫式传播；另有多轮分解、辩论越狱和跨智能体后缀传播。作者称这些协调机制没有单智能体对应物。
• Cat. F 工具与执行：工具接口、shell、插件、MCP 服务器、外部 API 和工作流编排。STAC 被描述为把良性工具调用串成有害序列，以绕过按步护栏；MCPTox 污染 MCP 工具元数据以劫持规划；ChainFuzzer 寻找跨工具数据流。作者称文本在这一层变成真实世界后果。
• 混合攻击：第 5.3 节写有些工作跨类。Agent Smith 兼 Cat. C 与 Cat. E；PoisonedSkills/DDIPE 兼 Cat. C 与 Cat. F；STAC 兼 Cat. F 与长程顺序规划；LLM Hypnosis 兼跨会话行为漂移与 Cat. B。作者认为只守一个分类层不够，需要跨层覆盖。

护栏分类 G-A–G-F

• 同构映射：Figure 2 与第 7 节把护栏做成与攻击同轴的两层。G-A–G-C 对生命周期，G-D–G-F 对智能体架构。作者称每类护栏针对对应攻击类的主要攻击面，形成一一映射。这与第 5.3 节“单层防御不够”并列存在，两句都是作者的说法。
• G-A / G-B：G-A 保护预训练语料、采集管线和优化过程，例子包括数据集来源核验、激活空间后门检测和频域清洗。G-B 保护 SFT、RLHF、DPO 和参数高效适配，例子包括抗篡改安全微调、Safe LoRA、PEFTGuard、表示加噪和 Vaccine。第 7.1–7.2 节还列了其他机制。
• G-C / G-D：G-C 在运行时检查提示、推理上下文和模型响应，例子包括 LlamaGuard、PromptShield、Constitutional AI、NeMo Guardrails。作者引用 [49]，称长思维链会带来标准输入/输出分类器漏掉的安全失效。G-D 保护向量库、情景记忆和长期记忆，例子包括 TrustRAG、A-MemGuard、MAGE、RevPRAG。
• G-E / G-F：G-E 保护智能体间通道、共享任务表示和编排，例子包括消息认证、信任评估、RouteGuard、AutoDefense、CoopGuard。G-F 在动作触及外部系统前做校验，例子包括 ToolSafe 的逐步护栏、TraceSafe 的多步工具轨迹评估、调用时序约束、MindGuard 和 SafeAgent。论文未报告这些机制在渗透框架上的拦截率。

定性评级规则

• 材料：各框架出版物里的架构能力，汇总于 Table 1；不是现场攻击。
• 三个因素：Cat. A–C 看基础模型依赖，包括训练管线、对齐和推理时攻击易感性；Cat. D 看持久记忆、RAG、向量库或其他外部知识库；Cat. E–F 看自主协调、智能体通信、工具集成，以及是否直接执行 LLM 生成的动作。
• 四级：H 是直接架构暴露，且没有明确报告的缓解；M 是可能暴露，但有部分架构防护、受限执行或人工监督；L 是暴露较低，因为有明确架构约束或专用防御；– 是所需组件不存在，例如没有协作智能体时的 Cat. E。
• 护栏表：Tables 4–5 同样来自出版物写明的设计，不是经验攻击评测。代码包括 FM、OFN、ENV、UNT、ROL、SEM。论文写明 G-A 与 G-B 反映的是基础模型继承的防护，不是框架自己的护栏。

论文没有测量攻击成功率。第 6–7 节做的是基于已发表架构的定性暴露评估和护栏代码对照。

实验设置

• 评估性质：第 6 节写明不测经验攻击成功率，只按架构特征判断对 Cat. A–F 的潜在暴露；Tables 2–3 的注写明评级不应被理解成攻击成功率。
• 单智能体：Table 2 共 9 个：PentestGPT、AutoAttacker、ARACNE、HackSynth、PenHeal、HackingBuddyGPT、CHECKMATE、Cochise、RefPentester。
• 多智能体：Table 3 共 11 个：VulnBot、BreachSeek、PentestAgent、Incalmo、ReaperAI、CAI、AutoPentest、PENTEST-AI、AutoPentester、PTFusion、xOffense。
• 基础模型写法：表中出现 GPT-4、GPT-4 / GPT-4o、GPT-4o、GPT-4o / Llama-3、GPT-4o / Claude 3.5、LLM-agnostic、Multi-LLM。论文未说明定性评级绑定并列模型中的哪一个。
• 评级定义：H 为直接暴露且无明确缓解；M 为部分架构防护、受限执行或人工监督下的可能暴露；L 为有明确约束或专用防御；– 为该攻击类结构上不适用（第 6 节）。
• 未报告项：论文未报告样本量、重复次数、评审模型、查询次数或攻击成功率。护栏对照（Tables 4–5）依据各框架出版物中写明的机制。

主结果

下表只列 8 行。所选行里 Cat. A 与 Cat. B 字母相同，故合并。省略 ARACNE、CHECKMATE、PenHeal、HackingBuddyGPT、RefPentester、BreachSeek、PentestAgent、ReaperAI、AutoPentest、PENTEST-AI、AutoPentester、PTFusion。

表格较宽，可左右滑动

框架	A/B	C	D	E	F
Cochise（Table 2）	L	M	L	–	L
PentestGPT（Table 2）	M	H	L	–	M
HackSynth（Table 2）	L	H	L	–	H
AutoAttacker（Table 2）	M	H	H	–	H
Incalmo（Table 3）	L	M	M	M	M
VulnBot（Table 3）	M	H	H	H	H
CAI（Table 3）	H	H	H	H	H
xOffense（Table 3）	H	H	H	H	H

• 作者称 Cat. A–C 主要是基础模型继承的暴露，多由预训练完整性、对齐和推理时稳健性决定；Cat. D–F 才由记忆、检索、协调和工具执行涌现（第 6 节）。
• 作者称单智能体没有 Cat. E 所需的协作通道；多智能体的共享任务上下文和编排通信构成协调攻击的传播路径（Table 2、Table 3 观察栏）。Table 3 称 CAI 在所调查框架中架构攻击面最广。
• 省略行里，单智能体 Cat. C 不全是 H：ARACNE、CHECKMATE、RefPentester 为 M，PenHeal 与 HackingBuddyGPT 为 H。Table 3 除已列入的 Incalmo 外，Cat. E 均为 H。

护栏代码对照

• 测了什么：Tables 4–5 用与攻击类对齐的 G-A–G-F，标出作者认为限制护栏效果的主导因素。论文写明这来自出版物中的设计记录，不是攻击实验。
• 结果：表中全部 9 个单智能体和 11 个多智能体的 G-A、G-B 均为 FM，G-C 均为 OFN，G-F 均为 SEM。单智能体 G-E 均为 —。11 个多智能体的 G-D 均为 UNT、G-E 均为 ROL。Table 4 里 G-D 为 UNT 的是 PentestGPT 与 AutoAttacker，其余单智能体为 —。
• 作者的解读：FM 表示防护继承自专有基础模型，护栏由外部定义，不能独立验证或定制。OFN 表示进攻性渗透目标与基础模型安全过滤相冲突。UNT 表示记忆或知识来源未做完整性核验。ROL 表示协作智能体之间没有基于角色的信任核验。SEM 表示执行前生成命令存在语义歧义。图例还定义了 ENV，纯文本中的列位置对不齐，此处不把 ENV 记入具体格子。

架构能力与表间差异

• Table 1：20 个框架的 Planner 与 Tool Execution 均为 ✓。单智能体的 Multi-Agent 均为 –。Human Oversight 在多智能体里多为 Partial；CAI、ReaperAI、VulnBot 为 –。Reflection 仅 HackingBuddyGPT 与 ReaperAI 为 –。
• 作者如何把能力连到暴露：Table 2 观察栏写，PentestGPT 的人工在环降低不安全执行，但没有持久记忆；AutoAttacker 的 RAG 带来记忆投毒风险，自主工具执行提高执行层暴露；HackSynth 与 HackingBuddyGPT 没有持久记忆，攻击面主要在自主 shell。Table 3 写 Incalmo 的意图抽象降低直接提示攻击，共享攻击图仍可被操纵。
• 未解释的表间差异：Table 1 中 PenHeal 的 Memory 为 Partial、RAG 为 ✓，Table 4 的 G-D 为 —。论文未解释这一差异。

其他消融与分析

• 论文未报告消融、参数扫描或重复实验。
• 第 5.3 节只把跨类工作归入混合攻击，没有新的成功率。
• Table 3 写 AutoPentester 报告的子任务完成度低，原因是策略识别失败；论文未给完成率。
• 第 3.3 节引用 [72]，认为已发表成功可能部分是幻觉发现；不是本文测量。
• Tables 2–3 的注再次写明：评级不是经验攻击成功率。

作者指出的局限与后续方向

论文没有单独的 Limitations 节。第 8 节把缺口写成 RG1–RG8，第 9 节复述其中若干项。

• 跨层护栏：作者称现有护栏多保护训练管线、推理提示、记忆库或工具接口等单个组件，而渗透智能体把这些组件放在同一执行管线里。后续应做能同时守住生命周期层和架构层、并提供跨信任边界保护的统一框架（第 8 节 RG1；第 9 节同样表述）。
• 运行时模型完整性：作者称检测预训练投毒、对齐操纵和后门的方法多面向离线评测；对已部署在自主渗透智能体中的基础模型做持续完整性验证，受到的关注很少（第 8 节 RG2）。
• 执行语义与工具授权：作者称当前护栏多分析文本提示和响应，较少推理命令意图、执行上下文、授权边界和下游安全影响；调用插件、MCP 服务器、浏览器自动化或 shell 之前，一般也不验证执行意图或细粒度授权（第 8 节 RG3、RG6）。
• 记忆与多智能体：作者称记忆来源核验、完整性校验、持续一致性检查和异常检测仍相对不成熟。现有系统对智能体认证、消息完整性、信任建立或协同决策验证的支持很少或没有；后续还包括对抗恶意消息传递和蠕虫式攻击（第 8 节 RG4、RG5）。
• 标准化基准：作者称 AgentDojo [16]、AgentLAB [50]、LITMUS [117]，以及度量智能体在多步网络攻击场景上进展的工作 [24]，都未按本文分类完整评测 AI 渗透系统。后续应有标准基准、攻击套件和定量指标，覆盖护栏效果、攻击遏制、执行安全和长期稳健性（第 8 节 RG7）。
• 治理与问责：作者称执行审计、决策来源、记忆可追溯、授权日志和问责的标准化技术探索得很少。第 9 节把标准评测基准、可靠治理机制和运行时验证写成可靠部署自主进攻性人工智能系统所需要的条件（第 8 节 RG8、第 9 节）。

实验覆盖范围

• 定性暴露评估覆盖 Table 2 的 9 个单智能体框架和 Table 3 的 11 个多智能体框架，依据是各框架出版物中的架构能力（第 6 节、Table 1）。
• Table 1 比较 Planner、Memory、RAG、Reflection、Tool Execution、Multi-Agent、Human Oversight，对象为上述 20 个框架。
• Tables 4–5 对同一批单智能体和多智能体框架给出 G-A–G-F 代码；论文写明材料是出版物中记录的设计与护栏，不是经验攻击评测。
• 论文未报告经验攻击成功率、查询次数、样本量或重复次数。
• 第 8 节 RG7 点名 AgentDojo、AgentLAB、LITMUS 和多步网络攻击场景进展度量 [24]，并写明它们未按本文分类给出完整评测。

这是一篇关于自主 AI 渗透测试智能体的安全综述：用架构和生命周期两轴整理威胁与护栏，不做新的攻击实验。

• 问题：作者认为对话式护栏假设人工监督、单轮交互、可信输入和纯文本输出；能读取不可信目标观察、并把模型输出变成 shell 与安全工具调用的自主智能体，使这些假设不再成立。被分析的对象是智能体本身，不是目标系统里的漏洞。
• 框架：对手分三层。Tier 1 能写训练与适配，Tier 2 只能改运行时上下文，Tier 3 能碰通信、工具定义和执行工作流。信任边界是 Model、Context、Execution。Cat. A–C 覆盖预训练、微调对齐和推理时攻击；Cat. D–F 覆盖记忆/RAG、多智能体协调、工具与执行。护栏 G-A–G-F 按同一结构对应。作者同时认为跨类混合攻击使只守一层不够。
• 怎么评：对 9 个单智能体和 11 个多智能体做 H/M/L/– 架构暴露评级，材料是已发表设计，不是攻击成功率。单智能体的 Cat. E 标为不适用。CAI 与 xOffense 在 Cat. A–F 均为 H（Table 3）。Table 2 中 Cat. F 为 L 的框架是 Cochise。
• 护栏对照：Tables 4–5 里列出的框架，G-A 与 G-B 均为继承的基础模型防护 FM，G-C 均为进攻目标与安全过滤的冲突 OFN，G-F 均为执行前命令语义歧义 SEM。多智能体的 G-E 均为缺少角色信任核验 ROL。
• 作者的结论：现有护栏仍按组件隔离，对跨多个信任边界传播的攻击保护很少。作者认为下一步是同时覆盖基础模型、持久记忆、多智能体协作和自主工具执行的架构感知护栏，并配上标准基准、治理机制和运行时验证。