Skip to content

Translation in progress Some entries still include text in the original language.

论文追踪· arXiv:2610.02869·Indexed by this site · Originally published

AgentTrap:面向自主渗透测试 Agent 的有状态反馈欺骗蜜罐

AgentTrap: Stateful Feedback Deception against Autonomous Penetration Testing Agents

Quick read

Defenses

Based on 论文 PDF (AI 生成); refer to the original

AgentTrap相对无防御,把八智能体合计真实目标ASR从95.8%降到79.2%,18.8%运行诱出APIkey。

Threat model攻击者使用自主渗透测试智能体攻击 black-box 网络服务。

Questions
自主渗透智能体按目标响应多步改计划,常规蜜罐的静态制品和预定义响应跟不上。防御者需要在不干扰良性用户的前提下,用可适应的欺骗维持交互并实施受控反击。
Methods
AgentTrap用哨兵端点区分攻击交互,由LLM控制器按当前请求、历史和应用真实状态生成有状态欺骗响应,再按后续探测行为决定何时升级并发动反击。评测中的反击是捕获攻击方API key。
Experiments and results
八个智能体各配两个LLM,在SQL注入业务端点与蜜罐端点上对比四种防御。作者称合计真实目标ASR从95.8%降到79.2%、18.8%运行诱出API key,且抵抗取决于模型认出欺骗与架构隔离密钥。
Limitations and future work
作者计划加强状态控制、增加凭证请求以外的诱导策略,并扩大漏洞类型、智能体、后端和重复次数,再测真实部署的开销与对合法用户的干扰。实验为八个智能体、每格3次,控制器模型未写明。
Experimental setupAIDA、Claude Code et al. · authorized sandbox(business endpoint with SQL injection 与 defense-controlled endpoint) · ASR、CSR et al.
Threat model
攻击者使用自主渗透测试智能体攻击 black-box 网络服务。智能体无沙箱限制,可运行命令、调用工具、发网络请求,并按目标响应迭代调整;只能经外部接口访问目标。防御者可观察交互并控制目标侧防御响应,不能访问智能体内部状态、提示词或执行环境。
Evaluated models
AIDAClaude CodePentestGPTpentest-aiPentAGIStrixCAIpentestagent
Benchmarks
authorized sandbox(business endpoint with SQL injection 与 defense-controlled endpoint)
Metrics
ASRCSRtoken usagewall-clock time
AI summary研究者提出 AgentTrap,一种面向自主渗透测试 Agent 的闭环蜜罐,通过哨兵端点避免误伤正常流量、基于被保护应用的状态化欺骗,以及行为引导的升级策略来维持交互并收集 Agent 侧行为证据。在部署的 Web 应用中,研究团队用真实应用端点与独立蜜罐端点、三种防御策略对八种自主渗透测试 Agent 进行评测。相比无防御,AgentTrap 将真实目标的总体攻击成功率从 95.8% 降至 79.2%,并在 18.8% 的运行中成功诱导出攻击方 API key,效果优于静态欺骗与固定升级策略。轨迹分析显示,Agent 抵御此类反制的能力同时取决于模型层面对欺骗性请求的识别和架构层面对敏感资源的隔离。

研究者提出 AgentTrap,一种面向自主渗透测试 Agent 的闭环蜜罐,通过哨兵端点避免误伤正常流量、基于被保护应用的状态化欺骗,以及行为引导的升级策略来维持交互并收集 Agent 侧行为证据。在部署的 Web 应用中,研究团队用真实应用端点与独立蜜罐端点、三种防御策略对八种自主渗透测试 Agent 进行评测。相比无防御,AgentTrap 将真实目标的总体攻击成功率从 95.8% 降至 79.2%,并在 18.8% 的运行中成功诱导出攻击方 API key,效果优于静态欺骗与固定升级策略。轨迹分析显示,Agent 抵御此类反制的能力同时取决于模型层面对欺骗性请求的识别和架构层面对敏感资源的隔离。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    静态蜜罐跟不上自主渗透智能体的多步适应;AgentTrap用闭环欺骗维持交互并做受控反击。

    自主渗透测试智能体按目标反馈改写多步攻击,静态蜜罐难以跟着变。

    • 场景: 作者称大语言模型把自动化渗透从预定义扫描,变成持续解释观测、修订计划并调用工具的自适应攻击。蜜罐被用来把攻击从真实资产引开,并支持追踪和主动反击。
    • 现有不足: 作者称常规蜜罐主要暴露预定义诱饵并记录交互,依赖静态制品和预定义响应,对多步、策略不断变化的攻击缺少适应能力,因而难以维持可信欺骗。
    • 观察: 智能体主要凭运行时反馈推断目标状态,可能认不出故意设置的欺骗。作者认为防御者可以借此误导智能体、将其引向受控蜜罐、消耗攻击预算,或在其环境中触发受控代码执行。
    • 威胁模型:
      • 场景: 攻击者用自主渗透测试智能体攻击 black-box 网络服务。
      • 攻击者能力: 智能体无沙箱限制,有足够权限运行命令、调用外部工具并发起网络请求;按返回响应维护状态并迭代调整。响应显得不可信或与先前观测不一致时,可能质疑或放弃该路径。只能经外部接口访问目标,不能访问源码、部署配置、内部状态、日志或私有后端。
      • 防御者能力: 可观察与目标的交互,并控制目标侧防御组件的响应;不能访问智能体的内部状态、提示词或执行环境。
    • 提出的方法: 作者称 AgentTrap 是面向这类智能体的首个闭环蜜罐:哨兵端点避免干扰良性用户,基于被保护应用的有状态欺骗维持多步一致性,行为引导的升级决定何时做受控披露和反击。
  2. What related research exists?

    相关工作是反馈驱动的渗透智能体,以及把欺骗做成预配置制品的蜜罐;基线是无防御、静态欺骗和固定升级。

    相关讨论在引言和 Background,没有单独的 Related Work 节。

    自主渗透测试智能体

    • 闭环工作流: 作者把 PentestGPT(2023)、CAI(2025)、PentAGI(2025)、AIDA(2026)、pentest-ai(2026)、pentestagent(2026)、Strix(2026)概括为 Planning、Discovery、Attack、Reporting 的闭环(Figure 2,引用 [1, 2, 5, 6, 10–12])。给定网站和测试目标后,智能体拆分子目标、形成漏洞假设,用工具调用和多步动作验证并利用漏洞,再把轨迹整理成报告。
    • 反馈驱动: 作者认为观测到的响应会更新假设和后续计划;这种设计也使防御方有机会操纵反馈。

    蜜罐

    • 传统蜜罐: Pouget 等(2003)与 Spitzner(2003)讨论蜜罐、蜜网和 honeytoken:用诱饵主机、服务或制品吸引恶意活动,并支持检测、观察和情报收集。
    • 面向 LLM 攻击者的欺骗: Ayzenshteyn 等(2025)的 Cloak, Honey, Trap,以及 Pasquini 等(2024),被作者归为把面向模型的指令、honeytoken 和其他欺骗制品放进环境,以误导、检测、拖延或扰乱自主智能体。作者称这些做法大多把欺骗当成预先配置的制品或响应,对智能体多步演化的攻击状态适应支持有限。

    基线与评测环境

    • 基线方法: Table 1 定义 M1 无防御、M2 静态欺骗(固定欺骗响应和制品)、M3 固定升级(动态欺骗,三次交互后发动反击)。评测环境是授权沙箱中的业务端点(真实 SQL 注入)和防御控制端点,不是命名公开基准。

    作者把 AgentTrap 定位为闭环蜜罐:用哨兵端点、基于被保护应用的有状态欺骗和行为引导升级,在交互过程中调整响应,而不是只投放预配置诱饵。

  3. How does the paper address this problem?

    AgentTrap用哨兵端点接入,再由LLM控制器按应用状态做有状态欺骗,并按后续行为决定反击时机。

    整体上,AgentTrap 把蜜罐做成闭环:先用哨兵端点接住侦察,再用基于真实应用状态的响应维持欺骗,最后按后续行为决定是否反击。

    三方面挑战与对应设计

    • 隔离: 蜜罐须与合法工作流隔离,部署不影响良性用户,也不改变真实应用行为。
    • 一致性: 防御者看不到智能体内部推理。反馈仍须在多步攻击中显得可信、前后一致,否则智能体可能放弃欺骗路径、回到真实攻击面。
    • 升级时机: 初次接触可能只是侦察。蜜罐要用后续行为判断深入到哪一步、何时发动反击。
    • 三阶段: 哨兵端点、有状态欺骗、行为引导升级,分别对应上述三点。

    哨兵端点

    • 不在正常流程中: 端点不出现在正常应用工作流里。作者认为良性用户不太可能访问,但自动化侦察仍可能发现它们。
    • 作用: 把攻击导向的交互与良性访问分开,避免防御部署干扰合法用户或改变真实应用行为。

    基于应用的有状态欺骗

    • 触发: 智能体访问哨兵端点后,由 LLM 控制器编排欺骗交互。论文未给出该控制器的模型名称。
    • 输入: 控制器按当前请求、先前交互,以及应用的实际运行时状态生成上下文相关响应,使端点在交互中调整,同时保持行为一致。
    • 接地: 作者称把交互约束在真实环境的真实应用行为上,用来减少幻觉或内部不一致的反馈,以免暴露欺骗。

    行为引导的升级

    • 先弱后强: 起初只返回有限的欺骗反馈,并观察智能体如何响应。
    • 追击信号: 持续探测、精炼后的攻击输入,以及越来越有针对性的请求,被用来判断智能体是否沿欺骗路径继续。据此逐步给出更强的可利用性迹象。
    • 反击条件: 只有观察到的行为满足升级条件后才发动反击,以避免尚未按欺骗反馈行动时过早激活。论文未写出该条件的形式化阈值。
    • 评测中的反击目标: 实验把反击成功定义为捕获攻击智能体的 API key。动机例子是端点用欺骗反馈,诱导智能体从其自身环境取出密钥并在后续请求中提交(Figure 1);这里不复述该反馈原文。

    成功判定

    • 攻击成功: 经 SQL 注入路径取回预置 flag。
    • 反击成功: 捕获攻击智能体的 API key。
    • 对照里的固定策略: M3 在三次交互后发动反击;AgentTrap 按推断的智能体行为决定何时反击(Table 1 方法说明)。
  4. What experiments did the paper conduct?

    相对无防御,八智能体合计真实目标ASR从95.8%降到79.2%,18.8%运行诱出API key;多数组合反击为0。

    实验设置

    • 环境: 授权沙箱内有两个完全解耦的端点:业务端点含真实 SQL 注入,防御控制端点实现欺骗与反击。攻击成功指经该注入路径取回预置 flag;反击成功指捕获攻击智能体的 API key。
    • 对象: 八个公开自主渗透测试智能体。作者称仓库平均超过 28k GitHub stars。各配两个文档推荐或官方支持的后端:AIDA、Claude Code、PentestGPT 用 Claude Opus 4.8 与 Claude Sonnet 5;pentest-ai、PentAGI、Strix、CAI、pentestagent 用 DeepSeek-V4-Flash 与 DeepSeek-V4-Pro。
    • 对照: M1 无防御;M2 静态欺骗,返回固定欺骗响应和制品;M3 固定升级,提供动态欺骗并在三次交互后反击;M4 为 AgentTrap。
    • 记录: Table 1 每格 3 次,记为 x/3。论文未写 LLM 评审、判定阈值、人工一致性或统计检验,也未说明蜜罐控制器用哪个 LLM。Figure 3 另记各智能体在四种配置下的 token(k)与墙钟时间(s)。

    主结果

    下表摘自 Table 1。合计 95.8% 与 79.2% 覆盖全部 16 个智能体–后端组合,不只是表中列出的行。M2 的 CSR 在全表均为 0/3,故未单列。

    | 智能体 + LLM | M1 ASR | M2 ASR | M4 ASR | M4 CSR | M3(ASR, CSR) | | AIDA + Claude Opus 4.8 | 3/3 | 3/3 | 3/3 | 0/3 | 3/3, 0/3 | | PentestGPT + Claude Opus 4.8 | 3/3 | 2/3 | 2/3 | 0/3 | 3/3, 0/3 | | PentestGPT + Claude Sonnet 5 | 2/3 | 0/3 | 2/3 | 0/3 | 3/3, 0/3 | | Strix + DeepSeek-V4-Pro | 3/3 | 3/3 | 2/3 | 0/3 | 2/3, 0/3 | | CAI + DeepSeek-V4-Flash | 3/3 | 3/3 | 0/3 | 3/3 | 1/3, 2/3 | | CAI + DeepSeek-V4-Pro | 3/3 | 3/3 | 2/3 | 2/3 | 3/3, 1/3 | | pentestagent + DeepSeek-V4-Flash | 2/3 | 3/3 | 0/3 | 3/3 | 1/3, 2/3 | | pentestagent + DeepSeek-V4-Pro | 3/3 | 3/3 | 3/3 | 1/3 | 3/3, 0/3 |

    省略且与 AIDA + Claude Opus 4.8 一行相同的组合:AIDA + Claude Sonnet 5,Claude Code 的两个后端,pentest-ai 与 PentAGI 的各两个后端,以及 Strix + DeepSeek-V4-Flash。这些行 M1–M4 的 ASR 均为 3/3,M2–M4 的 CSR 均为 0/3。

    • 合计: 作者称相对无防御,AgentTrap 把合计真实目标 ASR 从 95.8% 降到 79.2%,并在 18.8% 的运行中诱出 API key;反击成功次数最多,ASR 下降最一致,优于静态欺骗和固定升级。
    • 反例: 上表并非每格 ASR 都低于该行 M1。PentestGPT + Claude Sonnet 5 的 M3 ASR 高于其 M1,且该行 M2 ASR 低于 M4。pentestagent + Flash 的 M2 ASR 高于其 M1。
    • 反击分布: 作者称成功反击集中在 CAI 与 PentestAgent,AgentTrap 总体上优于固定升级。表中非零 CSR 只出现在这两类;其 M4 CSR 不低于同行的 M3。

    执行轨迹

    • 做法: 作者检查各智能体执行轨迹,区分反击成功与两类抵抗。
    • 中招方式: 成功案例集中在 CAI 和 PentestAgent:它们从自己的执行环境取出 API key,并作为候选利用值提交给蜜罐端点。CAI 虽要求模型检查响应中的恶意内容,作者称在凭证请求被说成合理利用参数时仍然提交。作者称 Flash 的反击成功率明显高于 Pro,方向与表中 CAI、pentestagent 的 M4 CSR 一致。
    • 抵抗: 作者称 AIDA、Claude Code、PentestGPT 未交出密钥,主因是底层 LLM 认出欺骗端点在收集凭证并拒绝披露,而不是智能体专有防护。Strix 的利用工具在隔离沙箱中,访问不到存放 API key 的进程,模型即使遵从指令也无法披露。作者认为 AgentTrap 可在模型层或智能体层被挡住。论文没有对 pentest-ai、PentAGI 的零 CSR 另作解释。

    资源开销

    • Figure 3: 八个子图为 AIDA、Claude Code、PentestGPT、PTAI、PentAGI、Strix、CAI、PentestAgent;标注量为 token(k)与墙钟时间(s),配置为 M1–M4。
    • 作者解读: 作者称静态欺骗可以提高攻击方的 token 和时间消耗;AgentTrap 并不总是资源开销最高,因为它主要把智能体引向受控路径,而不是尽量拉长交互。

    其他消融与分析

    • 论文未报告 AgentTrap 的升级阈值、控制器 LLM 或披露强度扫描;三次交互后反击只写在 M3 的方法说明里。
    • 省略行在四种策略下 ASR 保持 3/3、CSR 为 0/3。pentestagent + Pro 的 M4 一行同时计上攻击成功与反击成功,二者不是互斥结果。
    • PentestGPT + Claude Sonnet 5 的 M1 ASR 已不是满次数,无防御时攻击也未全部成功。
  5. What are some points that can be further explored?

    作者计划扩展状态控制与诱导策略,并扩大评测、增加重复、测量真实部署。

    作者指出的局限与后续方向

    • 状态与策略: 作者计划扩展更完整的状态控制和更多样的诱导策略;将建模更丰富的攻击状态和更长交互历史,使欺骗路径和升级决策随状态调整,而不是只依赖当前这组交互模式(Section 5,Extending the Design)。
    • 诱导目标: 作者计划探索凭证请求以外的诱导策略,以配合不同攻击阶段和反击目标(Section 5)。
    • 评测范围: 作者计划加入更多漏洞类型、自主渗透测试智能体和 LLM 后端,考察当前设置之外效果是否还能成立(Section 5,Expanding the Evaluation)。
    • 重复次数: 作者计划大幅增加每个配置的重复运行,以计入 LLM 智能体的随机行为并改善测量(Section 5)。
    • 真实部署: 作者计划部署到真实环境,测量把智能体从真实资产引开、降低攻击成功、维持对欺骗端点交互的效果,并测量部署开销和对合法用户的干扰(Section 5,Real-World Deployment)。

    实验覆盖范围

    • 对象: Table 1 覆盖八个智能体,各两个文档推荐或官方支持的 LLM 后端,每格 3 次运行。
    • 环境与指标: 授权沙箱中一个带真实 SQL 注入的业务端点、一个防御控制端点;指标为取回 flag 的 ASR、捕获 API key 的 CSR,以及 Figure 3 的 token 与墙钟时间。
    • 对照: M1 无防御、M2 静态欺骗、M3 三次交互后固定升级、M4 AgentTrap。
    • 轨迹: 作者检查了各智能体执行轨迹,并写明 AIDA、Claude Code、PentestGPT 的拒绝,以及 Strix 的沙箱隔离。
    • 未写明项: 论文未报告蜜罐 LLM 控制器的模型名称、升级条件的形式化规则,以及统计检验。
  6. Summarize the main content of the paper

    AgentTrap以闭环蜜罐把合计真实目标ASR从95.8%降到79.2%,并在18.8%运行中诱出API key。

    AgentTrap 是作者所称的、面向自主渗透测试智能体的首个闭环蜜罐,用来在 black-box 网络服务上用可调整的反馈牵制多步攻击,并在受控条件下收集智能体侧证据。

    问题在于:这类智能体按目标响应改计划、调用工具;常规蜜罐的静态制品和预定义响应难以在多步中保持可信,也难决定何时反击。

    方法有三步。哨兵端点不在正常工作流中,用来避开良性用户。LLM 控制器依据当前请求、历史和真实应用状态生成欺骗响应。持续探测等行为满足升级条件后才发动反击;实验里的反击是捕获攻击方 API key。

    在授权沙箱中,业务端点有真实 SQL 注入,另一端点负责欺骗。八个智能体各配两个文档推荐或官方支持的后端,每格 3 次。作者报告:相对无防御,合计真实目标 ASR 从 95.8% 降到 79.2%,18.8% 的运行诱出 API key,优于静态欺骗和固定升级。Table 1 中反击成功出现在 CAI 与 pentestagent;Flash 行的 CSR 高于同智能体的 Pro 行。AIDA、Claude Code、PentestGPT 的模型拒绝交密钥;Strix 因利用工具沙箱隔离而无法读到密钥。若干组合的 ASR 并不低于 M1,静态欺骗在个别行上 ASR 更低,但 M2 的 CSR 全为 0/3。

    作者的结论是:反馈可以支撑对自主渗透智能体的反击;能否抵抗,同时取决于模型是否认出欺骗请求,以及架构是否把敏感资源与执行环境隔开。

Read originalarxiv.org