可选陷阱:LLM 智能体面对凭据欺骗与告警驱动撤销的实证研究
Optional Traps: An Empirical Study of LLM Agents Against Credential Deception and Alert-Driven Revocation
作者构建蜜罐实验平台测试 LLM 智能体是否触碰诱饵:9.7B 模型绕过所有可选诱饵直接利用真实漏洞,4B 模型在 60 次会话中显示加固后欺骗无额外防御效果。
- 传统欺骗防御(蜜罐、诱饵凭证)假设合法用户不会触碰假资产,但 LLM 智能体是否受此约束、以及在常规加固后欺骗是否仍有增量价值,尚缺乏实证检验。
- 构建隔离的哈希链日志实验室,包含模拟 Records API 和 OpenCanary 传感器,通过四项研究对比基线、仅加固、加固+欺骗三种条件,测试 LLM 智能体对诱饵的触碰及告警驱动的撤销机制。
- 9.7B 模型忽略所有可选诱饵直接利用真实漏洞;4B 模型 60 次会话显示加固单独即可完全阻止导出(0/20),欺骗仅增加检测和撤销(19/20)无额外预防;云端验证 303ms 内完成撤销且不影响合法客户端。
- 样本量小(单目标、4B/9.7B 本地模型);Study 2 未外部预注册;哈希链未签名;基于 IP 的身份识别在共享 NAT 下可能失效;未测试更大或商业模型。
- 威胁模型
- 攻击者是具备路径限定 HTTP 工具和提交工具的 LLM 智能体,可读取任意响应并使用发现的凭证,但无法在目标上执行代码、访问互联网或篡改传感器;防御方控制网关、传感器和适配器,客户端身份基于 socket peer 或 HMAC 签名头部。
- 被测模型
- tantular-cyber:latestqwen3.5:4b-q8_0
- 基准
- Mock Records APIOpenCanary
- 指标
- Genuine export successPeer revokedExact paired McNemar pWilson 95% CI
研究者在隔离实验环境中检验蜜罐与金丝雀凭据等欺骗手段能否防御 LLM 智能体窃取凭据。4B 模型的 60 会话实验显示,基线导出受保护记录成功 20/20,仅加固与加固加欺骗均为 0/20,欺骗在 20 个防御会话中的 19 个带来检测与按客户端撤销,但在加固之外没有可测量的预防增益。Google Cloud 上,真实 OpenCanary 登录告警触发对攻击客户端的撤销,首次被拒导出在观测上限 303 ms 内出现,另一合法客户端 100/100 请求不受影响。多智能体实验中,触碰金丝雀的智能体在诱饵投放后 39-59 秒被撤销且不波及同伴,但一个模型驱动的合法智能体也误触诱饵,构成 LLM 客户端特有的误报风险;探索性运行中 9.7B 模型也忽略了全部可选诱饵并利用真实泄露的服务密钥导出记录。
深度解读
这篇论文试图解决什么问题?
检验 LLM 智能体是否会触碰可选诱饵,以及常规加固后欺骗是否仍有增量防御价值。
核心问题: 传统欺骗防御(蜜罐、诱饵凭证)依赖“合法用户绝不触碰假资产”的假设,但 LLM 智能体是否同样适用、以及在常规加固措施之上欺骗是否提供增量价值,尚缺乏实证研究。
- 问题场景与重要性: LLM 智能体现在能够自主串联侦察、凭证发现和漏洞利用,对 Web 目标发起攻击。防御者长期依赖欺骗技术(蜜罐、蜜令牌、蜜词)早期检测此类活动,但作者认为需要验证这些技术对 LLM 智能体是否依然有效。
- 现有方法不足: 既有 deception 研究多针对人类攻击者,或主张对 LLM 智能体使用提示词注入(prompt injection)进行反击。作者指出,缺乏在相同加固条件下对比“有无欺骗”的对照实验,且提示词注入依赖模型特定行为,不够通用。
- 核心观察与假设: 作者假设 LLM 智能体可能完全绕过放置在攻击路径旁的可选诱饵,直接利用真实漏洞;欺骗的主要价值可能在于检测和归因,而非预防。
- 威胁模型:
- 攻击者目标: 利用 LLM 智能体通过路径受限的 HTTP 工具发现凭证并导出受保护记录。
- 攻击者知识: 可读取任意响应并使用发现的任何凭证,但无法执行代码、访问互联网或篡改传感器。
- 防御方能力: 控制网关、传感器和适配器,可基于 socket peer 或 HMAC 签名头部识别客户端并实施撤销。
- 受害系统: 模拟 Records API,包含故意设置的调试端点漏洞(V1 泄露真实密钥,V2 返回 404 或种植金丝雀凭证)。
有哪些相关研究?
既有工作涵盖针对人类攻击者的蜜罐技术、LLM 智能体自主攻击能力,以及针对 LLM 的提示词注入防御。
针对人类攻击者的欺骗技术
- Spitzner (2002)、Stoll (1989): 提出蜜罐(honeypots)概念,暴露无生产目的的系统,任何交互均可疑。
- Juels and Rivest (2013): 提出蜜词(honeywords),在密码文件中植入诱饵密码,一旦使用即暴露破解行为。
- MITRE Engage (2022): 将拒绝和欺骗框架化为有明确目标的计划性对抗 engagement。
LLM 智能体作为攻击者
- Fang et al. (2024): 证明工具使用型 LLM 智能体可自主利用 Web 应用漏洞,包括多步骤攻击,无需事先知道具体缺陷。这促使防御假设攻击者会读取并推理服务器响应。
针对 LLM 智能体的欺骗防御
- Pasquini et al. (2024): 提出 Mantis,在诱饵服务中嵌入提示词注入载荷,以破坏或反击 LLM 驱动的攻击者。
- Ayzenshteyn et al. (2025): 提出 CHeaT,针对 LLM 渗透测试智能体实施资产伪装、蜜罐放置和陷阱设置的主动防御。
- Reworr and Volkov (2024): 部署面向互联网的蜜罐,嵌入提示词注入和时序分析,检测野外 AI 黑客智能体。
基线与对比
- 基线方法: 论文未使用外部基线方法,而是设置内部对照条件:基线(无加固无欺骗)、加固(关闭漏洞无欺骗)、防御(加固+欺骗)。
- 使用基准: 无公开基准,使用自建的 Mock Records API 和 OpenCanary 蜜罐软件。
作者定位本文与上述工作的区别在于:避免使用提示词注入和隐藏指令,仅使用普通假资产和金丝雀凭证,使防御独立于模型特定行为;核心方法贡献是 Study 2 中的加固-对比-防御消融实验,将去除真实漏洞的预防效果与欺骗的预防效果分离。
论文如何解决这个问题?
构建隔离的哈希链日志实验室,通过四项研究对比基线、加固、加固+欺骗条件,测试 LLM 智能体对诱饵的触碰及告警驱动的撤销。
整体思路是构建一个隔离的、可复现的欺骗实验室,围绕模拟 Records API 设计四项研究,通过对比基线、仅加固、加固+欺骗三种条件,分离加固与欺骗的防御效果,并验证告警驱动的撤销机制。
实验室架构与威胁模型
- 目标系统: Mock Records API 提供合成记录,真实目标是使用有效 bearer 密钥调用 GET /api/v2/records/export;故意漏洞是调试端点 /api/v1/debug/env(V1 和 V2 基线泄露真实服务密钥,V2 加固后返回 404 或种植金丝雀密钥)。
- V1 欺骗模式: 静态模式添加包含金丝雀密钥的备份文件和 robots.txt 中列出的废弃内部 API;自适应模式使内部 API 返回无尽分页线索。使用金丝雀密钥或 12 次诱饵点击会在 API 内终止会话。
- V2 防御架构: 独立网关(Figure 1)在三种条件下替换漏洞:基线(泄露真实密钥)、加固(调试路由返回 404)、防御(调试路由返回种植的金丝雀密钥并启用执行)。金丝雀使用会撤销触发对等方 15 分钟。
- 威胁模型: 攻击者是具有路径限定 HTTP 工具和提交工具的 LLM 智能体,可读取任意响应并使用发现的凭证,但不能在目标上执行代码、访问互联网或篡改传感器;防御方控制网关、传感器和适配器,客户端身份基于 socket peer(Study 4 中为 HMAC 签名头部),忽略 X-Forwarded-For。
证据与隔离机制
- 预算与限制: 智能体在硬预算下运行(HTTP 调用、模型轮次、报告 token、墙钟时间),token 来自模型运行时报告而非估计。
- 哈希链日志: 每个智能体和防御事件追加到 SHA-256 哈希链;验证者重新计算摘要、覆盖率、汇总计数和统计信息。日志未签名,可检测不一致性但不证明作者身份。
- 隔离环境: 容器运行在无发布端口的内部 Docker 网络,非 root 用户、只读文件系统、无 capabilities、资源限制;本地容器实验室通过 60/60 隔离和强制检查。
研究设计
- Study 1(探索性): 使用 tantular-cyber:latest(9.7B 参数,Q8_0,本地 Ollama),种子 13112026,每个 V1 模式一个会话,针对 Records API 的新环回实例;预算为 25 次 HTTP 调用、30 轮模型、60,000 报告 token、180 秒墙钟时间。
- Study 2(对照实验): 使用 qwen3.5:4b-q8_0(本地 Ollama),温度 0.2,8,192 token 上下文,每轮生成 256 token,禁用思考;三种条件(基线、加固、防御)各 20 次试验共 60 会话,条件顺序轮换,共享采样种子(从 131200 开始)和相同任务;每会话使用新目标和新对话,随机合成凭证;预算为 8 次 HTTP 调用、8 轮模型、30,000 报告 token、90 秒墙钟时间;任务告知智能体发现和导出路由,测量已知漏洞的利用而非路由发现。
- Study 3(云端验证): 在 Google Cloud e2-small VM(Ubuntu 24.04)上运行独立 V2 堆栈,通过 Identity-Aware Proxy SSH 访问;运行器生成新合成密钥,按固定顺序执行 14 项检查并移除堆栈;验证者故意向攻击者容器提供有效实验室令牌,测试检测而非令牌决定访问。
- Study 4(多智能体蜂群): 角色提示智能体群(侦察、收集、利用、诱饵)和一个合法智能体通过 IAP 隧道攻击 GCP VM 上的 V2 网关;每个智能体携带 HMAC 签名对等身份,撤销一个不影响其他;模型在操作员机器上通过本地 Ollama 运行。
统计与验证
- 主要结局: 配对真实目标成功率,基线 vs 防御,使用精确双侧 McNemar 检验;预设门槛要求至少 20 对有效配对、基线成功率至少 80%、防御下成功更少、p < 0.05、每条件最多 10% 无效运行。
- 消融检验: 加固 vs 防御为次要消融,除非独立支持否则不声称增量收益;区间估计使用 Wilson 95%。
- 独立验证: 验证者重新计算结果和协议摘要、源指纹、会话覆盖率、汇总计数、Wilson 区间和精确配对统计。
论文做了哪些实验?
四项研究:9.7B 模型绕过所有可选诱饵;4B 模型 60 会话显示加固单独即可阻止导出,欺骗仅增加检测;云端 303ms 完成撤销;蜂群中出现合法智能体误触诱饵。
实验设置
- 被测模型: tantular-cyber:latest(9.7B 参数,Q8_0,本地 Ollama,Study 1);qwen3.5:4b-q8_0(4B 参数,本地 Ollama,Study 2、4)。
- 数据集/基准: 无公开基准,使用自建 Mock Records API(合成记录和凭证)和 OpenCanary 蜜罐软件。
- 基线: 内部对照条件——基线(无加固无欺骗)、加固(关闭漏洞无欺骗)、防御(加固+欺骗)。
- 指标定义: 真实导出成功率(Genuine export success)、对等方撤销率(Peer revoked)、精确配对 McNemar p 值、Wilson 95% 置信区间。
- 评审方式: 无 LLM 评审,使用独立验证者重新计算哈希链、统计量和协议合规性。
- 样本量与重复: Study 1 每模式 1 会话;Study 2 每条件 20 试验共 60 会话;Study 3 单次运行 14 项检查;Study 4 四次独立 engagement(A、B、C、D)。
主结果
表格较宽,可左右滑动
条件 调试路由行为 真实导出成功 Wilson 95% CI 对等方撤销 基线 泄露真实实验室密钥 20/20 (100%) 83.9%–100% 0/20 加固 返回 404 0/20 (0%) 0%–16.1% 0/20 防御 提供种植的金丝雀密钥,启用执行 0/20 (0%) 0%–16.1% 19/20 据 Table II。精确配对 McNemar 检验:基线 vs 防御 p = 1.9073486328125 × 10−6;加固 vs 防御 p = 1(无 discordant pairs)。
- 作者解读: 加固和防御条件在导出成功率上不可区分(均为 0/20),说明预防效果完全来自关闭真实漏洞;欺骗的增量价值在于检测和归因(19/20 会话触发撤销),而非额外预防。
- 例外情况: 第 11 次试验(种子 131210)中,模型读取诱饵路由但向导出端点提交无法识别的凭证(HTTP 401),随后查询不存在的调试路由直至预算耗尽,既未导出也未触发撤销。
Study 1:实时智能体绕过可选诱饵
- 设置: tantular-cyber:latest(9.7B),每模式 1 会话,预算 25 次 HTTP 调用、30 轮模型、60,000 token、180 秒。
- 结果: 在静态和自适应欺骗模式下,模型忽略所有诱饵,在 6 次 HTTP 调用内读取 /api/v1/debug/env 的真实密钥并调用 /api/v2/records/export;基线会话中模型也找到密钥但持续尝试错误的 /api/v1/... 导出路径直至墙钟预算耗尽(Table I)。
- 作者解读: 当真实漏洞可达时,放置在路径旁的诱饵会被直接跳过;基线失败是能力缺失而非防御效果。
Study 3:云端告警驱动撤销验证
- 设置: Google Cloud e2-small VM,OpenCanary 传感器,HMAC 签名适配器,14 项控制检查。
- 结果: 真实 OpenCanary 登录告警在 303 ms(观察上限)内导致攻击者客户端的有效令牌被拒绝;合法客户端完成 100/100 请求;所有 14 项检查通过(Table III),包括伪造传感器 webhook 返回 403、重放 V1 调试密钥绕过返回 403 并撤销、无效 HMAC 签名返回 401 等。
- 作者解读: 商品级蜜罐告警可被认证、编辑、签名并转化为每客户端撤销,耗时数百毫秒,且不干扰共存合法客户端。
Study 4:多智能体蜂群交战
- 设置: 四次 engagement(A:脚本驱动无模型;B:qwen3.5:4b-q8_0;C、D:tantular-cyber),通过 IAP 隧道攻击 V2 网关。
- 结果: 使用金丝雀的智能体在诱饵提供后 39–59 秒被撤销(Table IV),后续 58 次请求被拒绝;Engagement B 中合法 LLM 智能体也触碰诱饵并被撤销(误报);Engagement C 中 6 个智能体共享本地运行时,平均 180 秒内仅 5 轮模型,遏制来自预算而非防御;Engagement D 中所有 90 次导出请求针对不存在的 /api/v1/... 路径,零导出反映能力缺失。
- 作者解读: 预算限制和智能体能力决定了与防御同样多的结果;合法 LLM 客户端可能偏好看似泄露的凭证,存在特定于 LLM 的误报风险。
其他消融与分析
- Study 2 协议冻结: 协议和源指纹在首次测量调用前本地冻结(非外部预注册)。
- Study 3 回归测试: 最终网关通过 9/9 聚焦测试、完整实验室套件(79/79)和严格 TypeScript 检查;早期网关修订版以 266 ms 观察上限通过相同 14 项检查。
- 证据完整性: 所有三个事件链(Study 1)和 60 会话 120 事件链(Study 2)均通过验证。
有什么可以进一步探索的点?
样本量小且模型规模有限;协议未外部预注册;证据链未签名;身份识别在共享 NAT 下可能失效;需测试更大模型和真实流量。
作者指出的局限与后续方向
- 外部效度: 单一模拟 API、单一植入漏洞、4B 和 9.7B 本地模型、单一运行时和主机;结果可能无法迁移到更大或商业模型、其他漏洞类别或真实应用(Section IX)。
- 构建效度: Study 2 告知智能体发现和导出路由,测量的是已知漏洞利用而非发现;其任务与 Study 1 不同,两者数值不可比(Section IX)。
- 统计效度: Study 2 仅 20 对样本;0/20 的 Wilson 区间仍允许最高 16.1% 成功率;Study 1、3、4 为单次运行或单次交战,属探索性(Section IX)。
- 内部效度: Study 2 测量的是归档的网关快照,后续网关编辑(过期清理、新告警续期、弱密钥拒绝、400/405 处理)未包含在内;Study 3 测量的是后续修订版(Section IX)。
- 预注册: Study 2 协议在测量前本地冻结,但未外部时间戳或评审(Section IX)。
- 证据完整性: 哈希链和摘要可检测不一致性但未签名;能够替换所有证据的一方可以重新计算(Section IX)。
- 生产差距: 基于 IP 或头部的对等身份可能影响共享 NAT 后的客户端;撤销和重放状态在内存中;事件未发送到持久审计存储;未进行负载测试、代表性良性流量或独立对抗评审(Section IX)。
- 后续方向: 测试更大和商业模型、多目标和漏洞类别、真实良性 AI 流量、绑定到认证会话的身份,并在每次比较中包含加固臂(Section X)。
实验覆盖范围
- 被测模型为 tantular-cyber:latest(9.7B)和 qwen3.5:4b-q8_0(4B),共 2 个,均为本地 Ollama 运行。
- 防御评测包括静态欺骗、自适应欺骗、加固(关闭漏洞)、加固+欺骗(金丝雀凭证+撤销)四种条件。
- Study 2 每条件 n=20 次试验,共 60 会话;Study 1 每模式 n=1;Study 3 为单次 14 项检查;Study 4 为 4 次单次交战。
- 论文未报告与人工评审的一致性,使用独立验证者重新计算统计量。
- 未使用商业模型 API,仅使用本地模型权重。
总结一下论文的主要内容
LLM 智能体会绕过可选诱饵直接利用真实漏洞;常规加固即可完全阻止导出,欺骗的增量价值在于检测和归因而非预防。
本文构建了一个隔离的、哈希链日志的欺骗实验室,围绕模拟 Records API 和 OpenCanary 蜜罐,通过四项研究检验 LLM 智能体对诱饵凭证的触碰行为及告警驱动的撤销机制。
核心发现是,当真实漏洞可达时,9.7B 参数的 tantular-cyber 模型会忽略所有放置在攻击路径旁的可选诱饵(静态和自适应模式),直接读取调试端点泄露的真实密钥并导出记录(Study 1)。在受控的 60 会话研究中(Study 2),4B 参数的 qwen3.5 模型显示:基线条件真实导出成功率为 20/20,而仅加固(关闭漏洞)和加固+欺骗条件均为 0/20;精确配对 McNemar 检验显示加固与防御条件间无差异(p = 1),表明预防效果完全来自关闭真实漏洞,欺骗仅增加了检测(19/20 会话触发撤销)和归因能力。
云端验证(Study 3)表明,真实 OpenCanary 告警可在 303 ms 观察上限内转化为针对攻击者客户端的撤销,且不影响合法客户端完成 100/100 请求。多智能体蜂群实验(Study 4)发现,使用金丝雀的智能体在 39–59 秒后被撤销,但一个合法 LLM 智能体也触碰了诱饵,揭示了特定于 LLM 客户端的误报风险。
作者结论认为,针对 LLM 智能体的陷阱必须放置在攻击者必经之路上而非旁边;关闭真实漏洞完成了预防工作,而欺骗的可测量价值在于快速、可归因的检测。所有结果均为实验室规模,不构成生产环境主张。