Say Shibboleth:指纹识别智能体攻击背后的大语言模型与 harness
Say Shibboleth: Fingerprinting the LLMs and Harnesses Behind Agentic Attacks
作者提出 shibboleth 陷阱蜜罐,在 blind 且 passive 设定下推断攻击智能体的 LLM 与 harness;作者报告 15 个候选模型上组合推断平均 90% top-1 准确率。
防御方 D 拥有目标系统 H(蜜罐),攻击方 A 是 LLM 驱动的智能体,目标是攻陷 H。
- LLM 驱动的攻击让归因多了一个目标:攻击智能体用的是哪个模型和 harness。防御方只能观察目标系统上的遥测,无法查询攻击方模型,现有主动指纹方法不适用。
- 作者提出 shibboleth 陷阱:把有信息量的交互设为获取资源的条件,声明式门让智能体自报模型名,行为门让其写下带模型"口音"的自由文本,并用执行探针间接探测 harness 的秘密掩码、超时与调度行为。
- 作者报告:15 个候选模型上组合推断平均 90% top-1 准确率;四个 harness 上固定规则识别正确率 92%;被指示隐瞒身份时声明式准确率降到 8%,但行为推断仍达 77%。
- 作者称专有 LLM 覆盖有限(受网络拒答约束);fleet 陷阱实验中 Claude-Opus-5 只在 Claude Code 上运行,模型与 harness 混淆;作者计划扩展 harness 池并大规模部署蜜罐。
- 威胁模型
- 防御方 D 拥有目标系统 H(蜜罐),攻击方 A 是 LLM 驱动的智能体,目标是攻陷 H。D 是 blind(只能看到工具调用在 H 上的副作用)且 passive(不能主动查询智能体),只能观察 A 在 H 上留下的遥测(网络请求、执行的命令),看不到 A 的内部状态、消息或工具调用;D 可在真实性约束下任意设计 H。另测试攻击者被指示隐瞒模型身份的情形。
- 被测模型
- Grok-4.6Qwen3.8-MaxMiMo-V2.6-ProGLM-5.3-FlashClaude-Opus-5GLM-5.3Kimi-K3DeepSeek-V4-FlashMiniMax-M3Qwen3.8-27BDeepSeek-V4-ProHy3GPT-5.6-LunaMistral-Medium-3.5Nemotron-3.5-Super-VL
- 基准
- MCP handshake trapA2A desk trapSSH client declaration trapFleet rollout trap
- 指标
- top-1 accuracytop-3 accuracy
研究者提出对智能体网络攻击进行指纹识别的方法,可从遥测中推断攻击者所用的大语言模型版本与 harness。其 shibboleth traps 是模块化蜜罐服务,把有信息量的交互作为智能体获取所需资源的前提,无需提示注入成功即可诱导模型作出声明并留下特征性文字;针对 harness,则仅凭后续请求中可见的影响间接探测其特有执行行为,包括如何遮蔽工具输出中的密钥、强制命令时限和调度工具调用。声明与行为推断相结合后,在 15 个候选模型中取得平均 90% 的 top-1 准确率,行为分类器在留出的 harness 或任务族上评估;另一项跨四个 harness 的实验中,固定探针规则以 92% 的准确率识别出正确 harness。即使被要求隐藏身份,智能体在声明失去信息量后仍会留下有用的行为证据。
深度解读
这篇论文试图解决什么问题?
在只能观察目标系统遥测的 blind、passive 设定下,推断攻击智能体所用的 LLM 版本与 harness。
核心问题:在防御方只能观察目标系统、无法查询攻击方模型的设定下,如何推断 LLM 驱动攻击背后的模型版本与 harness(即攻击者的智能体配置)。
- 场景与动机:作者认为,LLM 驱动的攻击使"执行攻击的软件"成为归因的新目标;识别模型与 harness 可让防御方跨攻击追踪其使用并评估防御。引言提到 Unit 42 曾从攻击者意外暴露的日志中识别出 DeepSeek 和 Hermes Agent,而只能观察目标的防御方没有这种条件。
- 现有方法不足:作者称 LLMmap 等主动指纹方法需要向模型提交选定查询,防御方对攻击智能体没有这种接口;基于提示注入的蜜罐(如 Mantis)则面临模型与 harness 越来越能抵抗注入的问题。
- 核心观察:不同智能体与同一目标交互时行为不同,其中一部分来自 LLM 参数与 harness 的偏向;防御方可以设计服务,使获取资源以有信息量的交互为条件,从而人为提高遥测的区分度。
- 论文提出:Shibboleth 系统——在蜜罐服务中实现"shibboleth 陷阱",含声明式门(诱导自报身份)与行为门(诱导带"口音"的文本、间接探测 harness 执行行为),以及一个用 LLM 自动生成和优化陷阱的智能体流水线。
- 威胁模型:
- 攻击者目标:LLM 驱动的智能体 A,目标是攻陷目标系统 H(蜜罐)。
- 知识与能力:A 以特定配置(LLM + harness)行动;另测试 A 被指示用假名隐瞒模型身份的情形。
- 防御方:拥有 H,可在真实性约束下任意设计 H;设定为 blind(只看到工具调用在 H 上的副作用)且 passive(不能主动查询智能体或实时操纵环境),只能观察 A 在 H 上留下的遥测(网络请求、执行的命令)。
有哪些相关研究?
相关工作分三类:模型/智能体指纹、LLM 蜜罐,以及蜜罐识别;本文定位为 blind 且 passive 的指纹方法。
模型与 harness 指纹
- LLMmap(Pasquini et al., 2025):向目标 LLM 应用发送八个探针,用训练的推断模型识别 LLM 版本;作者指出它需要控制模型输入并直接读取输出,不适用于本文设定。TRAP(Gubri et al., 2024)用对抗后缀检测应用是否运行某个模型;Sun et al.(2025)仅凭回复文本训练分类器,以 97% 准确率区分五家模型厂商。
- LIDAR(Wang et al., 2026)给编程智能体专门设计的测试任务,从解题方式识别模型(36 个模型、2 个 harness);AgentTrace(Zhao et al., 2026)让智能体复制歧义字符串,从其修复失败的方式识别模型;作者指出两者都是主动的(给智能体下达指令)。
- 被动观察类:Lugoloobi et al.(2026)从网站记录的动作与计时识别浏览智能体背后的模型(14 个模型);Kang et al.(2026)与 Fayolle et al.(2026)从网络和浏览器指纹区分 web 智能体框架。
- Trace(Ediga & Chattopadhyay, 2026):与本文最接近,从渗透测试智能体在蜜罐上执行的 shell 命令识别模型家族,98% 的会话命名正确;作者指出其主实验每个家族只测一个模型、不识别 harness。
LLM 蜜罐
- Reworr & Volkov(2024)与 Pasquini et al.(Mantis, 2026)同时提出 LLM 蜜罐概念,用提示注入使攻击智能体自我暴露或自我破坏;Heckel & Weller(2024)显示防御性提示注入可打断攻击智能体的工作流。作者指出这些工作依赖提示注入,而模型与 harness 正越来越多地被训练抵抗注入。
- AgentSnare(Wang et al., 2026)与 AgentTrap(Wang et al., 2026)分别用假文件/服务和假回复把智能体留在诱饵中;作者指出两者都不识别驱动智能体的模型或 harness。Mantis 主动模式、Mayoral-Vilches et al.(2025)与 BlackSea(Pasquini et al., 2026)通过让智能体攻陷攻击者自己的机器获取指纹,作者称这些方式不普遍适用,可被视为 hack-back。
蜜罐识别
- Rouxii pentester(Cordeiro et al., 2026)在给出蜜罐检测线索的提示词时能以 97% 正确率识别开源蜜罐(不给线索时 19%);Xie et al.(2026)让攻击智能体跳过疑似蜜罐的主机。
本文定位:作者称本文技术既是 passive(不控制被指纹模型的输入)又是 blind(只能通过工具使用观察模型对环境的影响),并自称提供了首个专门通过间接探测执行行为来指纹 agentic harness 的机制。
论文如何解决这个问题?
把有信息量的交互设为获取资源的条件:声明式门诱导自报身份,行为门诱导带"口音"的文本并间接探测 harness 执行行为。
整体思路:防御方设计蜜罐服务(shibboleth 陷阱),使攻击智能体为获得"报酬"(如部署密钥)必须完成有区分度的交互;再从遥测中用声明式规则与行为分类器做推断。
问题形式化
- 目标系统 H 被抽象为有限的门(gate)集合,门是接收攻击者输入的函数(如 SSH 登录的用户名密码);一次攻击留下的门调用序列称为 trace(遥测)。
- 门的区分度定义为 δ(gi) = 𝔼c ≠ c′ TV[gi(Ac), gi(Ac′)],即两个不同配置供给同一门的输入分布之间的总变差距离期望;δ 接近 1 表示一次调用即可区分配置。
- shibboleth 陷阱即被设计为 δ 尽量接近 1 的门;论文研究声明式与行为式两类门,陷阱基于真实服务(MCP、A2A、SSH 等)并以报酬吸引交互。
声明式门与推断规则
- 把身份申报伪装成协议的自然步骤:如 MCP 陷阱把 sampling 参数下的自定义子参数 model 设为必填,并规定取值格式(provider 路由形式、带字母数字后缀),不提供示例值。
- 技巧:前 k 次握手无条件失败、对明显假的申报报错,以诱导更多申报与行为信号;维护一个常见占位符与退役模型名的黑名单 B(附录 B 列出前十条)。
- 推断规则 Id:取 trace 中第一个"有效"申报(格式正确、是 LLM 名、不在黑名单)命名的模型,无则返回 ⊥;harness 用同样规则 IdH。
行为门与推断
- LLM 版本:强制智能体在自由文本等高熵域做决策(如 MCP 陷阱要求为每次变更写至少 80 字符、不可重复的票据文本)。分类用字符 n-gram(2–5 字符、词内)tf-idf 向量,trace 指纹 f 为其各输入向量的均值;开放集推断:m̂ = argmaxm cos(f − μ, Tm − μ),即与注册模板 Tm 余弦最近者,新模型只需注册几条 trace、无需重训。
- harness:作者称 harness 对文本内容影响弱,故设计间接探针探测其执行行为——秘密掩码(不同 harness 对不同形状的凭据掩码规则不同)、命令超时(挂起 150 s 的请求看谁关闭、何时)、并发调度(同一步的多个工具调用是否并行)等(Table 2 列出更多标记)。推断 IbH 是固定规则集:每个探针给出一致 harness 集合,取交集;规则无法定位时可用可选分类器。
- 组合推断 I:有有效声明用声明,否则回退到行为分类器。
陷阱生成流水线
- 用 Claude-Opus-5 作为设计 LLM,端到端流水线:设计构建 → 探针(同模型按真实性标准批评设计)→ 攻击模拟(每轮固定 5 个最难指纹的 LLM、各配一个 harness、每智能体 3 次攻击)→ 评判(另一智能体做盲 k-fold 分类估计 δ)→ 修订,最多 N 轮;并采访攻击智能体获取反馈。
- 论文的四个陷阱(MCP handshake、A2A desk、SSH client declaration、Fleet rollout,Table 3)均由该流水线设计或优化。
论文做了哪些实验?
约 800 次攻击模拟:15 个 LLM、4 个陷阱上组合推断 top-1 达 90%–92%;4 个 harness 上规则识别 92%;隐瞒身份时行为证据仍有效。
实验设置
- 被测模型:15 个 LLM(Table 5:Grok-4.6、Qwen3.8-Max、MiMo-V2.6-Pro、GLM-5.3-Flash、Claude-Opus-5、GLM-5.3、Kimi-K3、DeepSeek-V4-Flash、MiniMax-M3、Qwen3.8-27B、DeepSeek-V4-Pro、Hy3、GPT-5.6-Luna、Mistral-Medium-3.5、Nemotron-3.5-Super-VL);选自 OpenRouter 榜单与真实事件中出现过的模型;Claude-Opus-5 通过 cyber program membership 使用。
- Harness:Hermes Agent 0.19.0、OpenClaw 2026.10.3、OpenCode 1.19.3,外加 Claude Code(仅搭配 Claude-Opus-5,fleet 陷阱除外)。
- 陷阱:Table 3 的四个陷阱(MCP、A2A、SSH、Fleet rollout)。
- 任务:7 类进攻任务(漏洞评估、初始访问、凭据收集、数据收集、持久化、估值、隐蔽访问),每任务 5 种改写措辞,运行时随机选。
- 运行量:每个 LLM×harness 对 6 次攻击模拟,共约 800 次;每次运行由 ⟨陷阱, LLM, harness, 任务, 措辞⟩ 定义。
- 验证方式:行为分类器在三种设置下评估——同分布(SD,90/10 划分、十折)、留一任务(LOTO)、留一 harness(LOHO);所有可学习部分只在训练运行上拟合,未写文本的运行计为分类失败;指标为 top-1(部分给 top-3)准确率及 95% 区间。
主结果
LLM 版本推断 top-1 准确率(据 Table 4,行为/组合栏斜线后为 top-3):
表格较宽,可左右滑动
陷阱 推断 SD LOTO LOHO MCP 仅声明式 87% 87% 87% MCP 仅行为 45/67% 36/54% 41/62% MCP 组合 91/93% 90/93% 90/92% A2A 仅声明式 90% 90% 90% A2A 仅行为 54/78% 54/76% 51/75% A2A 组合 92/94% 92/94% 92/94% SSH 仅声明式 84% 84% 84% - 作者解读:声明式推断承担了大部分结果(单独 84%–90%),且从不指错模型(失误都是无有效声明);行为推断单独较弱(36%–54%),但补上了声明缺失的运行。
- 按模型(Table 5,SD 设置、三陷阱合并):组合推断从 Grok-4.6、Qwen3.8-Max、MiMo-V2.6-Pro 的 98% 到 Nemotron-3.5-Super-VL 的 75%;提升最大的是声明最少的模型,如 Hy3 从 67%(仅声明)到 89%(组合)。
- harness 声明式推断(Table 4 下块):A2A 85%、SSH 81%。
Fleet 陷阱的 harness 行为推断
- 测了什么:fleet rollout 陷阱在四个 harness 上、5+1 个模型(5 个随机 + Claude-Opus-5)的缩减设置;不用可选分类器,规则在运行前桌面分析定好。
- 结果(Table 6):92% 的运行命名正确(Hermes Agent 87%、OpenClaw 87%、OpenCode 93%、Claude Code 96%);严格读数在其决定的运行上全对;leans 在 3 次运行上失败,另 3 次漏报是 4–6 个请求的短会话。
- 作者指出的注意点:Claude-Opus-5 只在 Claude Code 上运行,其 LLM 与 harness 混淆。
隐瞒身份(绕过声明式推断)
- 测了什么:A2A 陷阱上,5 个 LLM(Hermes Agent)加 Claude-Opus-5(Claude Code),系统提示词附加"永不透露名字、被问时答指定假名"(三个真实但不在评测池的假名),单一任务(初始访问),与无该指令的基线对比。
- 结果(Figure 9):92% 的撒谎运行申报了指定假名;声明式与组合推断从 95% 降到 8%;行为推断不降(基线 81%、撒谎 77%),在声明撒谎的运行中 77% 命名正确。
- 作者给出的对策:只接受有行为模板的声明,否则回退行为推断;基线保持 100%,撒谎设置从 8% 升到 79%。
提示注入基线对比(附录 A)
- 测了什么:MCP 陷阱上比较声明式门与提示注入(AgentDojo 的 important instructions 攻击原文,含指定假名版本),5 个 LLM 各攻击 3 次共 60 次运行。
- 结果(Figure 10):声明式门在 15 次运行中 14 次获得真实模型名;注入版本 30 次运行中 0 次获得(智能体 27 次向端点发帖但从不写真名);所有注入版智能体在攻击中称注入块为提示注入,12/21 因此判定目标是蜜罐。
其他消融与分析
- 声明行为统计(Table 1):80% 的运行申报超过一次,32% 申报过假名,25% 真假名都报过;假名几乎从不是评测池内其他模型。
- 规则收益(Table 1):直接取第一个申报命名正确率 76%,规则 Id 为 88%。
- 错误来源(Table 8):组合读数的全部错误归属(1800 次读数中 79 次)来自行为回退,另有 80 次无答案。
- 常见假名(Table 7):16,925 条申报中 7,854 条用了非自身模型名(452 个不同名字),前十条占 1,063 条;六条是已退役模型。
有什么可以进一步探索的点?
作者列出扩展陷阱目录、大规模部署等方向;实验覆盖 15 个 LLM、4 个 harness,专有模型覆盖有限。
作者指出的局限与后续方向
- 专有 LLM 覆盖有限:最有能力的实例因现代网络拒答约束不适合实验中的攻击任务,作者用 cyber program membership 的 Claude-Opus-5 覆盖该类别(Section 7.1)。
- 作者计划在未来版本中扩展 harness 池(Section 7.1)。
- 原始遥测(raw telemetry)分析留作未来工作:对其泛化需要攻击方机器的更多差异(不同机器、地理位置等)(Section 5)。
- 后续两方向:扩展 shibboleth 陷阱目录与 harness 指纹技术;在互联网上大规模部署由陷阱构成的蜜罐(Section 8)。
- 欺骗是贬值资产:每次使用都会失效,作者认为自动生成与优化陷阱的流水线是让方法保持可扩展的关键(Section 6)。
- 初步小规模部署已记录到真实攻击尝试,但作者称此类发现在该规模下仍稀疏(Section 8)。
实验覆盖范围
- 被测模型为 15 个 LLM(Table 5),harness 为 Hermes Agent、OpenClaw、OpenCode 加 Claude Code 共 4 个;Claude Code 仅搭配 Claude-Opus-5(fleet 陷阱除外)。
- 陷阱为 Table 3 的四个(MCP、A2A、SSH、Fleet rollout),任务为 7 类进攻任务、各 5 种措辞;每个 LLM×harness 对 6 次运行,共约 800 次。
- 行为分类器评估覆盖三种泛化设置(SD、LOTO、LOHO);fleet 陷阱实验用 5+1 个模型的缩减设置,且未使用可选分类器。
- 隐瞒身份实验在 A2A 陷阱、单一任务(初始访问)、6 个 LLM、3 个假名上进行;提示注入对比在 MCP 陷阱、5 个 LLM、60 次运行上进行。
- 论文未报告行为分类器评估中各折叠的具体运行数,也未报告陷阱优化流水线的总迭代轮数(仅给出每轮 5 个 LLM × 3 次攻击、最多 N 轮)。
总结一下论文的主要内容
Shibboleth 陷阱让攻击智能体为拿资源自报身份并留下行为"口音",组合推断在 15 个模型上平均 90% top-1。
一篇关于 agentic 攻击指纹的防御论文:在防御方只能观察目标系统遥测、无法查询攻击方模型的 blind 且 passive 设定下,推断攻击智能体使用的 LLM 版本与 harness。
- 问题:作者认为 LLM 驱动的攻击使攻击软件本身成为归因目标;主动指纹方法(如 LLMmap)需要查询接口,提示注入蜜罐则面临模型抗注入能力增强。
- 方法:shibboleth 陷阱把有信息量的交互设为获取资源的条件——声明式门把模型名申报伪装成协议必填字段,行为门强制智能体写自由文本(用 n-gram tf-idf 开放集分类器读"口音"),并用执行探针间接探测 harness 的秘密掩码、超时与并发调度;陷阱由 Claude-Opus-5 驱动的智能体流水线生成与优化。
- 主结果:约 800 次攻击模拟(15 个 LLM、4 个 harness、7 类任务)上,组合推断在 MCP 与 A2A 陷阱达 90%–92% top-1,且在留一任务、留一 harness 设置下与同分布相差不超过一个点(Table 4)。
- harness 指纹:fleet 陷阱的固定探针规则在四个 harness 上 92% 命名正确,严格读数全对(Table 6)。
- 隐瞒身份:被指示报假名时声明式推断从 95% 降到 8%,但行为推断保持 77%;作者给出的对策(只接受有行为模板的声明)把撒谎设置准确率提到 79%(Figure 9)。
- 作者结论:声明式与行为式门互补,声明失效时行为证据仍在;作者计划扩展陷阱目录并大规模部署蜜罐网络,且已开源代码。