你的 Agent 比你想象的更脆弱：揭示智能体式 LLM 中的间接提示注入漏洞

动态多步工具调用中，藏在第三方内容里的间接提示注入（IPI）会不会让智能体执行未授权动作，以及表面防御能否挡住。

• 场景：作者称开源框架扩大了动作空间，包括不受控的权限暴露和隐藏的系统间交互。智能体同时握有过高 API 权限和敏感信息时，IPI 可在正常操作中触发数据外泄；作者以 EchoLeak 为例，指邮件载荷可绕过护栏并外带文件。
• 评测缺口：作者称现有评测主要依赖孤立单轮基准。与用户直接写入恶意指令的直接提示注入不同，IPI 来自智能体自行取回的网页或交易记录，载荷可休眠到特定工具序列才触发。
• 作者要回答的两点：当代防御在动态工作流中是否稳健；何种范式更能检出未授权行为。作者称劫持时的潜在犹豫促使他们考察表征层。
• 本文工作：在 AgentDojo Banking 的工具调用流程里，用四种 IPI 评测九个开源骨干和六种防御，并用行为、语言和置信度补充二元成功率；再以 Representation Engineering（RepE）在动作提交前识别劫持状态。
• 威胁模型：
  • 目标：让智能体调用攻击者指定工具。附录 A 将恶意转账和数据外泄作为该类工具的例子。
  • 能力：不直接改写用户输入，而把指令嵌入工具返回的第三方内容。论文未写攻击者能否读取权重，也未使用 white-box 或 black-box 这些词。
  • 受害系统：Fig. 1 的 Banking 环境，含账户状态、交易历史、可调用工具和多步轨迹。摘要把问题放在多智能体系统上；实验描述的是这一工具调用流程。
  • 判定：Hijack Rate 是因此调用指定工具的回合比例。Utility 只看原合法任务是否完成，与是否被劫持分开。

引言和 Related Work 把相关工作放在智能体能力、智能体安全和 IPI 防御上；实验基线另列。

• 智能体与工具循环：ReAct（Yao et al., 2022）、ToolLLM（Qin et al., 2023）和 WebArena（Zhou et al., 2023）把 LLM 放进迭代环，解析环境并调用外部接口。Voyager（Wang et al., 2023）、MetaGPT（Hong et al., 2023）、AutoGen（Wu et al., 2024）和 OpenAgents（Xie et al., 2023）被用来说明外部技能可编排开放式工作流。Pre-Act（Rawat et al., 2025）被引为多步规划加强推理的例子。论文未逐篇批评这些系统。
• 智能体安全：Chiang et al.（2025）分析 web 智能体相对独立 LLM 的脆弱性；SafePro（Zhou et al., 2026）评测专业级智能体安全。SkillJect（Jia et al., 2026）用迭代对抗精炼生成被投毒的 agentic skills。作者称单轮文本越狱已有大量研究，藏在外部环境中的间接威胁仍 largely underexplored。
• IPI 与既有缓解：Greshake et al.（2023）把恶意指令嵌进工具取回的第三方内容；Zou et al.（2023b）一类直接越狱则显式覆盖系统提示。Spotlighting（Hines et al., 2024）对外部文本做结构变换，GuardAgent（Xiang et al., 2025）用次级智能体对照安全规则，BIPIA（Yi et al., 2025）训练模型忽略异常嵌入指令。作者称这些方法在持续动态交互中的效果仍 underexplored，并称 LLM-as-a-judge 面对更隐蔽注入是否仍有效是 open question。
• 基线与基准：防御基线为 No Defense，以及 Prompt Warning、Sandwich、Paraphrasing（Jain et al., 2023）、Spotlighting、Keyword Filtering（Deng et al., 2023）和 LLM-as-a-Judge（Maloyan et al., 2025）。攻击向量为 Direct、Ignore Previous（Perez and Ribeiro, 2022; Debenedetti et al., 2024）、InjecAgent（Zhan et al., 2024）和 Stealth（Shen et al., 2026; Wang et al., 2026）。环境是 AgentDojo Banking（Debenedetti et al., 2024）。检测使用 RepE（Zou et al., 2023a）和 probing（Kirch et al., 2025）。

作者把本文放在动态交互中的系统比较上，并称实验显示当前策略脆弱，而表征工程可以检出潜在恶意状态。

在 AgentDojo Banking 上保持环境、工具和任务抽象，模块化替换攻击与防御，并记录劫持与对齐轨迹；检测用 RepE 比较这两类轨迹的隐藏状态。

环境与任务

• 测试床为 AgentDojo（Debenedetti et al., 2024）的 Banking 套件。作者称未原样复现默认实现，而是扩展攻击和防御。
• 攻击场景 576 个：16 个用户任务，每任务 9 个注入目标；四种 IPI 各 144 例。每个场景另记录对齐轨迹。
• 各骨干用 Debenedetti et al.（2024）的标准化提示初始化。论文未报告温度、采样方式或重复次数。
• Fig. 1 画出账户与交易状态、合法任务与工具、带注入的工具结果，以及随后的劫持或对齐动作。

攻击向量与六种防御

• Direct：正文称恶意内容嵌在工具调用返回中。Ignore Previous：作者归入 basic IPI，对应忽略先前指令和直接改任务。InjecAgent：注入嵌在工具取回的外部内容中，例如交易备注。Stealth：用混淆把载荷藏过常规过滤器。具体注入句不复述。
• 六种防御为 Prompt Warning、Sandwich、Paraphrasing、Spotlighting、Keyword Filtering、LLM-as-a-Judge。Sec. 3.2 写 seven defense strategies；Table 2 的七行是这六种加上 No Defense。
• 论文未给出各防御的阈值、改写模型，也未给出 LLM-as-a-Judge 的模型名。

八个指标

• 攻击脆弱性覆盖全部场景。Hijack Rate 是调用攻击者指定工具的比例；Utility 是完成原合法任务的比例，不论是否被劫持。
• 行为、语言和置信只在劫持案例上计算。Immediate Compliance 指下一步就调用恶意工具；Action Divergence 指注入后第一步偏离良性轨迹的第一步。
• 语言指标对 Thought 做固定句法过滤。Resistance 统计拒绝或怀疑标记。Table 1 列名是 S-Immed.；附录 A 另定义 S-Comp，为 Immediate 与 Rationalized 想法的合计。名称和口径并不相同。
• 置信度是恶意动作 token 的平均对数概率和平均 Shannon 熵。Fig. 2(B) 再把语言失败分成 Immediate、Heading、Rationalized、Reluctant。

RepE 检测

• 不微调，属事后分析。轨迹来自无防御配置，且只保留含 tool call 标记的样本。训练/测试按 80/20 划分。论文未写划分单位。
• 隐藏状态取全部层。最优层由逐层消融决定：交叉验证训练逻辑回归，预测是否劫持。论文未写折数，也未写选层是否限制在训练划分内。
• 两个位置：tool-input，即注入进入处；function-calling，即模型承诺使用工具处。
• Probing 用逻辑回归输出劫持概率。余弦相似度先构造从对齐指向劫持的 danger direction，再对分数做阈值过滤。论文未给出该阈值；报告 AUC-ROC、AUPRC 和 FPR 为 5% 时的 TPR。作者称推理时可在承诺动作前拦截；正文数字是这一划分上的检测指标。

实验设置

• 骨干：Qwen-2.5-14B/32B、Qwen-3-4B/8B/14B、Llama-3-8B、GLM-4-9B、Gemma-3-12B、Mistral-7B。Table 1 简写为 Qwen-14B、Qwen-32B、Qwen3-*、LLaMA3-8B、GLM4-9B、Gemma3-12B、Mistral。
• 场景：AgentDojo Banking。576 个攻击场景为 16 个用户任务乘 9 个注入目标，四种攻击各 144 例；每个场景另有对齐轨迹。
• 攻击与防御：Direct、Ignore Previous、InjecAgent、Stealth；六种防御加 No Defense。Table 2 只报告三个骨干的劫持率。
• 指标：八个，分四维（Sec. 3.1，定义见附录 A）。Hijack 与 Utility 用全部场景；其余三维只用劫持案例。
• 判定：劫持看是否调用攻击者指定工具，不是 LLM 打分。语言指标用固定句法过滤。论文未报告该过滤与人工的一致性。
• 未写明的设置：LLM-as-a-Judge 的模型名、温度、重复次数；RepE 的交叉验证折数和分类阈值。RepE 指标为 AUC-ROC、AUPRC、TPR@FPR5%。

主结果

Table 1 为四类 IPI 下的 bottleneck performance，未写是否启用防御。下表只列 6 个模型；百分比除 Entropy 外，箭头为论文给出的方向。

| 模型 | Hijack↓ | Utility↑ | Immed.↓ | Resist↑ | Entropy↓ | | Qwen3-14B | 81.94% | 37.50% | 98.63% | 4.45% | 0.194 | | Qwen-32B | 97.22% | 56.25% | 99.68% | 8.75% | 0.136 | | Qwen-14B | 97.40% | 62.50% | 98.35% | 6.24% | 0.345 | | LLaMA3-8B | 100.00% | 31.25% | 92.37% | 4.86% | 0.373 | | GLM4-9B | 100.00% | 25.00% | 88.75% | 6.25% | 0.195 | | Gemma3-12B | 100.00% | 31.25% | 100.00% | 6.60% | 0.034 |

• 未列入的劫持率为 Qwen3-8B 91.15%、Qwen3-4B 96.01%、Mistral 99.65%。Table 1 中 Qwen-14B、Qwen3-14B、Mistral 的 Hijack 与 Table 2 的 No Defense Overall 相同。
• 作者称各骨干难以认出注入中的恶意成分，抵抗性语言很少，且收到注入后很快执行恶意动作。Fig. 3(A) 画的是三个骨干从注入到恶意动作的 assistant turns，正文未给出轮数。
• 作者称劫持轨迹相对对齐轨迹不确定性更高（Fig. 3(B)(C)，阴影为 ±1 标准差）。论文未报告显著性检验。Utility 按附录定义不因被劫持而计失败。

六种防御的劫持率

• 测了什么：Table 2 报告 Qwen-2.5-14B、Qwen-3-14B、Mistral-7B 在四种攻击上的 Hijack Rate。
• 两款 Qwen：Qwen-2.5-14B 无防御 Overall 为 97.40%，六种防御 Overall 为 98.44%–100.00%，其中 LLM Judge 为 100.00%。Qwen-3-14B 无防御为 81.94%，六种防御为 82.99%–88.72%。作者称 Sandwich 再增加 1%；表中 Sandwich Overall 为 82.99%。同表 Prompt Warning 的 InjecAgent 为 98.61%，无防御对应格为 91.67%。
• 例外：Mistral-7B 的 LLM Judge Overall 为 99.13%，低于无防御 99.65%；其 Stealth 为 97.92%，低于无防御 99.31%。Qwen-3-14B 上 Sandwich 的 Direct 为 84.72%、Stealth 为 88.19%，低于无防御对应格，但 Overall 仍更高。作者称部分防御会引入对抗性干扰并提高被劫持可能；这与两款 Qwen 的 Overall 一致，与 Mistral-7B 的 LLM Judge Overall 不一致。

RepE 劫持检测

• 设置：无防御轨迹，tool-input 位置，80/20 划分。Table 3 同时给 probing 和余弦相似度。作者称 probing 更优。
• 数字：probing 的 TPR@FPR5% 从 Gemma3-12B 的 85.71% 到 Qwen-14B、Qwen-32B、Mistral 的 100%。Qwen3-8B probing 为 AUC-ROC 0.9963、AUPRC 0.9961、TPR@FPR5% 97.39%（Fig. 4 为该模型的 ROC/PR，正文无其他曲线读数）。反例：Gemma3-12B 的余弦三项为 1.0000、1.0000、100%，高于 probing 的 0.8776、0.9341、85.71%；Qwen3-4B 的余弦为 0.9968、0.9970、96.00%，高于 probing 的 0.9912、0.9915、93.39%。LLaMA3-8B 同层由 probing 的 98.68% 到余弦的 36.96%。
• 位置：Table 4 只含三个模型。Qwen3-14B probing 的 TPR@FPR5% 在 function call 为 53.00%，在 tool-input 为 97.12%；作者称 nearly 44% improvement，并写 rising from 53% to 97.12%。LLaMA3-8B 的余弦在 function call 为 69.57%，高于 tool-input 的 36.96%。作者称 tool-input 在几乎所有骨干上更好，LLaMA 除外。

其他消融与分析

• Fig. 2：Qwen-2.5-14B 的 Direct 为 100%（144/144）。作者称更隐蔽的向量更严重；Table 2 无防御行中该模型 Stealth 也是 100.00%，InjecAgent 为 91.67%，Ignore Prev. 为 97.92%。
• 正文写言语抵抗 6.2%、无犹豫约 66.1%、Rationalized 10.9%。前两数与 Table 1 中 Qwen-14B 的 Resist 6.24%、S-Immed. 66.13% 相应。图上同时有 n=576 与 n=561，正文未解释 n=561。
• Table 1 的 S-Immed. 从 LLaMA3-8B 的 30.21% 到 Gemma3-12B 的 88.37%；Diverge 从 GLM4-9B 的 8.33% 到 LLaMA3-8B 的 47.92%；LogP 从 LLaMA3-8B 的 -0.208 到 Qwen3-14B 的 -0.047。
• Fig. 3 比较 Qwen-14B、Qwen3-14B、GLM4-9B。作者称劫持案例方差更大、对话更长；各轮具体读数未在正文给出。
• Table 3 的所选层从 Mistral 第 2 层到 Qwen-32B 第 53 层。论文未报告过滤后轨迹数、交叉验证折数和 80/20 的划分单位。

作者指出的局限与后续方向

论文没有 Limitations、Discussion 或 Future Work 专节。Conclusion 未把某项结果写成局限，也未列出待做实验。Sec. 3.3 称把 RepE 与现有安全模块结合是未来研究方向，但该句不在上述专节中。因此：论文未专门讨论局限。

实验覆盖范围

• 被测骨干为正文列出的九个开源模型。防御分项劫持率（Table 2）只报告 Qwen-2.5-14B、Qwen-3-14B、Mistral-7B。
• 环境为 AgentDojo Banking 的工具调用流程（Fig. 1）。攻击场景 576 个，即 16 个用户任务乘 9 个注入目标，四种攻击各 144 例。
• 防御为正文列出的六种加 No Defense；攻击为 Direct、Ignore Previous、InjecAgent、Stealth。论文未报告 LLM-as-a-Judge 的具体模型，也未报告各防御的实现参数。
• RepE 使用无防御配对轨迹和 80/20 划分，指标为 AUC-ROC、AUPRC、TPR@FPR5%；位置消融（Table 4）为三个模型。论文未报告拦截部署后的劫持率，也未报告层选择是否与测试划分隔离。
• 语言指标来自固定句法过滤（附录 A）。论文未报告该过滤与人工判断的一致性，也未报告实验重复次数。

作者在 AgentDojo 的银行工具调用环境里，检查间接提示注入是否让开源智能体执行攻击者指定动作，以及表面防御和表征检测各自的数字。

• 问题：单轮评测看不到藏在工具返回里的 IPI。攻击者控制的是第三方内容，不是用户直接输入的越狱句。受害流程是 Banking 套件中的多步工具调用。
• 做法：16 个用户任务、每任务 9 个注入目标，四种攻击共 576 个场景，九个开源骨干，六种防御。另从无防御的对齐与劫持轨迹提取隐藏状态，在 tool-input 与 function-call 两处比较 probing 和余弦相似度。
• 无防御：Table 1 的总体劫持率里，Qwen3-14B 为 81.94%，LLaMA3-8B、GLM4-9B、Gemma3-12B 为 100.00%。Qwen-2.5-14B 的 Direct 为 144/144。Utility 一端是 Qwen-14B 的 62.50%，另一端是 GLM4-9B 的 25.00%。
• 防御：Table 2 中 Qwen-2.5-14B 与 Qwen-3-14B 的六种防御 Overall 都高于各自无防御基线。Mistral-7B 的 LLM Judge Overall 为 99.13%，低于无防御 99.65%。作者称部分表面缓解会带来不利副作用。
• 检测：tool-input 上，Qwen3-8B probing 的 TPR@FPR5% 为 97.39%，AUC-ROC 为 0.9963。作者称该位置优于 function-call，并称 probing 更优；Table 3 中 Gemma3-12B 与 Qwen3-4B 的余弦相似度更高。
• 作者结论：表面防御在这一多步工具环境中挡不住这四类 IPI；RepE 可在模型承诺工具调用前识别未授权动作，供后续安全架构参考。