InjecAgent：工具集成大语言模型智能体的间接提示注入基准评测

1. 01这篇论文试图解决什么问题？

   工具集成 LLM 智能体面临间接提示注入风险，作者提出基准 InjecAgent 系统评估其脆弱性。

   核心问题：如何系统评估工具集成 LLM 智能体对间接提示注入（IPI）攻击的脆弱性。

   • 问题场景：LLM 智能体可调用工具、访问外部内容（邮件、评论、网站等），攻击者可在这些内容中嵌入恶意指令，操纵智能体执行转账、操控智能家居、窃取隐私数据等有害动作。作者认为这类攻击技术门槛低、后果严重，基准评估势在必行。
   • 现有不足：作者称此前缺乏对 LLM 智能体上 IPI 攻击的全面分析；并行工作（Yi et al., 2023）只覆盖 5 类模拟应用场景。
   • 论文提出：基准 InjecAgent，含 1,054 个测试用例，覆盖 17 个用户工具和 62 个攻击者工具，攻击意图分直接伤害和数据窃取两类；并评测 30 个 LLM 智能体。
   • 威胁模型：
     • 攻击者目标：操纵智能体执行攻击者指令 Ia，调用工具对用户造成直接伤害（财务、人身、数据安全）或窃取数据外发。
     • 攻击者能力：将恶意内容注入智能体检索的外部内容（如可修改的评论字段）。
     • 受害系统：配备工具集 T 的 LLM 智能体 L，包括 ReAct 提示的智能体和工具调用微调的智能体。
     • 成功判定：智能体执行 Ia（直接伤害执行有害工具；数据窃取需完成提取和外发两步）。

   收起这一问

2. 02有哪些相关研究？

   相关工作分 LLM 智能体、提示注入攻击与防御三组；作者称本文是对工具集成智能体 IPI 的首次形式化与基准。

   LLM 智能体

   • ReAct（Yao et al., 2022）、MindAct（Deng et al., 2023）、AutoGPT（Significant Gravitas）——用上下文学习让 LLM 使用工具。
   • Toolformer（Schick et al., 2023）、Gorilla（Patil et al., 2023）、ToolLLM（Qin et al., 2023）及 OpenAI 函数调用模型（OpenAI, 2023b）——用函数调用样例微调 LLM。本文评测了这两类智能体。
   • Ruan et al. (2023)——提出 330 个工具、36 个工具包并用 LM 沙箱识别智能体风险；本文的工具集和 ReAct 提示均基于该工作。

   提示注入攻击

   • DPI（Perez and Ribeiro, 2022；Selvi, 2022；Kang et al., 2023；Liu et al., 2023；Toyer et al., 2023；Yu et al., 2023）——恶意用户直接向模型输入注入提示，目标是目标劫持或提示泄露。
   • IPI（Abdelnabi et al., 2023；Yi et al., 2023）——攻击者向 LLM 会检索的外部内容注入提示；已有 OpenAI 插件被攻击的实例报告（Rehberger, 2023a,b,c；Greshake, 2023 等）。
   • Yi et al. (2023)——并行工作，评测模拟 LLM 集成应用上的 IPI，仅含邮件问答、网页问答、表格问答、摘要、代码问答 5 类场景。论文指出其场景有限，本文则面向真实工具集成智能体，覆盖 17 个用户用例和 62 个攻击者用例。

   提示注入防御

   • 黑盒防御：增加感知攻击的额外提示（Toyer et al., 2023；Yi et al., 2023）、给外部内容加特殊分隔符（Yi et al., 2023）。
   • 白盒防御：用攻击样例微调（Yi et al., 2023；Piet et al., 2023）、编码指令词（Suo, 2024）、指令与数据双通道分离（Chen et al., 2024）。论文指出这些防御主要针对指令与数据直接拼接的简单场景，在工具集成智能体中的有效性有待探索。

   定位：作者称本文是对工具集成 LLM 智能体 IPI 攻击的首次形式化，并提出覆盖多领域的基准作为评估标准；本文未实现防御基线，对比对象是 30 个智能体在基准上的 ASR。

   收起这一问

3. 03论文如何解决这个问题？

   用 GPT-4 辅助生成 17 个用户用例与 62 个攻击者用例，组合成 1,054 个测试用例，以 ASR 评测智能体。

   整体思路：先形式化 IPI 攻击，再用 GPT-4 辅助生成测试用例（人工修订），组合成基准 InjecAgent，最后以攻击成功率评测智能体。

   问题形式化

   • 智能体 L 配备工具集 T；用户发出指令 Iu，要求用工具 Tu 获取外部内容；Tu 的响应 RTu 中含攻击者指令 Ia；攻击者意图让 L 调用其他工具 Ta 伤害用户。
   • 攻击成功判定：智能体执行 Ia 并给用户带来不利后果。

   测试用例生成（三步）

   • 用户用例生成：人工审查 Ruan et al. (2023) 的 330 个工具，筛出 17 个响应中含攻击者可修改外部内容的工具作为用户工具；让 GPT-4 为每个工具生成一个用户用例，含用户工具、用户指令、工具参数、带 "<Attacker Instruction>" 占位符的工具响应模板；占位符放在攻击者可修改的字段（如评论的 content）。生成后人工修订保证模板与指令一致，共 17 个用户用例。
   • 攻击者用例生成：每次随机采样 9 个工具，让 GPT-4 选一个可造成直接伤害的工具或一个可窃取隐私数据的工具，并生成攻击者指令 Ia。约 30% 生成指令缺少工具必需参数，人工修订补齐。最终 30 个直接伤害用例、32 个数据窃取用例（Table 2）。
   • 测试用例合成：17 × 62 = 1,054 个测试用例；增强设置将占位符替换为固定 hacking prompt p 与 Ia 的拼接（p 为要求忽略先前指令的固定前缀），每个设置各 1,054 个用例。

   评测协议

   • 假设智能体已正确执行用户工具 Tu 并获得 RTu，以此为起点评测其后续动作。
   • 直接伤害攻击：下一步执行有害工具 Ta 即成功。数据窃取攻击：先用 GPT-4 模拟数据提取工具的响应 RTa，再判断智能体是否将数据发给攻击者，两步都完成才算成功。
   • 指标：主指标 ASR-valid（有效输出中的攻击成功比例），另报 ASR-all（全部输出中的比例）；不符合 ReAct 格式、重复执行用户工具或无实质内容的输出记为无效并排除。
   • 附录 E 给出了智能体 ReAct 提示词、用例生成提示词和数据窃取响应模拟提示词的完整文本。

   收起这一问

4. 04论文做了哪些实验？

   评测 30 个智能体：ReAct 提示 GPT-4 基础 ASR 24%、增强 47%，微调 GPT-4 仅 7.1%；并分析影响因素。

   实验设置

   • 被测智能体：30 个，分两类——ReAct 提示的智能体（Qwen 系列 0.5B–72B、Llama2-7B/13B/70B、Mistral-7B、Mixtral-8x7B、OpenOrca-Mistral、OpenHermes-2/2.5-Mistral、Snorkel-Mistral、Nous-Mixtral-DPO/SFT、MythoMax-13b、WizardLM-13B、Platypus2-70B、StripedHyena-7B、Capybara-7B、Yi-34B、Nous-Yi-34B、Nous-Llama2-13b、Claude-2、GPT-3.5、GPT-4）和工具调用微调的 GPT-3.5、GPT-4。
   • 基准：InjecAgent，每个设置 1,054 个测试用例（17 用户用例 × 62 攻击者用例），分基础和增强两个设置。
   • 指标：ASR-valid（主）、ASR-all、valid rate；数据窃取分 S1（数据提取）和 S2（数据传输）两步报告。
   • 实现细节：温度设为 0；开源模型经 Together AI API 调用；GPT-4 为 gpt-4-0613，GPT-3.5 提示版为 gpt-3.5-turbo-0613，微调版为 gpt-3.5-turbo-1106 与 gpt-4-0613；每个模型单设置评测约 1 小时（附录 B.1）。
   • 主结果表范围：Table 3 只列 valid rate 大于 50% 的 20 个智能体，其余在附录 Table 7。

   主结果

   ASR-valid（%，据 Table 3，基础 / 增强设置）：

   表格较宽，可左右滑动

   智能体	直接伤害	数据窃取总计	总计
   GPT-4（ReAct）	14.7 / 33.3	31.9 / 59.9	23.6 / 47.0
   GPT-3.5（ReAct）	18.8 / 31.4	28.8 / 47.9	23.7 / 39.8
   Claude-2（ReAct）	7.5 / 4.4	14.8 / 2.5	11.4 / 3.4
   Llama2-70B（ReAct）	91.9 / 94.7	80.4 / 81.7	86.9 / 88.2
   Capybara-7B（ReAct）	34.0 / 84.2	36.1 / 82.7	34.9 / 83.5
   Qwen-72B（ReAct）	8.7 / 27.0	37.1 / 49.6	23.2 / 38.3
   GPT-4（微调）	2.9 / 3.9	10.1 / 10.1	6.6 / 7.1
   GPT-3.5（微调）	1.8 / 5.1	5.7 / 11.4	3.8 / 8.4

   （Table 3 共 20 行，此处省略 Qwen-1.8B、Mistral-7B、OpenOrca-Mistral、OpenHermes-2.5/2-Mistral、Mixtral-8x7B、Nous-Mixtral-DPO/SFT、MythoMax-13b、WizardLM-13B、Platypus2-70B、Nous-Llama2-13b；其中 OpenOrca-Mistral 最低，基础 3.4%、增强 10.5%。）

   • 作者称提示型智能体普遍脆弱，Llama2-70B 两设置 ASR 均超 80%；微调 GPT-3.5/GPT-4 韧性更强。
   • 除 Claude-2 外所有智能体增强设置 ASR 更高，作者认为 hacking prompt 能放大攻击效果。
   • 数据窃取中 S2（传输）成功率最高，微调 GPT-3.5 和 GPT-4 的 S2 均为 100%；作者认为向攻击者传输数据相对容易，是安全加固的关键点。

   影响因素分析（Section 4）

   • 用户用例 vs 攻击者用例：用 Cramér's V 衡量关联强度（Table 4），直接伤害攻击中用户用例 0.28、攻击者用例 0.18；数据窃取攻击中 0.31 vs 0.20，p 值均小于 0.01；Wilcoxon 符号秩检验 p 小于 0.0005。作者称用户用例与攻击成功的关联更强。
   • 内容自由度：GPT-4 将 17 个用户用例分为高（12 个）、低（5 个）内容自由度两组（三次生成多数投票）；Figure 2 显示高自由度组 ASR 更高，Wilcoxon 检验 p 小于 0.0001。作者的解释是：高自由度占位符让攻击指令更易混入正常内容。
   • 敏感度分析：用关键词列表自动统计识别出攻击指令的输出比例（sensitivity rate）；Figure 3 显示增强设置下各智能体敏感度一致更高。Claude-2 是唯一增强设置 ASR 反而更低的智能体，作者称其敏感度和转化率（成功转失败）都明显更高，并给出假设：固定 hacking prompt 可能同时触发智能体警觉。

   其他消融与分析

   • valid rate（Table 6）：微调 GPT-4 基础 99.9%、增强 100.0%；Figure 4 显示 valid rate 与 Arena Elo 评分呈正相关。
   • 攻击子类（Table 9，ASR-all）：各攻击类型（财务、人身、数据安全等）的 ASR 在不同智能体间看似随机变化。
   • 响应质量（Table 10）：GPT-4 对失败案例的相关性、清晰度打分（0–2）；Claude-2 清晰度最高（基础 1.86、增强 1.92），作者称其常提醒用户内容异常。
   • 短 ReAct 提示（Table 11/12）：换用 LangChain 短提示后 GPT-4 基础 ASR-valid 22.2%、增强 46.1%；Figure 6 热图显示长提示成功率更高、增强设置更高。
   • 负面结果：Claude-2 增强设置 ASR-valid 从 11.4% 降到 3.4%，与其余智能体趋势相反（Table 3）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出四条局限：单一 hacking prompt、指令未与良性内容混合、仅单轮两步场景、微调智能体研究不足。

   作者指出的局限与后续方向

   • 增强设置只用单一固定 hacking prompt（Section 8）：提示词文本变化可能影响攻击结果，且固定提示易被开发者过滤；探索更多提示和动态增强方法是未来方向。
   • 攻击者指令变化考察有限（Section 8）：假设外部内容只含攻击指令，未探索恶意指令与良性内容混合（如夹在医生评论中）的影响。
   • 未考察更复杂场景（Section 8）：仅考虑单轮场景，攻击者指令最多两步；真实场景可能更复杂。
   • 微调智能体研究不充分（Section 8）：只研究了两个微调智能体，作者认为需要更多工具使用场景下微调 LLM 的研究。
   • 防御探索（Section 5）：现有提示注入防御在工具集成智能体中的实现与有效性有待未来探索。

   实验覆盖范围

   • 主结果（Table 3）覆盖 20 个 valid rate 超 50% 的智能体，其余 10 个在附录 Table 7；微调智能体仅 GPT-3.5 和 GPT-4 两个。
   • 每个设置在 1,054 个测试用例上评测一次，温度 0；论文未报告多次重复或方差。
   • 攻击成功判定基于解析输出中的工具调用，数据窃取第二步的工具响应用 GPT-4 模拟；敏感度率用关键词列表自动统计，论文未报告与人工判定的一致性。
   • 攻击载荷为 GPT-4 生成加人工修订的固定指令，增强设置只叠加一个固定 hacking prompt；论文注明未尝试训练对抗字符串等优化攻击的方法（Section 3.2）。
   • 内容自由度分类由 GPT-4 三次生成多数投票完成，未报告人工校验。

   收起这一问

6. 06总结一下论文的主要内容

   InjecAgent 基准评测 30 个工具集成智能体的 IPI 脆弱性：提示型普遍脆弱，微调型韧性更强。

   一篇基准论文：针对工具集成 LLM 智能体的间接提示注入（IPI）攻击，作者提出 InjecAgent 并系统评测了 30 个智能体。

   • 问题：攻击者把恶意指令嵌入智能体检索的外部内容，可操纵智能体转账、操控家居或窃取数据；此前缺乏系统评估。
   • 方法：基于 330 个工具筛出 17 个用户工具，用 GPT-4 生成用户用例与 62 个攻击者用例（30 直接伤害、32 数据窃取），组合成 1,054 个测试用例；另有叠加固定 hacking prompt 的增强设置；以 ASR-valid 为主指标。
   • 主要结果：
     • ReAct 提示的 GPT-4 基础设置 ASR 24%，增强设置升至 47%（Table 3 为 23.6%/47.0%）。
     • 微调的 GPT-4 明显更稳健，增强设置 ASR 仅 7.1%（Table 3）。
     • ReAct 提示的 Llama2-70B 两设置 ASR 均超 80%（86.9%/88.2%）。
     • 数据窃取第二步（数据传输）成功率最高，微调 GPT-3.5/GPT-4 均达 100%。
     • 除 Claude-2 外所有智能体在增强设置下 ASR 更高；Claude-2 反而从 11.4% 降到 3.4%。
   • 分析结论（作者称）：用户用例与攻击成功的关联强于攻击者用例（Cramér's V 0.28/0.31 vs 0.18/0.20）；高内容自由度占位符的用户用例更脆弱。
   • 作者的启示：此类攻击门槛低、后果严重，研究结果对 LLM 智能体的广泛部署提出疑问，并强调防护策略的紧迫性。

   收起这一问

相关论文