研究者提出面向工具集成 LLM Agent 的通用对抗攻击防御方法

核心问题是如何阻止工具集成智能体调用攻击者工具，同时保留原任务完成能力。

• 应用场景：智能体通过 API、数据库、搜索和代码执行工具完成多步任务。作者认为，工具误用可能带来未授权访问、命令执行和外部系统误通信。
• 现有不足：作者称，多数防御针对特定攻击类型，主要修改提示词，较少处理被攻击利用的工具以及 white-box 防御。
• 核心假设：ATF 假设注入工具的描述与原始工具存在语义差异；NTR 假设用户原始工具集已被安全保存，可以在规划前恢复。
• 提出的防御：框架组合工具过滤或工具集恢复，以及 CoT、Paraphrasing 和 Reflection，分别干预输入、工具集和执行前计划。
• 威胁模型：研究对象是 ASB 中的工具集成智能体。
  • 目标：诱导智能体使用攻击专用工具；这也是 ASR 的成功判定依据。
  • 攻击入口：DPI 对应用户输入，IPI 对应工具响应，MP 对应记忆，PoT backdoor 涉及用户查询触发与系统提示词中的恶意示例。
  • 知识假设：NTR 明确采用 white-box；提示词防御被作者归为 black-box。论文未统一说明四类攻击者的模型内部知识。
  • 防御权限：NTR 可覆盖内部工具状态；ATF 可读取工具描述并移除异常工具（第 3 节、Figure 1）。

相关研究按攻击入口、评测环境和防御方式组织，实验对照主要来自 ASB。

攻击入口与专门评测

• InjecAgent，Zhan et al.（2024）——评测工具集成智能体的间接提示注入；作者将其列入主要关注 IPI 的研究。
• Agentpoison，Chen et al.（2024）；Zhang et al.（2024）——引言将其列为记忆投毒相关工作；Badchain，Xiang et al.（2024a）被列为后门攻击工作。
• R-judge、Agentharm、Breaking agents——Related Work 将这些研究归入特定攻击向量的评测；作者称，多数研究集中于一种攻击类型。

真实应用与交互环境

• Xu et al.（2024b）、Dorn et al.（2024）、Luo et al.（2025）——作者将其归入真实应用中的漏洞评测。
• Naihin et al.（2023）、AgentDojo，Debenedetti et al.（2024）——作者将其归入动态、交互式环境研究。

防御与推理策略

• ASB，Zhang et al.（2025a）——统一评测智能体攻击与防御；作者引用其大规模研究，称多数既有防御仍不能有效处理攻击，并可能降低原任务表现。
• CoT，Wei et al.（2022）；ReAct，Yao et al.（2022）；Reflexion，Shinn et al.（2023）——分别涉及推理提示、推理与行动结合、语言反思。作者称，已有工作曾将推理策略用于攻击模板，较少将其用于防御或防御组合。
• 基线方法与基准：在 ASB 上，DPI 和 PoT backdoor 对照 ASB Paraphrase，IPI 对照 ASB Delimiters；MP 仅对照 No Defense（第 4 节）。

作者将自身工作定位为white-box 工具状态干预与 black-box 提示词防御的组合，在同一框架下处理 DPI、IPI、MP 和 backdoor，并同时考察攻击抑制与任务效用（第 2 节）。

多层防御框架把输入处理、工具集控制和计划检查组合起来。工具层有 ATF 与 NTR 两种方案，主实验分别将它们与 CoT、Paraphrasing、Reflection 结合。

输入层与整体结构

• 外层：用户输入后、生成计划前，应用 CoT 和 Paraphrasing；作者将其用于指导推理并处理可能被污染的任务和系统指令。
• 中层与内层：工具层检查描述并阻止不安全工具；Reflection 在执行前验证已生成的计划（第 3 节、Figure 1）。

Attacker Tool Filtering（ATF）

• 表示与检测：将当前工具集中每个工具的文字描述映射为 sentence-level embedding，再以这些表示训练 Isolation Forest。
• 过滤目标：T_filtered={τ_i∈ T∣ y_i=0}。其中 y_i 为异常检测标签，保留被判为正常的工具用于规划（第 3.1.1 节）。
• 设计依据：作者认为，攻击者注入的工具通常与用户原始工具有语义差异。论文给出 contamination 参数 ε，但未报告具体数值或 embedding 模型名称；附录 A 给出算法。

Normal Tool Recalling（NTR）

• 可信状态恢复：在规划开始前，用安全保存的用户原始工具集覆盖智能体当前可见工具集；不依赖工具名称或描述的语义判断。
• 核心定义：T_effective← T_user。恢复后，模型使用原始可信工具集以及系统提示词、用户指令和已有观察生成计划（第 3.1.2 节）。
• 权限与前提：这是 white-box 防御，要求能访问内部工具状态，并在攻击发生前保存可信工具配置；作者认为它适合可以恢复该配置的场景。

三种提示词组件

• CoT：智能体以 JSON 输出多步计划，并从预定义工具中选择工具。作者认为，这有助于规划和工具选择；附录 B 给出了完整提示词。
• Paraphrasing：GPT-4o-mini 接收任务输入和正常工具信息，输出改写任务；改写明确关联预期工具，并与 NTR 结合。附录 C 给出了完整提示词及示例。
• Reflection：同一 LLM 同时承担反思与评估角色，检查计划和允许工具之间的一致性，返回原计划或修正计划。附录 D 给出了完整提示词；论文未报告具体反思轮数。

判定对象与机制边界

• 攻击成功：ASR 统计智能体成功使用攻击专用工具的任务比例；OTSR 单独统计原任务是否完成（第 4 节）。工具调用被阻止与原任务完成是两个判定对象。
• 改写示例：附录 C 的示例在改写后仍保留了注入任务的语义部分，但替换为批准工具。该示例展示的是工具使用约束，不能据此把改写描述为删除全部恶意任务内容。

ASB 实验同时衡量攻击工具使用与原任务完成，二者的变化并不总是一致。

实验设置

• 被测模型：Gemma2-9B、Qwen2-7B、LLaMA3-8B、LLaMA3.1-8B、GPT-3.5、GPT-4；附录 E 另测 GPT-5。GPT-4o-mini 用于任务改写。
• 数据规模：ASB 包含 10 个领域智能体，各含正常及攻击工具，每个智能体有 400 个任务，包括 200 个 aggressive 和 200 个 non-aggressive attacks（第 4.1 节）。论文未明确逐表实际任务分母。
• 攻击设置：DPI、IPI 对 Naive Attack、Escape Characters、Context Ignoring、Fake Completion 取平均；MP 组合后两种攻击；PoT backdoor 对两类触发取平均（第 4.1–4.5 节）。
• 基线与方法：No Defense；DPI、PoT 的 ASB Paraphrase；IPI 的 ASB Delimiters。MP 仅与无防御比较。主方法为 ATF 或 NTR 加 CoT、P.、R.。
• 指标：ASR 为成功使用攻击专用工具的任务占全部受攻击任务的比例；OTSR 为原始良性任务成功完成比例。下表保留论文小数原值，P. 为 Paraphrasing，R. 为 Reflection。
• 评审与重复：论文未报告 OTSR 的具体判定器、评审模型、阈值、重复次数或统计显著性检验，也未报告查询次数和延迟。

主结果

据 Table 1，DPI 四种注入类型的平均结果；每格为 ASR / OTSR。

表格较宽，可左右滑动

模型	No Defense	ASB Paraphrase	ATF+CoT+P.+R.	NTR+CoT+P.+R.
Gemma2-9B	0.8888 / 0.0031	0.4187 / 0.073	0.3494 / 0.2763	0.1206 / 0.4781
Qwen2-7B	0.5019 / 0.0281	0.3275 / 0.0356	0.1169 / 0.0325	0.0606 / 0.0963
LLaMA3-8B	0.2081 / 0.0094	0.1319 / 0.0338	0.2106 / 0.0719	0.0831 / 0.1362
LLaMA3.1-8B	0.5906 / 0.0063	0.285 / 0.0488	0.1819 / 0.1363	0.0088 / 0.2538
GPT-3.5	0.9469 / 0.0056	0.5356 / 0.0881	0.0006 / 0.0006	0.0 / 0.0
GPT-4	0.9156 / 0.0044	0.6338 / 0.0863	0.1325 / 0.05	0.0 / 0.1162

• NTR 组合：Table 1 中各模型的 ASR 均低于两种基线；OTSR 高于两种基线的例外是 GPT-3.5，其攻击抑制伴随原任务不成功。
• ATF 例外：LLaMA3-8B 的 ASR 高于无防御和 ASB Paraphrase；Qwen2-7B、GPT-3.5、GPT-4 的 OTSR 低于 ASB Paraphrase。
• 作者解读：作者认为，GPT-3.5 在输入被修改后可能难以保留原任务目标。这是作者的解释，论文未给出独立机制验证。

IPI 与 MP：攻击抑制和效用分离

• IPI，Table 2：NTR 完整组合下，Qwen2-7B ASR 为 0.0025，其余五个模型为 0.0；GPT-4 OTSR 从无防御 0.3775 降至 0.1006。
• MP，Table 3：NTR 完整组合使六个模型 ASR 均为 0.0。GPT-3.5 OTSR 从 0.3075 降至 0.0，GPT-4 从 0.505 降至 0.1；四个开源模型的 OTSR 均高于无防御。
• ATF 反例：IPI 下 Gemma2-9B ASR 从无防御 0.0894 升至 0.1475；MP 下从 0.0525 升至 0.0875。作者称，ATF 的效果依模型和指标而变化。

PoT backdoor：GPT 的任务效用代价

• 开源模型，Table 4：NTR 完整组合下，Gemma2-9B、Qwen2-7B、LLaMA3-8B、LLaMA3.1-8B 的 ASR 分别为 0.007、0.023、0.0、0.001，OTSR 均高于无防御。
• GPT-4，Table 4：NTR 完整组合使 ASR 从无防御 0.58 降至 0.0，OTSR 从 0.928 降至 0.187；GPT-3.5 同一组合的 ASR、OTSR 均为 0.0。
• 作者解读与例外：作者认为 GPT 模型可能更敏感于防御干预。ATF 完整组合对 LLaMA3-8B 的 ASR 为 0.07，高于无防御 0.0475，不能概括为所有模型均获攻击抑制。

GPT-5：部分配置的附加评测

• 覆盖设置：附录 E 因时间限制仅表列 NTR、NTR+CoT、NTR+P.；DPI、IPI 用 Context Ignoring，MP 用组合攻击，PoT 用非词触发。
• 结果，Table 5：上述配置在四类攻击下 ASR 均为 0.0。单独 NTR 的 OTSR 在 DPI、IPI、MP、PoT 下分别为 0.095、0.065、0.0625、0.0125。
• 配置例外：NTR+CoT 的 OTSR 在四类攻击下均低于单独 NTR。附录文字另称完整提示词组合得到零 ASR、接近零 OTSR，但未给该配置的精确表格数值。

其他消融与分析

• 组件移除，Figure 2：考察 Context Ignoring DPI 下移除 NTR、CoT、P.、R.；作者称移除 NTR 通常提高 ASR、降低 OTSR，并指出 Reflection 对部分模型的效用不利。
• 图像可读范围：所给文本仅保留 Figure 2 的 ASR、OTSR 分图名称与图注，无法读取曲线、柱高、图例或数值，因此不写定量消融结论。
• 附录表述差异：附录 E 称 NTR+P. 在 IPI、MP 的 OTSR 提升均为 1%；Table 5 对应 NTR 与 NTR+P. 原值分别为 0.065 / 0.075、0.0625 / 0.0725。

作者明确提出的后续方向是动态环境与真实应用，而现有证据来自 ASB 的工具攻击设置。

作者指出的局限与后续方向

• 动态环境：作者明确写出没有在动态环境中评估该方法（第 5 节 Conclusion）。
• 真实应用：作者计划在真实应用中测试组合策略，并讨论向更复杂工具生态和系统交互场景扩展（第 5 节 Conclusion）。
• GPT-5 配置：作者说明因时间限制，仅评测 NTR 及其与 CoT、Paraphrasing 的部分组合（附录 E）；完整组合另有文字描述，未列精确结果。

实验覆盖范围

• 模型与数据：主表覆盖六个模型，附录增加 GPT-5；数据来自 ASB 的 10 个领域智能体，每个智能体 400 个任务（第 4.1 节、Tables 1–5）。
• 攻击与对照：覆盖 DPI、IPI、MP、PoT backdoor；对照包括无防御、ASB Paraphrase 和 ASB Delimiters，MP 仅对照无防御（第 4.2–4.5 节）。
• 防御假设：NTR 要求原始工具集在攻击前被安全保存，并能在规划前恢复内部工具状态（第 3.1.2 节）。
• 实现与代价：ATF 给出 Isolation Forest 算法，但未报告 embedding 模型与 contamination 具体值；论文未报告延迟、查询次数或工具误过滤比例（第 3.1.1 节、附录 A）。
• 判定与证据：论文定义 ASR、OTSR，但未报告 OTSR 判定细则、重复次数、统计检验或评审与人工的一致性；实验部分未报告针对组合防御的自适应攻击评测（第 4 节）。

工具集成智能体的防御可以在规划前控制可用工具，攻击抑制与任务完成仍需分别衡量。作者围绕 DPI、IPI、MP 和 PoT backdoor，将工具层干预与提示词处理放进同一框架。

• 方法要点：ATF 对工具描述做语义异常检测；white-box 方法 NTR 恢复预先保存的可信工具集。两者分别与结构化 CoT、GPT-4o-mini 任务改写和计划自我反思组合。
• DPI，Table 1：Gemma2-9B 的 NTR+CoT+P.+R. 得到 ASR 0.1206、OTSR 0.4781；无防御分别为 0.8888、0.0031。同一防御下 GPT-3.5 两项均为 0.0。
• MP，Table 3：六个主实验模型在 NTR 完整组合下 ASR 均为 0.0；GPT-4 OTSR 从无防御 0.505 降至 0.1，四个开源模型的 OTSR 则均提高。
• PoT，Table 4：GPT-4 在 NTR 完整组合下 ASR 为 0.0、OTSR 为 0.187；无防御对应为 0.58、0.928。
• GPT-5，Table 5：Context Ignoring IPI 下，单独 NTR 的 ASR 为 0.0、OTSR 为 0.065；加入 CoT 后 OTSR 为 0.0425。附录仅表列部分防御组合。
• 作者结论与边界：作者称，工具层与提示词层可以互补，但效果依攻击和模型变化。NTR 依赖可信工具配置可恢复；作者明确未评测动态环境，计划在真实应用中继续测试。