Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv：Agent 与 MCP 安全· arXiv:2609.16098· Xiaoyan Li·Indexed by this site · Originally published

研究者提出面向工具集成 LLM Agent 的通用对抗攻击防御方法

Universal Defenses for Tool-Integrated LLM Agents Against Adversarial Attacks

Quick read

Defenses

Based on 论文 PDF （AI 生成）; refer to the original

作者在 ASB 中评测工具层与提示词防御，NTR 组合降低攻击成功率，但 GPT 的任务成功率常下降。

Threat model攻击涉及 DPI、IPI、MP 和 PoT backdoor，通过用户输入、工具响应、记忆或系统示例诱导智能体使用攻击工具。

Questions
工具集成智能体可能在输入、工具响应、记忆或系统示例被污染后调用攻击工具。作者希望用同一防御框架处理四类攻击，同时保留原任务完成能力。
Methods
ATF 用工具描述的 embedding 和 Isolation Forest 过滤异常工具；NTR 在规划前恢复可信原始工具集。作者将工具层防御与结构化 CoT、任务改写和计划自我反思组合。
Experiments and results
ASB 主实验覆盖六个模型，附录另测 GPT-5。NTR 完整组合在六个主实验模型的 MP 条件下 ASR 均为 0.0；GPT-3.5 和 GPT-4 在该条件下的 OTSR 均低于无防御。
Limitations and future work
作者明确未在动态环境评测，计划在真实应用中测试组合策略。GPT-5 因时间限制只评测部分配置；论文未报告 ATF 的具体 embedding 模型、污染率以及查询次数和延迟。
Experimental setupGemma2-9B、Qwen2-7B et al. · ASB · Attack Success Rate (ASR)、Original Task Success Rate (OTSR)
Threat model
攻击涉及 DPI、IPI、MP 和 PoT backdoor，通过用户输入、工具响应、记忆或系统示例诱导智能体使用攻击工具。NTR 采用 white-box 假设，要求规划前可恢复安全保存的原始工具集。
Evaluated models
Gemma2-9BQwen2-7BLLaMA3-8BLLaMA3.1-8BGPT-3.5GPT-4GPT-5
Benchmarks
ASB
Metrics
Attack Success Rate (ASR)Original Task Success Rate (OTSR)
AI summary研究者提出一套统一框架下的通用防御策略，用于应对工具集成 LLM Agent 面临的直接提示注入、间接提示注入、记忆投毒和后门攻击四类对抗攻击。方法包含两类基于工具的防御：Attacker Tool Filtering 用异常检测（如 Isolation Forest）识别并移除可疑工具，Normal Tool Recalling 则在规划前以白盒方式恢复 Agent 的原始工具集；同时引入 Chain-of-Thought 提示与自我反思等基于提示的防御，并通过任务改写缓解攻击。

研究者提出一套统一框架下的通用防御策略，用于应对工具集成 LLM Agent 面临的直接提示注入、间接提示注入、记忆投毒和后门攻击四类对抗攻击。方法包含两类基于工具的防御：Attacker Tool Filtering 用异常检测（如 Isolation Forest）识别并移除可疑工具，Normal Tool Recalling 则在规划前以白盒方式恢复 Agent 的原始工具集；同时引入 Chain-of-Thought 提示与自我反思等基于提示的防御，并通过任务改写缓解攻击。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    作者希望在工具调用层统一防御四类攻击，同时保留智能体的原任务完成能力。

    核心问题是如何阻止工具集成智能体调用攻击者工具，同时保留原任务完成能力。

    • 应用场景：智能体通过 API、数据库、搜索和代码执行工具完成多步任务。作者认为，工具误用可能带来未授权访问、命令执行和外部系统误通信。
    • 现有不足：作者称，多数防御针对特定攻击类型，主要修改提示词，较少处理被攻击利用的工具以及 white-box 防御。
    • 核心假设：ATF 假设注入工具的描述与原始工具存在语义差异；NTR 假设用户原始工具集已被安全保存，可以在规划前恢复。
    • 提出的防御：框架组合工具过滤或工具集恢复，以及 CoT、Paraphrasing 和 Reflection，分别干预输入、工具集和执行前计划。
    • 威胁模型：研究对象是 ASB 中的工具集成智能体。
      • 目标：诱导智能体使用攻击专用工具；这也是 ASR 的成功判定依据。
      • 攻击入口：DPI 对应用户输入，IPI 对应工具响应，MP 对应记忆，PoT backdoor 涉及用户查询触发与系统提示词中的恶意示例。
      • 知识假设：NTR 明确采用 white-box；提示词防御被作者归为 black-box。论文未统一说明四类攻击者的模型内部知识。
      • 防御权限：NTR 可覆盖内部工具状态；ATF 可读取工具描述并移除异常工具（第 3 节、Figure 1）。

  2. What related research exists?

    作者将工作定位为工具层与提示词层结合、跨四类攻击的防御，而非单一攻击入口的处理。

    相关研究按攻击入口、评测环境和防御方式组织，实验对照主要来自 ASB。

    攻击入口与专门评测

    • InjecAgent，Zhan et al.（2024）——评测工具集成智能体的间接提示注入；作者将其列入主要关注 IPI 的研究。
    • Agentpoison，Chen et al.（2024）；Zhang et al.（2024）——引言将其列为记忆投毒相关工作；Badchain，Xiang et al.（2024a）被列为后门攻击工作。
    • R-judge、Agentharm、Breaking agents——Related Work 将这些研究归入特定攻击向量的评测；作者称，多数研究集中于一种攻击类型。

    真实应用与交互环境

    • Xu et al.（2024b）、Dorn et al.（2024）、Luo et al.（2025）——作者将其归入真实应用中的漏洞评测。
    • Naihin et al.（2023）、AgentDojo，Debenedetti et al.（2024）——作者将其归入动态、交互式环境研究。

    防御与推理策略

    • ASB，Zhang et al.（2025a）——统一评测智能体攻击与防御；作者引用其大规模研究，称多数既有防御仍不能有效处理攻击，并可能降低原任务表现。
    • CoT，Wei et al.（2022）；ReAct，Yao et al.（2022）；Reflexion，Shinn et al.（2023）——分别涉及推理提示、推理与行动结合、语言反思。作者称，已有工作曾将推理策略用于攻击模板，较少将其用于防御或防御组合。
    • 基线方法与基准：在 ASB 上，DPI 和 PoT backdoor 对照 ASB Paraphrase，IPI 对照 ASB Delimiters；MP 仅对照 No Defense（第 4 节）。

    作者将自身工作定位为white-box 工具状态干预与 black-box 提示词防御的组合，在同一框架下处理 DPI、IPI、MP 和 backdoor，并同时考察攻击抑制与任务效用（第 2 节）。

  3. How does the paper address this problem?

    框架先处理输入，再过滤或恢复工具集，最后检查计划；NTR 的关键前提是可信工具集可恢复。

    多层防御框架把输入处理、工具集控制和计划检查组合起来。工具层有 ATF 与 NTR 两种方案，主实验分别将它们与 CoT、Paraphrasing、Reflection 结合。

    输入层与整体结构

    • 外层：用户输入后、生成计划前，应用 CoT 和 Paraphrasing；作者将其用于指导推理并处理可能被污染的任务和系统指令。
    • 中层与内层：工具层检查描述并阻止不安全工具；Reflection 在执行前验证已生成的计划（第 3 节、Figure 1）。

    Attacker Tool Filtering（ATF）

    • 表示与检测：将当前工具集中每个工具的文字描述映射为 sentence-level embedding，再以这些表示训练 Isolation Forest。
    • 过滤目标：Tfiltered={τi∈ T∣ yi=0}。其中 y_i 为异常检测标签，保留被判为正常的工具用于规划（第 3.1.1 节）。
    • 设计依据：作者认为，攻击者注入的工具通常与用户原始工具有语义差异。论文给出 contamination 参数 ε，但未报告具体数值或 embedding 模型名称；附录 A 给出算法。

    Normal Tool Recalling（NTR）

    • 可信状态恢复：在规划开始前，用安全保存的用户原始工具集覆盖智能体当前可见工具集；不依赖工具名称或描述的语义判断。
    • 核心定义：Teffective← Tuser。恢复后，模型使用原始可信工具集以及系统提示词、用户指令和已有观察生成计划（第 3.1.2 节）。
    • 权限与前提：这是 white-box 防御，要求能访问内部工具状态，并在攻击发生前保存可信工具配置；作者认为它适合可以恢复该配置的场景。

    三种提示词组件

    • CoT：智能体以 JSON 输出多步计划，并从预定义工具中选择工具。作者认为，这有助于规划和工具选择；附录 B 给出了完整提示词。
    • Paraphrasing：GPT-4o-mini 接收任务输入和正常工具信息，输出改写任务；改写明确关联预期工具，并与 NTR 结合。附录 C 给出了完整提示词及示例。
    • Reflection：同一 LLM 同时承担反思与评估角色，检查计划和允许工具之间的一致性，返回原计划或修正计划。附录 D 给出了完整提示词；论文未报告具体反思轮数。

    判定对象与机制边界

    • 攻击成功：ASR 统计智能体成功使用攻击专用工具的任务比例；OTSR 单独统计原任务是否完成（第 4 节）。工具调用被阻止与原任务完成是两个判定对象。
    • 改写示例：附录 C 的示例在改写后仍保留了注入任务的语义部分，但替换为批准工具。该示例展示的是工具使用约束，不能据此把改写描述为删除全部恶意任务内容。

  4. What experiments did the paper conduct?

    NTR 完整组合在六个主实验模型的 MP 条件下 ASR 均为 0.0，但 GPT 的任务效用常下降。

    ASB 实验同时衡量攻击工具使用与原任务完成，二者的变化并不总是一致。

    实验设置

    • 被测模型：Gemma2-9B、Qwen2-7B、LLaMA3-8B、LLaMA3.1-8B、GPT-3.5、GPT-4；附录 E 另测 GPT-5。GPT-4o-mini 用于任务改写。
    • 数据规模：ASB 包含 10 个领域智能体，各含正常及攻击工具，每个智能体有 400 个任务，包括 200 个 aggressive 和 200 个 non-aggressive attacks（第 4.1 节）。论文未明确逐表实际任务分母。
    • 攻击设置：DPI、IPI 对 Naive Attack、Escape Characters、Context Ignoring、Fake Completion 取平均；MP 组合后两种攻击；PoT backdoor 对两类触发取平均（第 4.1–4.5 节）。
    • 基线与方法：No Defense；DPI、PoT 的 ASB Paraphrase；IPI 的 ASB Delimiters。MP 仅与无防御比较。主方法为 ATF 或 NTR 加 CoT、P.、R.。
    • 指标：ASR 为成功使用攻击专用工具的任务占全部受攻击任务的比例；OTSR 为原始良性任务成功完成比例。下表保留论文小数原值，P. 为 Paraphrasing，R. 为 Reflection。
    • 评审与重复：论文未报告 OTSR 的具体判定器、评审模型、阈值、重复次数或统计显著性检验，也未报告查询次数和延迟。

    主结果

    据 Table 1，DPI 四种注入类型的平均结果；每格为 ASR / OTSR。

    Swipe horizontally to read the table

    模型No DefenseASB ParaphraseATF+CoT+P.+R.NTR+CoT+P.+R.
    Gemma2-9B0.8888 / 0.00310.4187 / 0.0730.3494 / 0.27630.1206 / 0.4781
    Qwen2-7B0.5019 / 0.02810.3275 / 0.03560.1169 / 0.03250.0606 / 0.0963
    LLaMA3-8B0.2081 / 0.00940.1319 / 0.03380.2106 / 0.07190.0831 / 0.1362
    LLaMA3.1-8B0.5906 / 0.00630.285 / 0.04880.1819 / 0.13630.0088 / 0.2538
    GPT-3.50.9469 / 0.00560.5356 / 0.08810.0006 / 0.00060.0 / 0.0
    GPT-40.9156 / 0.00440.6338 / 0.08630.1325 / 0.050.0 / 0.1162
    • NTR 组合：Table 1 中各模型的 ASR 均低于两种基线；OTSR 高于两种基线的例外是 GPT-3.5，其攻击抑制伴随原任务不成功。
    • ATF 例外：LLaMA3-8B 的 ASR 高于无防御和 ASB Paraphrase；Qwen2-7B、GPT-3.5、GPT-4 的 OTSR 低于 ASB Paraphrase。
    • 作者解读：作者认为，GPT-3.5 在输入被修改后可能难以保留原任务目标。这是作者的解释，论文未给出独立机制验证。

    IPI 与 MP：攻击抑制和效用分离

    • IPI，Table 2：NTR 完整组合下，Qwen2-7B ASR 为 0.0025，其余五个模型为 0.0；GPT-4 OTSR 从无防御 0.3775 降至 0.1006。
    • MP，Table 3：NTR 完整组合使六个模型 ASR 均为 0.0。GPT-3.5 OTSR 从 0.3075 降至 0.0，GPT-4 从 0.505 降至 0.1；四个开源模型的 OTSR 均高于无防御。
    • ATF 反例：IPI 下 Gemma2-9B ASR 从无防御 0.0894 升至 0.1475；MP 下从 0.0525 升至 0.0875。作者称，ATF 的效果依模型和指标而变化。

    PoT backdoor：GPT 的任务效用代价

    • 开源模型，Table 4：NTR 完整组合下，Gemma2-9B、Qwen2-7B、LLaMA3-8B、LLaMA3.1-8B 的 ASR 分别为 0.007、0.023、0.0、0.001，OTSR 均高于无防御。
    • GPT-4，Table 4：NTR 完整组合使 ASR 从无防御 0.58 降至 0.0，OTSR 从 0.928 降至 0.187；GPT-3.5 同一组合的 ASR、OTSR 均为 0.0。
    • 作者解读与例外：作者认为 GPT 模型可能更敏感于防御干预。ATF 完整组合对 LLaMA3-8B 的 ASR 为 0.07，高于无防御 0.0475，不能概括为所有模型均获攻击抑制。

    GPT-5：部分配置的附加评测

    • 覆盖设置：附录 E 因时间限制仅表列 NTR、NTR+CoT、NTR+P.；DPI、IPI 用 Context Ignoring，MP 用组合攻击，PoT 用非词触发。
    • 结果，Table 5：上述配置在四类攻击下 ASR 均为 0.0。单独 NTR 的 OTSR 在 DPI、IPI、MP、PoT 下分别为 0.095、0.065、0.0625、0.0125。
    • 配置例外：NTR+CoT 的 OTSR 在四类攻击下均低于单独 NTR。附录文字另称完整提示词组合得到零 ASR、接近零 OTSR，但未给该配置的精确表格数值。

    其他消融与分析

    • 组件移除，Figure 2：考察 Context Ignoring DPI 下移除 NTR、CoT、P.、R.；作者称移除 NTR 通常提高 ASR、降低 OTSR，并指出 Reflection 对部分模型的效用不利。
    • 图像可读范围：所给文本仅保留 Figure 2 的 ASR、OTSR 分图名称与图注，无法读取曲线、柱高、图例或数值，因此不写定量消融结论。
    • 附录表述差异：附录 E 称 NTR+P. 在 IPI、MP 的 OTSR 提升均为 1%；Table 5 对应 NTR 与 NTR+P. 原值分别为 0.065 / 0.075、0.0625 / 0.0725。

  5. What are some points that can be further explored?

    作者明确未在动态环境评测，后续计划在真实应用中测试组合防御。

    作者明确提出的后续方向是动态环境与真实应用，而现有证据来自 ASB 的工具攻击设置。

    作者指出的局限与后续方向

    • 动态环境：作者明确写出没有在动态环境中评估该方法（第 5 节 Conclusion）。
    • 真实应用：作者计划在真实应用中测试组合策略，并讨论向更复杂工具生态和系统交互场景扩展（第 5 节 Conclusion）。
    • GPT-5 配置：作者说明因时间限制，仅评测 NTR 及其与 CoT、Paraphrasing 的部分组合（附录 E）；完整组合另有文字描述，未列精确结果。

    实验覆盖范围

    • 模型与数据：主表覆盖六个模型，附录增加 GPT-5；数据来自 ASB 的 10 个领域智能体，每个智能体 400 个任务（第 4.1 节、Tables 1–5）。
    • 攻击与对照：覆盖 DPI、IPI、MP、PoT backdoor；对照包括无防御、ASB Paraphrase 和 ASB Delimiters，MP 仅对照无防御（第 4.2–4.5 节）。
    • 防御假设：NTR 要求原始工具集在攻击前被安全保存，并能在规划前恢复内部工具状态（第 3.1.2 节）。
    • 实现与代价：ATF 给出 Isolation Forest 算法，但未报告 embedding 模型与 contamination 具体值；论文未报告延迟、查询次数或工具误过滤比例（第 3.1.1 节、附录 A）。
    • 判定与证据：论文定义 ASR、OTSR，但未报告 OTSR 判定细则、重复次数、统计检验或评审与人工的一致性；实验部分未报告针对组合防御的自适应攻击评测（第 4 节）。

  6. Summarize the main content of the paper

    工具集恢复在 ASB 中降低攻击工具调用，但零 ASR 需要与原任务成功率一起读。

    工具集成智能体的防御可以在规划前控制可用工具，攻击抑制与任务完成仍需分别衡量。作者围绕 DPI、IPI、MP 和 PoT backdoor，将工具层干预与提示词处理放进同一框架。

    • 方法要点：ATF 对工具描述做语义异常检测；white-box 方法 NTR 恢复预先保存的可信工具集。两者分别与结构化 CoT、GPT-4o-mini 任务改写和计划自我反思组合。
    • DPI，Table 1：Gemma2-9B 的 NTR+CoT+P.+R. 得到 ASR 0.1206、OTSR 0.4781；无防御分别为 0.8888、0.0031。同一防御下 GPT-3.5 两项均为 0.0。
    • MP，Table 3：六个主实验模型在 NTR 完整组合下 ASR 均为 0.0；GPT-4 OTSR 从无防御 0.505 降至 0.1，四个开源模型的 OTSR 则均提高。
    • PoT，Table 4：GPT-4 在 NTR 完整组合下 ASR 为 0.0、OTSR 为 0.187；无防御对应为 0.58、0.928。
    • GPT-5，Table 5：Context Ignoring IPI 下，单独 NTR 的 ASR 为 0.0、OTSR 为 0.065；加入 CoT 后 OTSR 为 0.0425。附录仅表列部分防御组合。
    • 作者结论与边界：作者称，工具层与提示词层可以互补，但效果依攻击和模型变化。NTR 依赖可信工具配置可恢复；作者明确未评测动态环境，计划在真实应用中继续测试。
Read originalarxiv.org
#Agent safety