自适应攻击攻破 LLM Agent 的间接提示注入防御

1. 01这篇论文试图解决什么问题？

   评估现有间接提示注入防御在自适应攻击下的表现，检验对抗攻击在智能体环境中的绕过能力。

   现有针对大语言模型（LLM）智能体的间接提示注入（IPI）防御缺乏面对自适应攻击的鲁棒性测试，存在被针对性绕过的安全风险。

   • 应用背景与风险：LLM智能体通过调用外部工具执行操作，被广泛应用于金融、医疗、自动驾驶和化学实验室等高风险领域；但集成外部工具引入了间接提示注入（IPI）攻击威胁，攻击者可在智能体读取的外部数据中嵌入恶意指令，诱发未经授权的操作、数据泄露甚至物理损害。
   • 现有防御的不足：虽然已有研究提出了检测级、输入级和模型级等多种IPI防御方案，但这些防御大多仅在非自适应威胁下测试，缺乏在防御机制完全公开后针对性自适应攻击下的鲁棒性检验。
   • 核心论点：在传统安全与机器学习安全领域，非自适应攻击容易低估系统脆弱性，使看似有效的防御在自适应攻击下失效；评估IPI防御必须引入针对性的自适应对抗样本构建。
   • 威胁模型：
     • 攻击者目标：诱导智能体执行指定的恶意攻击工具，完成直接危害（如未授权交易）或敏感数据窃取外发。
     • 攻击者知识：假设攻击者掌握白盒访问权限，完全知晓智能体模型、防御模型架构、参数及详细提示词。
     • 攻击者能力：攻击者仅能操纵外部数据源内容（如邮件或评论），在恶意指令前后插入经梯度优化的对抗性字符串。
     • 受害系统：由骨干LLM和工具集构成的智能体系统，部署了检测过滤、提示隔离或对抗微调等单项防御。

   收起这一问

2. 02有哪些相关研究？

   梳理智能体安全风险、LLM对抗越狱攻击及自适应攻击脉络，作者称本文是首次针对智能体安全探索自适应攻击。

   • LLM智能体安全风险：
     • 风险全貌分析：相关综述（He et al., 2024; Deng et al., 2024）与基准评测（Yuan et al., 2024a; Zhang et al., 2024b; Tang et al., 2024）将智能体风险划分为无恶意攻击者的非故意风险（Ruan et al., 2024; Ma et al., 2024）和恶意故意攻击。
     • 恶意攻击范式：主要包括在工具响应中注入恶意指令的间接提示注入攻击（Zhan et al., 2024; Debenedetti et al., 2024）、针对RAG智能体知识库投毒的攻击（Chen et al., 2024）、通过微调植入触发器的后门攻击（Yang et al., 2024; Wang et al., 2024; Hubinger et al., 2024），以及其他智能体攻击（Zhang et al., 2024a; Gu et al., 2024）。
   • LLM对抗攻击与越狱：
     • 提示工程与越狱：通过RLHF（Ouyang et al., 2022）或DPO（Rafailov et al., 2023）对齐的模型仍可能被越狱提示绕过（Wei et al., 2023; Yuan et al., 2024b）。
     • 自动化对抗攻击：GCG（Zou et al., 2023）利用离散坐标梯度优化对抗后缀诱导违规输出；AutoDAN（Liu et al., 2024a; Zhu et al., 2023）则生成具有语义连贯性的对抗提示以避开困惑度检测。
   • 自适应攻击机制：
     • 跨领域防御检验：自适应攻击在计算机视觉对抗防御评估中被广泛采用（Athalye et al., 2018; Tramèr et al., 2020; Carlini and Wagner, 2017），随后扩展至LLM越狱防御基线评估（Jain et al., 2023; Andriushchenko et al., 2024）。
   • 对比基线与基准：
     • 论文在InjecAgent（Zhan et al., 2024）和AgentDojo（Debenedetti et al., 2024）基准上评测，选取了微调检测器、LLM检测器、困惑度过滤、指令防范、提示隔离、三明治防范、文本改写和对抗微调等8种防御作为基线。
   • 与既有工作的定位差异：
     • 作者称本研究是首次针对LLM智能体在间接提示注入场景下评估防御与自适应攻击；与针对基础LLM的提示注入相比，智能体攻击需要直接驱动工具执行，且输入输出复杂度更高。

   收起这一问

3. 03论文如何解决这个问题？

   针对8种IPI防御，利用白盒梯度优化设计适配智能体工具调用的GCG、多目标GCG、两阶段GCG与AutoDAN自适应攻击。

   论文提出针对LLM智能体IPI防御的白盒自适应攻击框架，通过梯度优化在外部数据中插入对抗字符串以操纵智能体工具执行并绕过各类防御。

   形式化定义与攻击目标

   智能体由骨干模型与工具集构成。良性用户指令触发工具执行并返回外部内容，攻击者将恶意指令与对抗字符串拼接后嵌入外部内容。攻击损失函数定义为最小化目标序列生成的负对数似然： L_attack = − log P_M(target ∣ Prompt(I_u, I_a ⊕ S)) 其中模型在给定输入下最大化生成目标序列的概率。针对ReAct智能体，目标序列设计为特定思考前缀，引导模型在思维链中产生调用攻击者工具的意图；针对微调型智能体，目标序列设计为与函数调用语法一致的键值结构，直接触发攻击工具执行。

   针对输入级与模型级防御的GCG优化

   • 输入级防御：包括指令防范（在提示中显式要求忽略外部指令）、数据提示隔离（使用特定定界符包裹工具响应）、三明治防范（在工具响应后重复用户指令）以及文本改写（通过重述外部内容破坏对抗字符串）。
   • 模型级防御：采用对抗微调，利用未攻击成功的对抗样本微调模型以抵抗恶意指令。
   • 直接GCG攻击：对上述无额外检测器的防御，直接沿用GCG算法在离散token空间搜索最优化对抗字符串。对于Llama3-8B模型，前缀插入效果优于后缀插入。

   针对检测级防御的多目标GCG与AutoDAN

   • 多目标GCG优化：针对微调检测器（基于DeBERTaV3判别）和LLM检测器（提示LLM做二分类判别），攻击需同时满足攻击触发与隐蔽逃逸目标，联合优化损失函数：

   L_joint = α L_attack + (1 − α) L_detect 当检测器与智能体共享词表时联合梯度优化；词表不同时采用交替单步优化。

   • 语义连贯性AutoDAN：针对困惑度过滤防御（超过困惑度阈值即拦截），常规GCG生成的字符串困惑度偏高易被过滤。作者采用从左至右选取token的AutoDAN算法生成语义连贯的对抗串以绕过阈值。

   针对改写防御的两阶段GCG

   文本改写防御能重写外部内容以削弱token级扰动。作者设计两阶段GCG（T-GCG）：首先训练对抗前缀使恶意指令驱动目标输出；随后训练第二个对抗字符串附加于输入中，引导改写模型在改写后恰好保留第一阶段生成的对抗指令序列，从而触发智能体执行攻击工具。附录给出了相关防御提示词的具体结构。

   收起这一问

4. 04论文做了哪些实验？

   在InjecAgent和AgentDojo上测试8种防御，自适应攻击ASR均超50%，检测器检测率降至接近0%。

   实验设置

   • 被测模型：评测两类LLM智能体，包括基于ReAct提示的智能体（骨干模型为Vicuna-7B-v1.5）与基于函数调用微调的智能体（骨干模型为Llama-3.1-8B-Instruct）；检测防御涉及DeBERTaV3微调检测器。
   • 评测基准：主实验采用InjecAgent基准，从1054个测试例中随机抽取100个测试例（包含25个直接危害攻击、27个数据窃取攻击及16个用户场景）；附录采用AgentDojo基准抽取16个测试例。
   • 防御基线：实现8种防御策略，包括微调检测器（FD）、LLM检测器（LD）、困惑度过滤（PF）、指令防范（IP）、数据提示隔离（DPI）、三明治防范（SP）、文本改写（P）和对抗微调（AF）。
   • 评估指标：主要指标为攻击成功率ASR（ASR-all，成功攻击占全部用例比例），记录部署防御后的ASR-defense与自适应攻击后的ASR-adaptive attack；辅以目标率Target rate、检测率DR和有效输出率Valid rate。
   • 评测流程与判定：单轮交互中，直接危害以模型输出执行危害工具为成功；数据窃取分两步，第一步输出执行数据提取工具后，由gpt-4-0613模拟工具响应，第二步输出执行数据传输工具判定为完全成功。
   • 计算与训练细节：每个对抗样本在单卡NVIDIA A100 GPU上训练约30分钟，连续100步损失不降触发早停；对抗微调采用LoRA配合4-bit量化微调15个epoch。

   主结果

   表格较宽，可左右滑动

   防御方法	Vicuna-7B 防御ASR (%)	Vicuna-7B 自适应攻击ASR (%)	Llama3-8B 防御ASR (%)	Llama3-8B 自适应攻击ASR (%)
   Perplexity filtering	6	76	0	61
   Instructional prevention	9	91	1	79
   Paraphrasing	1	79	0	54
   Data prompt isolation	1	94	未报告	未报告
   LLM-based detector	1	74	0	81
   Fine-tuned detector	20	84	1	74
   Sandwich prevention	15	68	未报告	未报告
   Adversarial fine-tuning	12	65	4	85

   （据 Figure 2；无防御基线下Vicuna-7B的ASR为56%，Llama3-8B为9%；Llama3-8B因固有结构未测试DPI与SP）

   • 作者对整体绕过效果的解读：作者称所有针对性自适应攻击在被测防御与智能体上的ASR均超过50%，高于部署防御前的初始ASR水平，显示既有防御可被自适应攻击绕过。
   • 基座模型耐受性差异：Llama3-8B在未防御时的初始ASR（9%）低于Vicuna-7B（56%），但在自适应攻击下两者的防御均被突破，Llama3-8B在对抗微调下的自适应ASR达到85%。
   • 防御机制有效性差异：在提示级修改中，三明治防范在有效结果范围内展现出相对较好的防御表现；困惑度过滤与改写防御对非自适应串有抵御效果，但仍被针对性自适应攻击攻破。

   检测率与非自适应攻击对比

   • 检测率下降测试：原始IPI攻击下，FD对Vicuna-7B和Llama3-8B的检测率均为61%，LD对两者分别为34%和72%（Table 2）；加入自适应对抗串后，FD检测率降至1%和10%，LD检测率均降至0%。
   • 自适应与非自适应对比：在困惑度过滤下，非自适应对抗串在Vicuna-7B和Llama3-8B上的ASR分别为24%和22%，自适应串升至76%和61%（Table 3）；在改写防御下，非自适应串ASR为53%和8%，自适应串升至79%和54%。
   • 隐蔽目标达成情况：作者称检测率降至接近0%表明多目标优化中的隐蔽逃逸目标已达成，后续攻击改进重点应集中于提升攻击触发目标。

   攻击阶段拆解与交叉评估

   • 多阶段影响差异：在数据窃取攻击中，自适应攻击使第一步工具调用的ASR在Vicuna-7B上达到0.90 ± 0.07、Llama3-8B达到0.81 ± 0.12，但第二步工具调用的ASR分别为0.75 ± 0.17和0.71 ± 0.16，改善幅度较小（Table 4）。
   • 阶段局限机理：作者称原因在于对抗字符串仅训练用于引导模型生成第一步的目标输出，对后续交互步骤仅具间接影响。
   • 跨防御专属性：在针对特定防御训练对抗串的交叉评测中，针对特定防御优化的自适应攻击通常在该防御上取得最高ASR（Figure 5）。

   长上下文与有效输出率分析

   • 格式有效率变化：多数输入级防御会降低有效输出率，而三明治防范由于产生更多无效格式输出，有效率为58%（Figure 4）；施加自适应攻击后因强制生成思考前缀，有效率回升至78%。
   • 长上下文基准结果：在上下文更长的AgentDojo基准（平均3823 token）上，Llama3-8B在无防御设置下GCG的ASR为56.25%，在LLM检测器下多目标GCG的ASR为31.25%，在指令防范下GCG的ASR为43.75%（Table 6）。
   • 长上下文攻击难点：作者称AgentDojo上的自适应攻击效果低于InjecAgent，推测主要由于上下文显著增长且包含多轮交互，增加了对抗字符串优化的难度。

   其他消融与分析

   • 目标率与ASR差异：Vicuna-7B下数据提示隔离的目标率达96%（ASR为94%），对抗微调目标率为93%但ASR为65%（Figure 3）。
   • AutoDAN语义容忍度：AutoDAN在Vicuna-7B上的严格目标率为36%，若计入语义近似输出则增至62%（Section 5.2）。
   • 对抗微调训练集：从未成功测试例中收集数据，Vicuna-7B包含215例，Llama3-8B包含816例（附录A）。
   • 优化计算成本：针对单个测试例优化对抗字符串在单卡A100 GPU上耗时约30分钟（附录A）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出当前攻击局限于首步动作、依赖白盒权限、未测组合防御且防御覆盖未穷尽。

   作者指出的局限与后续方向

   • 仅优化首步动作：自适应攻击仅训练对抗字符串以控制智能体接收外部内容后的第一步动作，对数据窃取攻击的第二步改善最小；作者指出改进攻击策略以兼顾长期影响是后续研究方向（Section 10）。
   • 依赖白盒访问假设：当前攻击假设掌握智能体模型、防御模型与详细提示词的白盒访问权限；作者指出研究黑盒与灰盒攻击对全面评估同样至关重要（Section 10）。
   • 未涉及组合防御：当前自适应攻击仅针对单项防御，而组合不同防御可能建立更强防护机制（例如联合应用三种检测策略）；探索针对组合防御的自适应攻击是未来工作（Section 10）。
   • 防御策略覆盖未穷尽：本研究未穷尽所有可能适配IPI的潜在防御，例如LLM自我评估（Phute et al., 2024）或替代微调方法（Zhang et al., 2024c）（Section 10）。

   实验覆盖范围

   • 被测模型：评测覆盖2个骨干LLM（Vicuna-7B-v1.5与Llama-3.1-8B-Instruct）构成的智能体，以及1个基于DeBERTaV3的检测模型与作为模拟环境工具的gpt-4-0613。
   • 测试基准与用例：主实验在InjecAgent抽取的100个测试例上评估（直接危害50例、数据窃取50例），附录在AgentDojo上评估16个测试例。
   • 防御方法覆盖：评测了检测级（FD、LD、PF）、输入级（IP、DPI、SP、P）与模型级（AF）共8种防御策略；其中Llama3-8B因对话结构排除了DPI和SP。
   • 指标与评估维度：报告单轮交互下的ASR-all、Target rate、DR与Valid rate；论文未评估防御对正常良性用户请求效用（Utility）的影响。
   • 算力与优化开销：每个对抗样本在单卡NVIDIA A100 GPU上训练约30分钟，优化步数为100至2000步不等；论文未报告防御与攻击在实际部署中的延迟与查询开销。

   收起这一问

6. 06总结一下论文的主要内容

   作者称8种IPI防御在自适应攻击下ASR均超50%，强调智能体防御评估需引入自适应测试。

   1. 定位与核心问题：论文评估了大语言模型（LLM）智能体在面对间接提示注入（IPI）攻击时的8种代表性防御方案，探索在完全知晓防御机制的白盒自适应攻击下现有防御的有效性。
   2. 方法设计：针对检测级、输入级与模型级防御，设计了一系列适配智能体工具调用的白盒对抗攻击方法，包括适配思维链思考格式与函数调用格式的GCG、兼顾逃逸与攻击目标的多目标GCG、对抗文本改写的两阶段GCG，以及应对困惑度过滤的AutoDAN。
   3. 主实验结果：在InjecAgent的100个测试例评测中，针对性自适应攻击在Vicuna-7B和Llama3-8B两个智能体及8种防御下的攻击成功率ASR均超过50%（Figure 2），微调检测器与LLM检测器的检测率均降至接近0%（Table 2）。
   4. 深入分析：直接危害攻击经自适应优化后平均ASR达到0.87以上（Table 4）；数据窃取由于对抗串仅优化首步动作，第二步调用的改善较小；在长上下文基准AgentDojo上自适应攻击难度加大，ASR在31.25%至56.25%之间（Table 6）。
   5. 作者结论：作者称当前IPI防御在自适应攻击下均被突破，非自适应评估容易低估系统安全漏洞，强调未来在设计智能体防御时必须将自适应攻击测试作为评估安全性的核心标准。

   收起这一问

相关论文