Skip to content

Translation in progress Some entries still include text in the original language.

arXiv· arXiv:2602.07918· Minbeom Kim, Mihir Parmar, Phillip Wallis, Lesly Miculicich, Kyomin Jung, Krishnamurthy Dj Dvijotham, Long T. Le, Tomas Pfister·Indexed by this site · Originally published

CausalArmor:通过因果归因实现高效的间接提示注入护栏

CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution

Quick read

Defenses

Based on 论文 PDF (AI 生成); refer to the original

CausalArmor仅在未受信片段主导特权动作时清洗,作者称其ASR近零且良性延迟接近无防御。

Threat model间接提示注入:攻击者把带指令的内容藏在网页、邮件或工具输出等未受信片段中,诱使工具调用智能体执行未授权特权动作,例如write、send、execute。

Questions
工具调用智能体读取网页、邮件或工具输出时,可能被间接提示注入诱导执行未授权特权动作。常开清洗或逐步验证能压低攻击成功率,但无攻击时也会降低效用并增加延迟。
Methods
CausalArmor在提出特权动作时,用较小代理模型做长度归一化的leave-one-out归因。未受信片段相对用户请求超过边际才清洗该片段,并遮盖此后的助手推理,再重新生成动作。
Experiments and results
AgentDojo的Table 3中,CausalArmor的ASR为0.0%–0.62%。Gemini-3-Pro在DoomArena上为3.65%(±0.73),无防御为88.87%(±1.67)。
Limitations and future work
作者指出LOO删除不是完整结构因果模型,影响摊到多个片段时可能不过阈值,且上界依赖清洗器。实验含三个有表骨干及DoomArena的TauBench-Retail;正文写评估了Gemini-2.5-Pro,Table 3未列出。
Experimental setupGemini-2.5-Flash、Claude-4.0-Sonnet et al. · AgentDojo、DoomArena(TauBench-Retail) · ASR、BU et al.
Threat model
间接提示注入:攻击者把带指令的内容藏在网页、邮件或工具输出等未受信片段中,诱使工具调用智能体执行未授权特权动作,例如write、send、execute。DoomArena中攻击者还可窃听对话并改写数据库。论文未使用white-box、black-box或gray-box描述攻击者知识。
Evaluated models
Gemini-2.5-FlashClaude-4.0-SonnetGemini-3-ProGemini-2.5-Pro
Benchmarks
AgentDojoDoomArena(TauBench-Retail)
Metrics
ASRBUBLUALA
AI summary论文提出 CausalArmor,一种面向工具调用 Agent 间接提示注入的选择性防御框架,仅在不可信片段主导决策时触发清洗。该方法从因果消融视角出发,在特权决策点计算基于留一法消融的轻量归因,当检索文档或工具输出等不可信片段压过用户意图时才启动定向清洗,并用回溯式思维链掩码阻止 Agent 依据被污染的推理轨迹行动。作者给出理论分析,称在分析所设条件下,基于归因边际的清洗可将选择恶意动作的概率上界压到指数级小。在 AgentDojo 和 DoomArena 上的实验显示,CausalArmor 在安全性与激进防御相当的同时,保持了 Agent 的效用与延迟。

论文提出 CausalArmor,一种面向工具调用 Agent 间接提示注入的选择性防御框架,仅在不可信片段主导决策时触发清洗。该方法从因果消融视角出发,在特权决策点计算基于留一法消融的轻量归因,当检索文档或工具输出等不可信片段压过用户意图时才启动定向清洗,并用回溯式思维链掩码阻止 Agent 依据被污染的推理轨迹行动。作者给出理论分析,称在分析所设条件下,基于归因边际的清洗可将选择恶意动作的概率上界压到指数级小。在 AgentDojo 和 DoomArena 上的实验显示,CausalArmor 在安全性与激进防御相当的同时,保持了 Agent 的效用与延迟。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    工具调用智能体的间接提示注入会触发未授权特权动作,而常开清洗又损害良性效用与延迟。

    工具调用智能体读取未受信内容时,可能被间接提示注入诱导执行未授权特权动作,而常开防御又造成过度防御。

    • 场景:作者称智能体可浏览网页、查询外部数据库并调用API。攻击者把带指令的内容藏在网页、邮件或工具输出中,使智能体执行写文件、发消息或外传数据等特权动作。
    • 现有不足:作者称不少防御持续清洗全部新上下文、加策略门或逐步运行昂贵验证。它们能降低攻击成功率,但在无攻击的常见部署里也会降低良性效用并增加延迟。
    • 核心观察:作者称成功注入是特权决策上的主导转移:用户请求不再提供决定性支持,某个未受信片段的消融归因不成比例地高。
    • 本文提出:CausalArmor在特权决策点做轻量leave-one-out归因,仅当未受信片段以给定边际压过用户意图时才清洗该片段,并回溯遮盖被污染的推理轨迹。
    • 威胁模型:
      • 目标:让智能体执行未授权的特权动作,而不只是在上下文中放入恶意文本。
      • 输入:攻击者控制智能体将读取的外部内容,植入带指令的片段。论文未使用white-box、black-box或gray-box描述攻击者知识。
      • 受害系统:可调用工具的LLM智能体。特权工具包括execute、write、send,以及用户自定义的关键操作。
      • 更强设定:DoomArena的攻击者是privileged and adaptive,可窃听用户与智能体对话,并实时改写数据库。
  2. What related research exists?

    相关工作分IPI与基准、三类防御和LOO归因;作者把本文定位为按需触发昂贵清洗。

    间接提示注入与评测

    • Willison(2022)、Perez and Ribeiro(2022)、Willison(2023):外部检索内容被同时当作数据与潜在指令,可劫持控制流或升级为有害工具调用。
    • Debenedetti et al.(2024):长程交互中,注入意图可经记忆和重复工具调用跨轮传播。
    • 评测环境:AgentDojo、DoomArena、InjecAgent(Zhan et al., 2024)与Agent Security Bench(Zhang et al., 2024a)被用来评测长程、多领域的IPI防护。

    三类防御

    • 提示词:Schulhoff(2023)重复用户意图,Hines et al.(2024)附加把工具输出视为不可信的策略提醒。作者称这类方法便宜,但在自适应措辞下脆弱,单独使用很少能跨模板和领域稳住安全性。
    • 训练分类器:Kim et al.(2024)、Li et al.(2025b)检测并遮盖注入。作者称其面临分布外措辞、误删任务相关信息,以及跨领域和工具格式的分布偏移;若每段工具输出都清洗,会回到常开成本(Shi et al., 2025b)。
    • 系统约束:CaMeL分离并约束指令与数据通道,作者称其有概念上的保证。DRIFT先按用户请求生成计划与约束,再每轮执行并清洗工具输出。MELON比较有、无用户请求时的决策以检测异常。另有工作用LLM清洗全部工具输出。作者称保守控制或每轮多次LLM调用会限制能力并增加延迟。

    归因

    • LOO:相对梯度显著性(Adebayo et al., 2018)和扰动法(Chattopadhyay et al., 2019),Cohen-Wang et al.(2024)用leave-one-out量化删除某片段对输出分布的影响。
    • 已有用途:判断生成是否被检索上下文支撑,以及模型对上下文的依赖或误依赖(Liu et al., 2024; Tsai et al., 2023; Tutek et al., 2025; Zhang et al., 2024b)。作者称成功IPI会产生可用LOO测量的因果反转。

    实验基线与基准

    • 基线:Repeat Prompt、DeBERTa Detector、PiGuard、MELON、DRIFT;Table 3还报告PromptArmor。清洗器固定为Gemini-2.5-flash,归因代理为Gemma-3-12B-IT。
    • 基准:AgentDojo(629个注入任务)与DoomArena的TauBench-Retail(115个任务)。

    作者把CausalArmor定位为决定何时、对何处支付昂贵清洗:只在特权决策点检测未受信片段相对用户请求的主导转移,而不是清洗全部未受信内容或持续验证。

  3. How does the paper address this problem?

    在特权动作处用代理模型做归一化LOO归因,边际超阈值才清洗对应片段并遮盖后续思维链。

    CausalArmor是放在智能体之前的中间层:先隔离未受信片段,只在特权动作被提出时计算归因,再决定是否清洗。

    设定与主导转移

    • 第t步上下文写成用户请求U、可信系统侧上下文H_t和未受信片段集合S_t。实现中每个片段对应某一轮的一个工具结果,不必是整篇文档。
    • 候选动作分为特权工具与非特权工具。论文关注阻止未授权特权动作,并称用户可自定义要防护的动作列表。
    • 对组件X、候选动作Y的leave-one-out归因是ΔX(Y;Ct):=log P(Y|Ct)−log P(Y|Ct∖ X),即X对选择Y的边际支持。P可以是智能体的下一动作分布,或第4.1节的代理。
    • 作者称良性时用户请求的归因高于各未受信片段;成功IPI时某个片段对恶意特权动作的归因远高于用户请求,且用户归因常接近0。Figure 2汇总AgentDojo上的这一对比,正文未给出图中分数。

    边际检测

    • 仅当提出的动作属于特权集合且存在未受信片段时才检测。若某片段的归一化归因高于用户请求归因减去边际τ,就进入可疑集合。
    • τ=0对应纯因果反转检验;τ趋向负无穷则从不清洗;τ趋向正无穷则接近常开清洗。Figure 4把默认CausalArmor标为τ=0。
    • 作者称不把“用户归因低”单独当攻击信号,因为良性能力失败也会降低用户支撑,但不一定在某个未受信片段上形成尖峰。

    两阶段干预

    • 选择性清洗:对可疑片段调用清洗模型,实验中为Gemini-2.5-flash,并以用户请求和该特权工具的定义为条件。作者称这样便于区分驱动未授权调用的指令和仍需保留的事实。附录D.1给出完整提示词。
    • 回溯思维链遮盖:从首次命中点之后,把助手推理换成通用占位符,再让智能体在清洗后的上下文中重新生成动作。作者称只删输入而留下已接受注入的推理,可能使再生成时重复恶意动作。
    • 未触发时直接执行原动作。Algorithm 1是简化流程,Algorithm 2给出批量打分、替换、遮盖和再生成的完整步骤。

    批量归因与归一化

    • 各消融上下文相互独立,与完整上下文组成一批,由较小代理模型一次前向给出对数概率。文中示例为经vLLM服务的Gemma-3-12B-IT。作者称部分API不支持前沿模型的对数概率打分。
    • 作者引用Liu et al.(2024)的跨模型可迁移性,并在第5.5节用端到端攻击成功率检验代理是否够用。
    • 归因除以候选动作的token长度,使τ不随思维链和工具调用字符串的长度缩放。

    理论界

    • 假设1:去掉注入触发后,用户对齐动作相对恶意特权动作有正的对数概率间隔β。
    • 假设2:清洗后的未受信内容对恶意特权动作的边际支持,比对用户对齐动作至少低γ。
    • 命题4.1称,在这两条假设下,长度为T的回合执行任一恶意特权动作的概率上界为T·|Y_{mal}|·exp(−(β+γ))。作者称提高τ会扩大被清洗集合,从而更可能使γ为正。证明在附录B。
  4. What experiments did the paper conduct?

    AgentDojo上CausalArmor的ASR为0.0%–0.62%(Table 3)。

    实验设置

    • 骨干:默认Gemini-2.5-flash。Table 3与Figure 3还报告Claude-4-Sonnet、Gemini-3-Pro。第5.1节另称评估了Gemini-2.5-Pro,该名称未出现在Table 3。
    • 共用组件:各基线的清洗器固定为Gemini-2.5-flash,归因代理默认为Gemma-3-12B-IT。
    • AgentDojo:banking、slack、travel、workspace四类,70个工具,629个注入任务。除important_instructions外,另有Gemini-3-Pro设计的task_dependency与tool_output_hijack。表中另两列写为New Attack 1、New Attack 2,论文未写明与这两个模板名的对应。论文未报告该基准的重复次数。
    • DoomArena:TauBench-Retail,115个任务,5个随机种子。攻击者与用户模拟器均为Gemini-2.5-flash;攻击者可窃听对话并改写数据库。作者称对话式设定下CaMeL、DRIFT、MELON无法套用。
    • 基线:Repeat Prompt、DeBERTa Detector、PiGuard、DRIFT、MELON;Table 3另有PromptArmor。
    • 指标:BU为无攻击目标成功率;BL为良性墙钟开销,表中相对无防御,无防御为1.00;UA为攻击下完成任务的能力;ASR为IPI成功操纵行为的任务比例。Table 3还报告攻击下延迟LA。论文称记录了攻击下延迟,但把BL作为效率的主要指标。论文未写LLM评审或人工一致性。

    主结果

    Swipe horizontally to read the table

    骨干与方法BUBLII的ASRII的UA
    Gemini-2.5-Flash / 无防御53.611.0032.4732.46
    Gemini-2.5-Flash / CausalArmor56.261.300.6250.90
    Claude-4-Sonnet / 无防御89.441.002.3283.98
    Claude-4-Sonnet / CausalArmor82.471.270.083.67
    Gemini-3-Pro / 无防御92.781.005.0690.41
    Gemini-3-Pro / CausalArmor86.601.220.1187.14

    据Table 3。II为Important Instructions。BU、UA、ASR按表中数值列出,BL相对无防御。

    • 作者称Figure 3中CausalArmor把ASR降到接近零,UA和良性开销接近无防御。Table 3里,Claude-4-Sonnet与Gemini-3-Pro的BU低于各自无防御;Flash的II场景UA高于无防御。
    • 同表CausalArmor在New Attack 1/2的ASR:Flash为0.42与0.40,Claude为0.11与0.46,Gemini-3-Pro为0.11与0.0。无防御对应为12.01/7.06、3.37/18.97、5.69/8.85。
    • 不是每一格都低于全部基线。Flash的New Attack 2上,PiGuard的ASR为0.0,CausalArmor为0.40;PiGuard的BU为32.99。Claude的II上,PromptArmor的ASR为0.0,BL为2.20。

    DoomArena自适应攻击

    • Table 1只报告Gemini-3-Pro。无防御ASR为88.87(±1.67),BU为73.57(±1.32),BL为1.00(±0.01)。CausalArmor的ASR为3.65(±0.73),BU为70.96(±0.99),BL为1.38(±0.04)。
    • Repeat Prompt的ASR为72.70(±2.65),BU为65.04(±3.33)。PiGuard的ASR为5.57(±0.48),BU为55.13(±2.35)。
    • 作者称分类器因不加区分地拦截上下文而过度防御,CausalArmor在该设定下压低ASR并保持较高BU。附录C.3另写无防御ASR为89.47%,与Table 1的88.87不一致,此处以表为准。附录称攻击者可删除完成原任务所需信息,因此各方法的UA趋于0,该表未报告UA。

    思维链遮盖与代理模型

    • Table 2为全实验场景平均:CausalArmor的BU为75.11、ASR为0.29;去掉CoT遮盖后BU为74.61、ASR为1.75。作者称ASR升高1.46个百分点,BU下降0.5个百分点,并称残留的被污染推理会在再生成时充当虚假锚点。附录E.2用案例说明只清洗输入仍可能再次执行恶意特权动作。
    • Figure 5以Gemini-3-Pro为骨干,更换Gemma-3、Qwen3、Ministral家族及不同规模代理。作者称大于8B能识别多数IPI,超过12B时防御率接近oracle;Gemma家族相对其他家族更靠近延迟与安全的帕累托更优。图中标有1B、1.7B、3B、4B、8B、12B、14B、27B、32B等规模,正文未给出各点ASR。作者称闭源API通常不支持大规模计算oracle LOO所需的对数概率,故用端到端ASR和相对延迟做功能验证。

    边际与假设

    • 第5.3节与Figure 4比较Always-on、No Def和不同τ。作者称默认τ=0已把ASR降到接近零,并大体保持良性效用与延迟;提高τ更严,对良性效用影响小。图注未写明骨干。纵轴ASR约到0.10,相对良性延迟约到2.4,正文未给各点坐标。Figure 6在Gemini-2.5-flash、Claude-4-Sonnet、Gemini-3-Pro上重复该权衡,正文同样未给各点数值。
    • 第5.6节用无攻击时的BU(Table 3)支持假设1。Figure 7是Gemini-2.5-flash在AgentDojo上清洗前后的LOO箱线图;作者称清洗后注入片段归因被压低、用户请求主导恢复,并称该图不是对每个恶意动作直接估计γ。

    其他消融与分析

    • Flash上Repeat Prompt的BU为64.95,高于无防御的53.61;其II的ASR为35.93,高于无防御的32.47(Table 3)。
    • DRIFT的BL在三骨干上为4.67、5.43、5.82。MELON在Flash与Claude上为2.21、2.31;Gemini-3-Pro的Table 3未报告MELON。
    • Flash上CausalArmor的LA在II、New Attack 1、New Attack 2为1.96、1.78、1.81,无防御均为1.00(Table 3)。
    • 附录E.1:作者称多轮、分片注入仍会在特权调用处形成因果瓶颈;Table 4给出旅行、银行、工作区三类目标的例子。附录给出示例,正文未另报ASR。
    • Liu et al.(2024)的Pearson相关0.94是被引结果,不是本文测得的相关。
  5. What are some points that can be further explored?

    作者指出LOO不是完整结构因果模型,分布式攻击与清洗器失效时保证有条件。

    作者指出的局限与后续方向

    • 操作性因果(附录A):用删除片段衡量的是对下一特权动作的反事实影响,不是完整结构因果模型。后续可研究保语义干预,或只在多个片段同时被改时才出现的交互。
    • 分片攻击(附录A):理论上可把因果影响摊薄,使任何单个片段都不超过τ。作者称在自然语言中构造这种攻击并不容易;后续可用近似Shapley一类的集合归因。
    • 清洗器(附录A):框架选择何时、何处触发防御,不提出新的清洗模型;效果随所选清洗器变化。作者不声称当前清洗器能对付未来所有混淆或分布偏移。大量步骤被标记时,开销可接近常开清洗。
    • 模态与依赖(第6节):后续可扩展到多模态上下文,并改进归因以更好捕捉复杂因果依赖。

    实验覆盖范围

    • 有结果表的骨干为Gemini-2.5-Flash、Claude-4-Sonnet、Gemini-3-Pro(Table 3、Figure 3)。第5.1节还写评估了Gemini-2.5-Pro,Table 3未列出该名称。
    • AgentDojo含四类环境、70个工具、629个注入任务和三种注入模板。DoomArena实验为TauBench-Retail的115个任务、5个种子(第5.1节、附录C)。
    • AgentDojo对照包括Repeat Prompt、DeBERTa Detector、PiGuard、DRIFT、MELON与PromptArmor(Table 3);Gemini-3-Pro未报告MELON。DoomArena对照为Repeat Prompt与PiGuard(Table 1)。作者称CaMeL、DRIFT、MELON因对话式设定不能用于DoomArena。
    • 另有去掉CoT遮盖(Table 2)、τ取值(Figure 4、Figure 6),以及以Gemini-3-Pro为骨干的Gemma-3、Qwen3、Ministral多规模代理(Figure 5)。清洗器固定为Gemini-2.5-flash。
    • 论文未报告AgentDojo的重复次数、Figure 5各点的精确ASR、评审与人工的一致性,也未报告攻击查询次数;延迟以相对墙钟时间给出。
  6. Summarize the main content of the paper

    CausalArmor在特权决策处按归因边际选择性清洗并遮盖思维链,以缓解IPI的过度防御。

    CausalArmor是工具调用智能体上的间接提示注入防护中间层,用来避免无攻击时也支付常开清洗的效用和延迟成本。

    • 问题:网页、邮件或工具输出中的指令可把动作概率推向未授权特权动作。作者把成功注入看成用户请求失去归因主导,而某个未受信片段主导该特权决策。
    • 方法:只在提出特权动作时,用代理模型批量计算按token长度归一化的leave-one-out归因。片段归因超过用户请求减去边际τ时,按用户请求和该工具定义清洗该片段,遮盖此后的助手推理,再重新生成动作。Figure 4将默认值标为τ=0。命题4.1在骨干仍有正的良性间隔、且清洗带来正的干预间隔时,给出恶意特权动作概率的指数上界。
    • AgentDojo:Table 3中,Gemini-2.5-Flash在Important Instructions上的ASR从无防御的32.47到CausalArmor的0.62,BL从1.00到1.30,BU从53.61到56.26。Claude-4-Sonnet的对应ASR从2.32到0.0,BU从89.44到82.47。Gemini-3-Pro在New Attack 2上的CausalArmor ASR为0.0,Important Instructions上为0.11。Table 3中CausalArmor各攻击列的ASR为0.0–0.62。
    • DoomArena:Gemini-3-Pro上,CausalArmor的ASR为3.65(±0.73),无防御为88.87(±1.67);BU为70.96(±0.99),无防御为73.57(±1.32)(Table 1)。
    • 作者结论:作者称按主导转移选择性干预,可以在接近无防御的良性延迟下,把ASR降到接近常开防御的水平,并用归因指出影响来自哪一片段。作者同时把概率上界写成依赖骨干能力与清洗效果的条件结果,并称后续可扩展到多模态和更复杂的因果依赖。
Read originalarxiv.org