跳到正文
原文
arXiv:越狱、提示注入、投毒与防御· arXiv:2610.09935· Zitong Yao, Jiangrong Wu, Yixi Lin, Anrui Huang, Luoyun Zhang, Yuhong Nan·本站收录· 原文发表

AgentTracer:通过细粒度意图-执行对齐追踪间接提示注入攻击

AgentTracer: Tracing Indirect Prompt Injection Attack through Fine-Grained Intention-Execution Alignment

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

AgentTracer将IPI视为意图漂移,两数据集各300条上平均注入点准确率94.17%、路径精确率93.56%。

威胁模型攻击者可在智能体处理的外部资源中嵌入自然语言指令,不能修改原始用户请求或执行日志。

问题
IPI把恶意指令藏在网页、邮件等外部资源中,使智能体偏离用户任务。事后要在与合法操作交错、且常无显式依赖的工具调用里定位注入点并重建攻击链。作者称依赖图、贡献度和反事实方法难以恢复完整链条。
方法
AgentTracer把IPI当作意图漂移:从推理记录恢复决策依赖,建成意图执行图;用操作知识库把用户请求实例化为授权空间,按动作、目标、约束标出漂移边,再从异常事件反向回溯到注入点。
实验与结果
AgentDyn与InjecAgent各300条成功日志混入1,800条正常请求、9,000次背景调用后,平均注入点准确率94.17%、路径精确率93.56%。对比100条时为94.00%,作者称比基线高18.00–54.00%。
局限与可以继续做的
作者称无推理记录时效果下降,且不直接追踪代码级注入;45例跨会话实验未纳入正式评测。正式评测用AgentDyn与InjecAgent成功日志及五个月Codex历史池,骨干LLM为deepseek-v4-flash。
实验设置AgentDyn、InjecAgent 等 · DetectionRate、InjectionAcc 等
威胁模型
攻击者可在智能体处理的外部资源中嵌入自然语言指令,不能修改原始用户请求或执行日志。追踪从异常工具调用开始;日志须含用户请求、推理记录和工具记录。不产生工具执行的攻击不在范围内。
基准
AgentDynInjecAgenthistorical-log pool
指标
DetectionRateInjectionAccCoveragePrecisionedge-level false-positive rate
AI 导读研究者提出 AgentTracer,一个意图感知的追踪框架,将间接提示注入视为任务意图漂移,用于事后定位注入来源并重建攻击链。该方法恢复工具调用之间隐含的决策依赖,构建意图驱动的执行图,把分散的工具调用按任务意图连接起来;再结合用户请求与操作知识库构建用户意图授权空间,识别意图漂移的工具调用。从审计中的异常工具调用出发,AgentTracer 通过目标剪枝和反向追踪重建攻击链,定位注入来源与注入点。在 AgentDyn 和 InjecAgent 的成功 IPI 攻击执行日志,与包含 1,800 条用户请求、9,000 次无 IPI 背景工具调用的正常日志混合的端到端实验中,AgentTracer 达到 94.17% 的注入点准确率和 93.56% 的路径精确率,注入点准确率较现有方法提升 18% 至 54%。

研究者提出 AgentTracer,一个意图感知的追踪框架,将间接提示注入视为任务意图漂移,用于事后定位注入来源并重建攻击链。该方法恢复工具调用之间隐含的决策依赖,构建意图驱动的执行图,把分散的工具调用按任务意图连接起来;再结合用户请求与操作知识库构建用户意图授权空间,识别意图漂移的工具调用。从审计中的异常工具调用出发,AgentTracer 通过目标剪枝和反向追踪重建攻击链,定位注入来源与注入点。在 AgentDyn 和 InjecAgent 的成功 IPI 攻击执行日志,与包含 1,800 条用户请求、9,000 次无 IPI 背景工具调用的正常日志混合的端到端实验中,AgentTracer 达到 94.17% 的注入点准确率和 93.56% 的路径精确率,注入点准确率较现有方法提升 18% 至 54%。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    事后追踪IPI时,恶意调用常无显式依赖且与合法操作交错,AgentTracer按意图漂移重建攻击链。

    事后要从与合法操作交错、且常无显式依赖的工具调用中,定位IPI注入点并重建攻击链。

    • 出现场景:作者称智能体做办公、购物、软件维护时会访问外部资源,因而暴露于间接提示注入(indirect prompt injection, IPI)。恶意指令来自网页、邮件等较低信任来源,把执行从用户任务引向攻击者意图。作者称真实环境中IPI普遍且难以防御,异常工具调用出现后的追踪与归因至关重要。
    • 现有不足:作者称现有方法主要沿显式控制流或数据流反向遍历,或给输入片段打贡献分,或用反事实干预估计影响。恶意指令驱动的多次调用可以没有显式依赖,并与合法操作交替,作者称因此难以得到完整、精确的攻击链。
    • 核心假设:作者把任务意图定义为由一串工具调用实现的任务目标;用户意图来自用户请求,攻击者意图来自恶意指令。作者将IPI视为任务意图漂移,偏离用户意图的调用按序构成攻击链。
    • 提出方法:AgentTracer恢复工具调用间的隐式决策依赖,构建意图驱动执行图(Intent-Driven Execution Graph),用用户请求和操作知识库划定授权空间并标出漂移调用,再从被审计异常事件反向定位注入源与注入点。
    • 威胁模型:
      • 攻击者能力:可在智能体处理的外部资源中嵌入自然语言指令;不能修改原始用户请求或执行日志。
      • 纳入范围:只分析恶意指令影响推理并产生可观察工具调用的IPI;不产生工具执行的攻击不在范围内。
      • 日志前提:适用于含用户请求、推理记录、工具调用与工具结果的智能体日志。
      • 审计目标:给定历史日志和异常事件,判断是否归因于IPI;若是,输出排除合法交错调用后的有序攻击链、注入源和注入点。
  2. 有哪些相关研究?

    相关工作分提示注入基准、智能体防御和执行追踪;作者将本文定位为事后的意图对齐追踪。

    提示注入与攻击基准

    • 外部资源中的指令:Greshake等(2023)、Yi Liu等(2023)、Yupei Liu等(2023)讨论外部内容或应用集成中的提示注入。Toyer等(2023)的Tensor Trust、Yi等(2023)提供提示注入基准。
    • 工具执行与多步攻击:AgentDojo、InjecAgent、Agent Security Bench覆盖工具执行中的注入;AgentDyn与StepJack覆盖动态、多步攻击;AgentHarm覆盖有害多工具任务。作者称这些工作说明恶意指令可诱发一串工具调用,因而需要重建完整攻击链。

    智能体安全评测与防御

    • 行为与风险评测:AgentBench、AgentBoard、OSWorld、WebArena评测交互、网页和计算机使用;Ruan等(2023)用沙箱识别风险,R-Judge、Agent-SafetyBench以及AgentHarm评测风险工具使用或有害任务完成。
    • 分层防御:StruQ、SecAlign、Spotlighting、Instruction Hierarchy在模型层加强指令分离;信息流控制、Debenedetti等(2025)的设计型防御和Progent执行系统级信息流或权限策略;ToolSafe、Agent-Sentry、AuthGraph等在运行时检查工具行为或授权。

    执行追踪与推理证据

    • 系统溯源:PROV-DM刻画实体、活动与溯源关系;SLEUTH、NoDoze、UNICORN用执行溯源做安全分析。
    • 三类智能体追踪:基于图的方法沿控制流、数据流或显式依赖反向遍历,论文点名Agent-BOM、TraceAegis、AgentArmor;归因方法给token或片段打贡献分,点名PromptLocate、AttnTrace;反事实方法删除或替换上下文,看异常事件是否仍发生,点名NeuroTaint、ARGUS。作者在Section 2称:无参数攻击步骤无法靠参数依赖相连;归因方法联系不到有序攻击链;合法操作也可能被反事实方法报成候选注入源。
    • 推理是否忠实:Chain-of-thought、ReAct和结构表示暴露推理或执行结构。作者引用Turpin等(2023),称生成的推理可能不忠实,因此把抽出的决策关系落地到已执行工具调用。

    基线方法为Codex、OpenClaw,以及Agent-BOM、NeuroTaint、AuthGraph、AgentArmor、ARGUS。基准/数据集为AgentDyn与InjecAgent上成功IPI攻击的执行日志,并混入无IPI的历史日志池。

    作者把AgentTracer放在事后追踪一侧:用任务意图连接分散工具调用,而不是在模型、系统或运行时拦截注入,也不只依赖显式执行依赖、贡献度或反事实干预。

  3. 论文如何解决这个问题?

    AgentTracer用决策依赖建意图执行图,再用授权空间标出漂移边,并从异常事件反向追到注入点。

    AgentTracer把IPI事后追踪做成任务意图与工具调用的对齐。输入是历史执行日志和异常事件;输出是该事件是否归因于IPI,以及攻击链、注入源和注入点。三个模块分别建图、标出漂移边、再按异常事件剪枝回溯。

    日志切片与意图设定

    • 分析单位:从异常事件反向找到最近的用户请求,二者之间的日志称为LogSegment。作者认为IPI展开在这段之内。
    • 意图表示:用户意图是用户请求驱动的工具调用序列。发生IPI后,实际序列中偏离用户意图的调用按序构成攻击者意图。攻击链应包含这些调用,并排除交错的合法调用。
    • 图的角色:一张有向多重图连接入口节点与资源节点。边保存操作:源节点提供决策上下文,目标节点是成功工具调用引入的对象。直接依据用户请求的边从入口节点出发。

    意图执行图

    • 抽资源:每个成功工具记录抽出操作及其引入的数据对象,对象成为资源节点。从外部环境经工具结果进入上下文的节点标为ExternalResource。
    • 抽决策关系:每条推理记录抽出ContextDecisionRel,包含支持决策的源实体、意图操作和期望目标实体。一条推理里有n个工具决策就抽出n条。Figure 3给出一对一、一对多、多对一、多对多四种实体关联。
    • 落地到边:意图操作匹配到成功工具调用后,源实体对到已有资源节点,目标实体对到该调用引入的节点,形成带操作属性的决策落地边。后一边的源节点若是前一边的目标节点,两次调用就通过决策依赖相连。失败调用不进图。

    用户意图对齐

    • 授权空间:UA-Scope由任务帧及其依赖组成。Table 1把动作收成获取、处理、修改、交互四类、11个高层操作类。操作知识库按类提供五类模板:操作边界、前置操作、失败或信息缺失时的后续操作、目标及其授权范围、执行检查点。
    • 两阶段实例化:先从用户请求抽出显式步骤并映射到操作类,再建任务帧。再取回操作知识,补上允许的支撑操作和显式约束。Figure 4用工资汇总请求示例:摘要与发送是主步骤,定位和阅读文件作为前置,执行条件、收件人和载荷限制被写明。
    • 有界动态补全:仅当用户请求明确授权某个上下文实体提供缺失信息时,才抽取它被授权提供的参数或步骤。该实体引用的其他实体不能取得定义新步骤的权限。
    • 三维判定:对已落地的决策关系,沿动作、目标、约束检查它是否为主操作或允许的支撑操作、目标是否在授权范围内、参数和执行约束是否满足。每维取Satisfied、Violated或N/A。单帧聚合为 R(r,f)=Misaligned(任一维为Violated),三维均属于Satisfied或N/A时取Aligned。含义是任一授权冲突即该帧未对齐。与至少一个候选任务帧对齐才标Aligned,否则标Misaligned,并写到由该关系落地的全部边上。

    攻击链回溯与判定

    • 分析范围:用异常事件的操作、目标和可用参数,在历史日志中匹配工具记录。候选按从新到旧分析;某段LogSegment重建出完整IPI攻击链即停止。
    • 图与路径范围:建图时去掉失败工具调用及其推理记录;失败后重规划并成功的,只保留成功执行对应的边。汇点是异常事件引入的资源节点,只沿进入该事件的Misaligned边反向走到没有更早漂移边为止。
    • 是否归因于IPI:汇点没有对应的入Misaligned边,不判为IPI。漂移路径根节点为ExternalResource时判为IPI:根节点为注入源,外部资源进入上下文的日志行是注入点,根到汇的工具调用构成攻击链。根节点不是ExternalResource时,作者称偏离也可能来自误解或执行错误,不判为IPI。全部候选都没有漂移路径,则不把异常事件归因于IPI。
  4. 论文做了哪些实验?

    两数据集各300条上平均注入点准确率94.17%、路径精确率93.56%;对比实验中注入点准确率为94.00%。

    实验设置

    • 攻击日志:只保留成功IPI。AgentDyn有356条,覆盖日常、代码托管、网购,攻击链平均3次工具调用,长度1到8。InjecAgent有936条,在Codex平台复现,覆盖设备控制、金融、代码托管、云存储等。论文未报告生成这些日志的受害模型名称。
    • 噪声:历史日志池来自五个月Codex环境,含1,800条正常用户请求和9,000次无IPI背景工具调用。InjecAgent日志直接并入;AgentDyn日志先规范化再插入。作者称被评攻击链平均约3次调用,背景调用与攻击链调用比约3,000:1。全部追踪都在完整池中进行。
    • 标注与指标:人工标注异常事件、注入点(恶意内容首次进入上下文的日志行)和攻击链工具调用集合。注入源与注入点在该标注下一一对应,只报告注入点准确率。DetectionRate和InjectionAcc的分母都是全部IPI日志数。Coverage、Precision按恢复集合与标注集合的交集计算,不是逐步顺序匹配;未返回链时精确率记0。论文未报告标注一致性。
    • 模型与重复:凡需要LLM的AgentTracer组件和基线都用deepseek-v4-flash。论文未报告重复次数,也未报告更换该模型的结果。
    • 抽样:端到端实验每个数据集随机300条。对比实验另抽100条,标注链平均4次工具调用。消融再用与对比不同的100条。良性实验另取AgentDyn无注入日志100条。

    主结果

    表格较宽,可左右滑动

    数据集N检测率注入点准确率覆盖率精确率
    AgentDyn30098.67%93.33%89.24%91.11%
    InjecAgent30096.00%95.00%91.25%96.00%

    据Table 2。作者报告两数据集平均检测率97.34%、注入点准确率94.17%、路径覆盖率90.25%、路径精确率93.56%,并称端到端追踪有效。

    • 错误来源:作者称一类错误来自自然语言推理记录:LLM可能抽错源实体、目标实体或意图操作,实体别名也可能接到错误节点。
    • 无IPI也会偏离:作者称智能体即使没有IPI也可能偏离用户请求,这类边会被正确标为Misaligned,并形成与攻击链无关的漂移分支;回溯以异常事件为锚来排除这些分支。
    • 读表方式:注入点准确率的分母是全部IPI日志,不是只在已检出样本上计算。两数据集的覆盖率都低于各自精确率,作者未单独解释这一差距。

    与现有方法对比

    对比在另抽的100条链上进行,基线缺完整实现时按已发表算法、提示词和规则复现;ARGUS使用随AgentLure发布的核心组件。据Table 3:

    表格较宽,可左右滑动

    方法检测率注入点准确率覆盖率精确率
    Codex93.00%70.00%46.22%50.98%
    OpenClaw89.00%69.00%44.80%50.20%
    Agent-BOM52.00%43.00%50.92%45.89%
    NeuroTaint98.00%40.00%47.97%91.40%
    AuthGraph100.00%68.00%88.28%75.41%
    AgentArmor99.00%76.00%94.10%53.62%
    ARGUS95.00%70.00%80.28%66.79%
    AgentTracer98.00%94.00%88.07%93.18%
    • 作者给出的提升:作者称相对全部基线,注入点准确率提高18.00–54.00%;摘要写18–54%。相对Codex、OpenClaw,注入点准确率分别高24.00%和25.00%,路径精确率高42.20%和42.98%。
    • 并非每项都最高:作者称AuthGraph检测率更高,但注入点准确率低得多;AgentArmor覆盖率更高,但精确率低得多。作者称AgentTracer在注入点识别和精确重建上综合表现最强。
    • 直接追踪:作者称不用结构化中间表示、直接分析原始日志时,难以连接分散攻击步骤并把它们与无关调用分开。

    模块消融

    另一组100条链上,完整AgentTracer的检测率、注入点准确率、覆盖率、精确率分别为98.00%、91.00%、90.32%、88.66%(Table 4),与Table 3不是同一次抽样。

    • 去掉意图执行图:改为按时间连接相邻工具调用后,四项为78.00%、74.00%、58.54%、80.97%。作者称注入点准确率下降17.00%,路径覆盖率下降31.78%,因为不同任务意图的调用会交错,时间相邻不等于决策相关。
    • 去掉结构化对齐:改为由LLM直接判断边是否漂移后,四项为79.00%、64.00%、57.04%、77.91%。作者称注入点准确率从91.00%降到64.00%,并称自然语言用户请求往往含糊,缺少可靠对齐标准。

    良性任务上的对齐

    • 测什么:100条AgentDyn无注入日志,只建图并对可评估的已落地决策关系做对齐,不做攻击链回溯。共394条可评估执行边。
    • 结果:人工复核中,25条被标Misaligned的边是真实执行偏离,不计误报。排除后,其余369条合法边里13条被误标,边级误报率3.52%。
    • 作者解读:作者称孤立误报边的影响进一步受限,因为只有漂移路径把ExternalResource根节点连到汇点时,才把异常事件归因于IPI。

    其他消融与分析

    • 去掉事件引导剪枝(Table 5,同一消融抽样):全历史LLM分析的四项为97.00%、89.00%、87.29%、85.54%;相对完整方法,分析时间增加30.98%,token消耗增加51.24%。作者称效果接近、成本更高。
    • 跨会话探索(Section 6.1,非正式评测):复现Xie等45例,注入点准确率超过85%。作者称样本量和场景不足以支持一般结论,未纳入正式评测。
  5. 有什么可以进一步探索的点?

    作者称跨会话样本不足以得出一般结论,不直接追踪代码级注入,且无推理记录时效果下降。

    作者指出的局限与后续方向

    • 依赖推理记录(Section 6.1):作者称AgentTracer最适合ReAct或类似的感知–计划–行动–观察循环。没有推理记录的黑盒智能体只能分析工具记录;时间图消融显示缺少推理证据时追踪效果下降。
    • 跨会话持久IPI(Section 6.1):作者称设计可扩展到恶意内容经记忆、配置或其他持久实体影响后续会话的情况。45例的样本量和覆盖场景不足以支持一般结论,作者将更广的持久实体与跨会话追踪评测留作未来工作,且不把该结果计入正式评测。
    • 代码级注入(Section 6.2):作者称目前不直接追踪代码级注入。恶意代码可能改文件、改变环境变量或发出网络请求,而不表现为单独的智能体工具调用。作者讨论可结合系统调用、文件访问和网络活动的系统级追踪来扩展,这不是已完成的集成。
    • 基线实现不完整(Section 6.2):作者称部分对比方法未发布完整实现,因而按已发表算法、提示词和规则复现。作者同时称结论不只依赖这些对比,端到端和消融实验单独评估了AgentTracer及其组件。
    • 工业日志难以原样复现(Section 6.2):作者称长期工业部署会随时间积累大量执行数据,复现其日志环境困难。他们用五个月Codex日志近似,并称在约3,000:1的背景噪声下仍然有效,原因是事件引导剪枝把分析限制在相关日志段和漂移路径上。

    实验覆盖范围

    • 正式端到端评测使用AgentDyn的356条成功攻击日志中的300条,以及InjecAgent在Codex平台复现的936条中的300条,并在含1,800条正常请求、9,000次背景工具调用的历史池中追踪(Section 5.1–5.2、Table 2)。
    • 对比实验为另外100条攻击链,基线是Codex、OpenClaw、Agent-BOM、NeuroTaint、AuthGraph、AgentArmor、ARGUS;消融使用与之不同的100条链(Section 5.3–5.4、Table 3–5)。
    • 良性对齐使用AgentDyn另选的100条无注入日志、394条可评估边;需要LLM的组件和基线均使用deepseek-v4-flash(Section 5.1、5.5)。
    • 地面真值是人工标注的异常事件、注入点和攻击链工具调用集合。论文未报告标注者人数、标注一致性、重复实验次数,也未报告生成攻击日志时受害智能体的模型名称。
    • 正式指标只覆盖产生工具调用的自然语言IPI。Section 6.1的45例跨会话结果由作者排除在正式评测之外;论文未报告更换骨干LLM后的追踪数字。
  6. 总结一下论文的主要内容

    AgentTracer把IPI当意图漂移,用意图执行图和对齐回溯攻击链,平均注入点准确率94.17%。
    • 定位:AgentTracer是面向智能体执行日志的IPI事后追踪框架,目标是在异常工具调用出现后定位注入源、注入点,并重建排除合法交错调用后的攻击链。
    • 问题:恶意指令来自外部资源,可驱动一串没有显式数据依赖的工具调用,且与用户授权操作交替。作者认为只靠控制流、数据流、贡献度或反事实干预,难以恢复这条攻击者意图链。
    • 方法:从推理记录抽出决策关系并落地到成功工具调用,得到意图执行图;用11类操作知识和用户请求实例化授权空间,按动作、目标、约束标出漂移边;再以异常事件为锚做日志段、成功调用和漂移路径三级剪枝,仅当漂移路径根节点是外部资源时判为IPI。
    • 主结果:在混有1,800条正常请求和9,000次背景调用的历史池中,AgentDyn与InjecAgent各300条的平均检测率97.34%、注入点准确率94.17%、路径覆盖率90.25%、路径精确率93.56%(Table 2)。
    • 对比与例外:另100条链上,AgentTracer注入点准确率94.00%、路径精确率93.18%;作者称比基线高18.00–54.00%,但检测率和覆盖率不是表中最高(Table 3)。去掉意图图或结构化对齐后,注入点准确率降到74.00%和64.00%(Table 4)。无注入边上的误报率为3.52%(13/369)。
    • 作者结论:作者称重建出的证据支持事件分析和响应;同时称方法依赖推理记录,不直接追踪代码级注入,跨会话的45例探索也不足以得出一般结论。
阅读原文arxiv.org