Skip to content

Translation in progress Some entries still include text in the original language.

arXiv:越狱、提示注入、投毒与防御· arXiv:2610.06966· Xinran Zheng, Xin Fan Guo, Zhiqiang Hao, Fan Yang, Xingzhi Qian, Jiawei Du, Jinfeng Xu, Zheng Xing, Shuo Yang, Xingjun Wang·Indexed by this site · Originally publishedSelectedAttention53

APEX: proactively defending against indirect prompt injection at the LLM agent execution boundary.

APEX: Active Protection at Execution Boundaries for LLM Agents

Quick read

Defenses

Based on 论文 PDF (Gemini 生成); refer to the original

APEX在执行边界基于预编译授权契约与探针防御间接提示注入,在5个基准上取得0% ASR,在SkillInject上为0.56%。

Threat model间接提示注入威胁模型,攻击者通过注册界面注入任意内容以操纵智能体行为或状态,仅覆盖经由注册接口的外部生效操作,受信任任务、注册表与防御本身受信任。

Questions
针对包含Tool、MCP与Skill的异构LLM智能体,间接提示注入可通过多样载体与多步骤组合触发外部危害,基于攻击模式识别或追踪中间推理的防御难以覆盖。
Methods
将异构能力单元做一次性注册,在执行前把受信任任务编译为授权契约有向无环图;运行时通过WRAR进行反向追溯与正向证据解析,配合PLANT在依赖路径布设欺骗性探针,并在执行边界拦截未经授权的动作或未背书的信息采用,拦截后通过控制器安全恢复。
Experiments and results
在6个基准上对比13种基线,APEX在5个基准上取得0% ASR,在SkillInject上为0.56% ASR;在针对3类能力单元的自适应攻击下保持0% ASR,且在3种防御大模型底座下均保持接近0% ASR。
Limitations and future work
仅在不可信内容执行前编译授权契约,依赖用户请求的保真度,模棱两可或未充分指定的请求可能生成过度限制的契约;任务若主动将决策委托给外部内容则无法提前完整表达;PLANT依赖探针不破坏正常任务语义,无法建立良性保持放置时会弃权;对无状态或单次调用的评测更易表达,长视距复杂目标与分支的编译仍具挑战。
Experimental setupDeepSeek-V4-Flash、GLM-5.2 et al. · AgentDojo、ASB-OPI et al. · ASR、BU et al.
Evaluated models
DeepSeek-V4-FlashGLM-5.2GPT-5.6-sol
Benchmarks
AgentDojoASB-OPIMCPToxMSBSkillInjectSCR-bench
Metrics
ASRBUAU
AI summaryand selection rationaleResearchers propose APEX, shifting indirect prompt injection defense from recognizing attack patterns to checking every action to be executed at the execution boundary, i.e., where the agent converts internal state into external actions or released outputs. APEX compiles the user task into an authorization contract before untrusted content arrives, and reads it with two mechanisms: WRAP only lets through actions and parameters that can be proven authorized based on the contract and runtime evidence, while PLANT places probes on dependency channels endorsed by the contract, so that information not endorsed by the task is exposed when used. The method requires only a single task-agnostic registration per capability unit, and the same mediation logic uniformly applies to Tool, MCP, and Skill calls, including nested calls. Compared against 13 baselines on six benchmarks covering three types of capability units, APEX achieves a 0% attack success rate on five of them, 0.56% on the sixth, and maintains a 0% attack success rate under adaptive attacks targeting all three types of capability units. Code has been released.

Researchers propose APEX, shifting indirect prompt injection defense from recognizing attack patterns to checking every action to be executed at the execution boundary, i.e., where the agent converts internal state into external actions or released outputs. APEX compiles the user task into an authorization contract before untrusted content arrives, and reads it with two mechanisms: WRAP only lets through actions and parameters that can be proven authorized based on the contract and runtime evidence, while PLANT places probes on dependency channels endorsed by the contract, so that information not endorsed by the task is exposed when used. The method requires only a single task-agnostic registration per capability unit, and the same mediation logic uniformly applies to Tool, MCP, and Skill calls, including nested calls. Compared against 13 baselines on six benchmarks covering three types of capability units, APEX achieves a 0% attack success rate on five of them, 0.56% on the sixth, and maintains a 0% attack success rate under adaptive attacks targeting all three types of capability units. Code has been released.

Why it was selectedAPEX 把间接提示注入的防护从识别攻击模式转到执行边界,用授权契约同时约束越权动作与未背书信息使用,并给出跨 Tool、MCP、Skill 的评测数据。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    在LLM智能体执行边界拦截由异构能力单元和组合攻击引入的未经授权动作与未背书信息使用。

    间接提示注入(IPI)通过多样化载体与复合能力调用入侵LLM智能体并在执行边界造成不可信外部危害的问题。

    • 场景与重要性:LLM智能体已从单纯的工具调用演化为融合Tools、MCP服务器与Skills的异构执行环境,攻击载体随之倍增,攻击可通过多步看似合法的调用组合隐蔽触发,外部危害均在智能体将内部状态转化为外部动作或释放输出的执行边界发生。
    • 现有防御不足:内容层防御假定恶意内容可与良性文本分离,易被看似正常任务文本的注入绕过;任务对齐方法难以区分正常依赖外部信息与受攻击驱动;策略驱动方法难以约束参数是如何计算生成的;溯源与污点追踪易在LLM推理改写中丢失标签,且难以在不透明推理中重建权威。
    • 核心观察与假设:攻击无论如何传播,只有在越过执行边界时才会造成外部后果;依据背书完整性原则,执行边界的安全性取决于两点:该效果是否获得任务授权,以及到达该效果的运行时信息是否获得任务背书。
    • 威胁模型:
      • 攻击者目标:通过注册界面注入任意内容,操纵智能体行为或持久化状态,诱发未经授权的操作或未背书的参数篡改。
      • 攻击者知识与能力:属于间接提示注入威胁模型,攻击者可向已注册接口返回任意内容(如污染的网页、邮件、工具元数据、Skill文件等),但无法绕过注册接口直接触发外部效果。
      • 受害系统:基于LLM构建并挂载Tools、MCP服务器、Skills等异构能力单元的主任务智能体。
      • 成功判定与信任边界:受害系统信任用户任务请求、能力注册表和防御组件本身;攻击成功定义为智能体通过注册接口执行了攻击者指定的恶意操作或参数修改。
    • 提出方案:提出APEX主动防御框架,在执行前将受信任任务编译为单一授权契约,并在执行边界结合证据门控防御(WRAP)与欺骗式暴露(PLANT)协同拦截违规效果。
  2. What related research exists?

    梳理了内容过滤、任务对齐、策略控制、数据溯源及蜜罐防御,指出其缺乏执行边界统一判定。

    论文将相关工作主要分为提示注入防御的多个流派及智能体新型威胁:

    基于内容的防御与输入过滤

    • Spotlighting (Hines et al., 2024) 与指令分层训练 (Wallace et al., 2024; Chen et al., 2025a,b; Piet et al., 2024) —— 通过标记分隔符或微调模型区分特权指令与非特权内容。论文指出此类方法假定恶意内容与良性内容在入口处可分,面对表述为任务相关文本的注入时会失效。
    • Guard模型与分类器 (Liu et al., 2024, 2025; Inan et al., 2023) —— 对输入文本进行有害性筛查。

    运行时任务对齐与因果分析防御

    • Task Shield (Jia et al., 2025)、MELON (Zhu et al., 2025) 与 AttriGuard (He et al., 2026) —— 分别基于目标贡献度打分、中性提示词重放检测、以及抑制观察控制信号来判断动作是否由用户任务驱动。论文指出当合法任务本身依赖工具返回信息时,此类依据局部驱动因果的信号会将正常依赖误判为攻击。

    策略驱动与规范约束系统

    • Progent (Shi et al., 2025)、ClawGuard (Zhao et al., 2026b)、DRIFT (Li et al., 2025a) 与 IPIGuard (An et al., 2025) —— 动态生成策略程序、访问约束或函数执行轨迹清单。论文指出它们虽限制了调用的权限或图结构,但未说明参数具体应由哪个来源通过何种计算产生,攻击者仍可在允许的动作内塞入恶意参数。

    数据流溯源与隔离防御

    • CaMeL (Debenedetti et al., 2025)、Costa et al. (2025) —— 通过组件隔离或污点传播防止不可信数据影响决策;AgentArmor (Wang et al., 2025b)、FAVA (Zhang et al., 2026b)、AuthGraph (Wang et al., 2026b) —— 从运行轨迹重建图结构并检验参数。论文指出依赖模型自身推理重建的图和标签易受污染轨迹干扰。

    蜜罐与欺骗式防御

    • AgentShield (Rassul & Rashid, 2026)、HoneyTrap (Li et al., 2026a) —— 放置良性执行不需要触碰的蜜罐诱饵。论文指出其放置依赖启发式规则而非任务契约,攻击者识别诱饵后可直接绕过。

    基线方法与基准数据集

    • 对比基线:涵盖Spotlighting、Tool Filter、TaskShield、MELON、CaMeL、DRIFT、Progent、AgentShield、MCPGuard、StackOne Defender、Pipelock、ClawGuard、Dynamic Guardian共13种方法。
    • 评测基准:AgentDojo、Agent Security Bench (ASB-OPI)、MCPTox、MCP Security Bench (MSB)、SkillInject、SCR-bench。

    与本文定位区别:作者称以往防御依赖特定信号且随攻击面扩大而脆弱,APEX转向执行边界这一危害必然显现的唯一关口,在不可信内容到达前固化任务授权契约,统一评判动作合法性与信息背书。

  3. How does the paper address this problem?

    通过预编译DAG授权契约,在执行边界以WRAP验证参数证据、PLANT检测探针并实现安全恢复。

    APEX通过在不可信输入前固化授权契约,并在执行边界协同实施证据门控与欺骗暴露,整体架构包括三个阶段:

    受信任能力注册

    • 统一能力抽象:将Tools、MCP方法和Skill接口统一注册为五元组 M(u) = (Σinu, Σoutu, χobsu, χeffu, Su),说明输入输出模式、是否产生可观测结果或外部效果(χeffu = 1),以及运行时暴露表面 Su。
    • 一次性与任务无关:注册表在环境初始化时生成并跨任务复用,保守标记外部效果;嵌套调用也通过注册接口暴露并独立介导。

    任务编译与授权契约

    • 契约图构建:在不可信内容输入前,将受信任任务 q 与 M 编译为有向无环图契约 Cq。节点为条款,边为背书依赖关系。
    • 条款类型:
      1. 获取条款(Acquire):cacq = (uc; xc),从已注册能力获取数据;
      2. 派生条款(Derive):cdrv = (c′1, …, c′m; δc; xc),通过关系 δc 约束输出;
      3. 条件条款(Conditional):ccond = (c′1, …, c′m; opc; xc),通过预定义算子计算输出;
      4. 效果条款(Effect):ceff = (ac, {(k, Jc,k)}k ∈ Kc),规定被授权动作与参数证明。
    • 契约固化:编译完成后契约的拓扑结构、算子与条款不可变,具体值等待运行时证据填充。

    执行边界主动防护机制

    • 证据门控防护(WRAP):针对未授权动作与参数类风险 Aauth,反向追溯条款依赖,正向依据凭证(receipts)解析证据,判定规则为: Rej_{C_q}(R, e) \Longleftrightarrow e \not\models \Sigma^{in}_u \lor \nexists c^{eff} \in C_q : a_e = a_c \land K_e \subseteq K_c \land \forall k \in K_e, v_k \in \llbracket J_{c,k} \rrbracket_{R,x} 该判定式表明提议的效果只有在其动作匹配效果条款、参数集合包含于合法集合且每个参数均能从契约及运行时凭证严格重构时才被准入。
    • 欺骗式暴露防护(PLANT):针对授权动作内未背书信息流风险 Ainfl,分析依赖路径,在观察层(改写未背书片段或插入合成元素)、依赖层与底座层布设携带唯一令牌的探针,判定规则为: Hit(R_e, e) \Longleftrightarrow (\exists (o, k) \in O_e \times K_e : o \preceq v_k) \lor (\exists (s, r) \in S_e \times R_e : s \preceq r) 该判定式表明若观察探针出现在提议参数或输出中,或底座探针在调用凭证中被触碰,即证明未背书信息被采用并触发拦截。
    • 准入准则:提议在 ¬ Rej ∧ ¬ Hit 时准予执行。

    安全恢复与状态清洗

    • 确定性修复(Repair):当动作匹配但参数错误且无探针触发时,从存活绑定重新确定性推导正确参数。
    • 重规划(Replan):当探针被触碰或无法确定性修复时,剥离受污染凭证及其下游推导,将受信任状态和存活凭证移交全新上下文的子智能体继续执行,重试次数严格受限。
    • 中止(Abort):当重试配额耗尽或同因重复违规时终止分支,确保不扩大授权边界。
  4. What experiments did the paper conduct?

    在6个基准上对比13种基线,5个基准达成0% ASR,自适应攻击下均保持0% ASR。

    实验设置

    • 被测模型:主实验任务智能体与防御智能体均采用 DeepSeek-V4-Flash;附录泛化实验中任务智能体固定为 DeepSeek-V4-Flash,防御智能体额外测试了 GLM-5.2 与 GPT-5.6-sol;评测裁判模型采用 GPT-5.4。
    • 数据集/基准:
      • Tool场景:AgentDojo(97个良性任务,629个攻击案例)与 ASB-OPI(51个良性任务,2,040个攻击案例);
      • MCP场景:MCPTox(357个干净任务,1,348个攻击案例)与 MSB(622个攻击案例);
      • Skill场景:SkillInject(180个攻击案例)与 SCR-bench(667个攻击案例,含CapFlow 150例、AuthBlur 116例、TrustLift 401例)。
    • 基线方法:Spotlighting、Tool Filter、TaskShield、MELON、CaMeL、DRIFT、Progent、AgentShield、MCPGuard、StackOne Defender、Pipelock、ClawGuard、Dynamic Guardian 共13种基线。
    • 评价指标:良性效用(BU,%)、攻击效用(AU,%)、攻击成功率(ASR,%)。
    • 评审与执行协议:使用各基准公开评测集与评测协议,不引入人机交互(人工审批预算设为0)。

    主结果

    各防御方法在6个基准上的主要表现如下表所示(据 Table 1、Figure 3、Figure 4、Table 8):

    Swipe horizontally to read the table

    Benchmark指标Undefended最佳基线 (方法名)APEX出处
    AgentDojoBU / AU / ASR (%)88.66 / 73.77 / 17.0194.85 / 86.96 / 0.16 (Spotlighting)86.60 / 80.29 / 0.00Table 1
    ASB-OPIBU / AU / ASR (%)88.24 / 71.23 / 59.8047.06 / 38.04 / 9.80 (DRIFT)90.20 / 85.05 / 0.00Table 1
    MCPToxBU / AU / ASR (%)69.19 / 41.25 / 36.2051.54 / 52.23 / 0.07 (MCPGuard)66.67 / 75.52 / 0.00Fig. 3 / Tab. 3
    MSBBU / AU / ASR (%)N/A / 90.60 / 48.71N/A / 74.22 / 11.41 (MCPGuard)N/A / 96.39 / 0.00Figure 3
    SkillInjectBU / AU / ASR (%)82.22 / 83.33 / 28.8953.33 / 58.33 / 5.56 (TaskShield)81.11 / 78.89 / 0.56Fig. 4 / Tab. 3
    SCR-benchBU / AU / ASR (%)95.50 / 91.45 / 86.2131.94 / 13.61 / 22.50 (ClawGuard)96.40 / 99.85 / 0.00Table 8
    • 攻击防御效果:作者称APEX在6个基准中有5个实现0% ASR,仅在SkillInject上出现0.56% ASR(Table 1、Fig. 3、Fig. 4)。
    • 任务效用保持:在维持极低ASR的同时,APEX在ASB-OPI上达到90.20% BU和85.05% AU,在SCR-bench上达到96.40% BU和99.85% AU,优于部分发生严重效用衰退的基线(如ClawGuard在SCR上BU仅31.94%)。

    自适应攻击评测

    • 测试设置:采用针对工具的AutoDojo、针对MCP的MCP-ITP及针对Skill的SkillJect自适应攻击(Table 2、Table 7)。
    • 测试结果:在ASB-OPI子集(n=400)上,未防御模型ASR从41.00%升至86.25%,APEX保持0.00% ASR;在MCPTox子集(n=455)上,未防御模型ASR达53.85%,APEX保持0.00% ASR;在SkillInject子集(n=44)上,未防御模型ASR达47.73%,APEX保持0.00% ASR;在MSB子集(n=212)和SCR-Bench子集(n=150)上,APEX同样保持0.00% ASR。
    • 作者解读:作者称APEX在所有三种能力单元类型的自适应攻击下均维持0% ASR,展现了对防御感知型攻击的鲁棒性。

    防御组件消融实验

    据 Table 3 对 ASB-OPI、MCPTox 和 SkillInject 的消融结果:

    • 去除 PLANT:ASB-OPI 上 ASR 保持 0.00%;MCPTox 上 ASR 从 0.00% 升至 6.45%;SkillInject 上 ASR 从 0.56% 升至 3.33%。
    • 去除 WRAP:ASB-OPI 上 ASR 从 0.00% 升至 57.60%;MCPTox 上 ASR 升至 4.15%;SkillInject 上 ASR 升至 2.22%。
    • 去除 Safe Continuation:ASB-OPI 的 AU 从 85.05% 降至 62.20%;MCPTox 的 AU 从 75.52% 降至 48.15%;SkillInject 的 AU 从 78.89% 降至 77.78%。

    复合攻击与跨底座泛化分析

    • SCR复合攻击子集(Table 8):APEX 在 CapFlow、AuthBlur 和 TrustLift 三个子集上的 ASR 均为 0.00%,AU 分别为 99.33%、100.00% 和 100.00%。
    • 防御大模型底座替换(Table 6):固定 DeepSeek-V4-Flash 为任务智能体,将防御模型替换为 GLM-5.2 时,SkillInject ASR 为 2.78%,SCR-bench 为 1.20%,其余基准均为 0.00%;替换为 GPT-5.6-sol 时,SkillInject ASR 为 0.56%,其余5个基准均为 0.00%。
    • 失败案例与误差归因(Table 9、附录 I.2):在全部 5,486 个攻击案例中,效用错误 813 例(其中 597 例属于智能体能力局限未完成任务,34 例为契约编译错误,218 例为 WRAP 假阳性拦截,322 例为恢复失败);PLANT 假阳性为 0 例。SkillInject 上的唯一 1 例防御失败(0.56% ASR)属于未违背任何显式契约而在写作风格中偏向特定实体的 Uq 类残余风险。
  5. What are some points that can be further explored?

    局限在于契约保真度依赖、动态委托支持不足及长视距编译挑战;实验覆盖3种模型与6个基准。

    作者指出的局限与后续方向

    • 依赖受信任输入与契约编译保真度:保护效果取决于契约与用户请求的一致性,模棱两可或未充分指定的请求可能生成过度限制的契约,作者提出在编译前澄清授权可有所助益(Section 5)。
    • 无法直接表达动态委托决策的任务:对于“执行此邮件中的待办事项”这类故意将决策委托给外部内容的任务,无法在执行前完全静态表达,支持此类任务需要受控的重新授权机制(Section 5)。
    • PLANT探针覆盖范围受限于良性语义保持:PLANT仅在能证明不破坏良性行为的表面放置探针,无法建立中性保证时必须弃权并退回仅由WRAP保护(Section 5)。
    • 残余风险要求特定任务内容约束:当攻击既符合授权效果又符合背书的信息依赖时(即 Uq 类残留),属于授权表达层面的间隙,需由用户或特定任务安全策略提供更精细的意图规范(Section 5、附录 I.2)。
    • 长视距复杂任务契约编译的挑战:针对长视距任务,准确编译复杂目标、依赖关系和条件分支存在挑战,且缺乏能有效攻击现代模型智能体的长视距安全基准(Section 5)。

    实验覆盖范围

    • 被测模型数量:主实验固定采用 DeepSeek-V4-Flash,跨防御模型测试仅评估了 GLM-5.2 与 GPT-5.6-sol 共3个模型,裁判模型仅使用 GPT-5.4。
    • 评测基准与案例数:覆盖 AgentDojo(629例)、ASB-OPI(2,040例)、MCPTox(1,348例)、MSB(622例)、SkillInject(180例)、SCR-Bench(667例)共5,486个攻击案例。
    • 自适应攻击测试子集:自适应攻击仅在符合构造条件的子集上开展测试,覆盖 ASB-OPI 的 400 例、MCPTox 的 455 例、MSB 的 212 例、SkillInject 的 44 例及 SCR-Bench 的 150 例;AutoDojo 在 AgentDojo 上的自适应测试因效果不明显未报告。
    • 交互设置限制:所有实验均为非交互式评估,人工审批预算均设为 0,未测试包含人类在环审批的场景。
    • 未报告信息:论文未报告运行时的真实物理耗时(仅报告了 Token 开销与 LLM 调用次数)。
  6. Summarize the main content of the paper

    APEX在执行边界基于预编译授权契约实施证据门控与欺骗探针,在多基准上达成近零ASR。

    APEX 针对集成 Tools、MCP 与 Skills 的 LLM 智能体面临的间接提示注入威胁,提出将防御收敛至动作与输出最终交付的执行边界。

    • 问题与思路:攻击载体与组合路径繁复多变,但外部危害仅在执行边界生效;APEX 不试图在不透明推理中跟踪攻击模式,而是在不可信内容输入前,将受信任任务与注册能力编译为包含条款与依赖的有向无环图授权契约。
    • 核心机制:通过 WRAP 依据运行时凭证反向追溯与正向重构参数,拦截未经授权的动作与未证明参数;通过 PLANT 在依赖链路上投放带唯一令牌的观察、依赖与底座探针,令未背书的信息使用自发暴露;拦截后由非智能体控制器执行状态清洗、修复或重规划。
    • 主要实验结果:在 6 个基准上,APEX 在 AgentDojo、ASB-OPI、MCPTox、MSB 和 SCR-bench 上的 ASR 均为 0.00%,在 SkillInject 上为 0.56%;在 3 种针对性自适应攻击下保持 0.00% ASR;在 SCR-bench 复合攻击中取得 96.40% BU 与 99.85% AU。
    • 作者结论与启示:作者认为执行边界保护能够统一应对异构能力单元及其复合攻击,摆脱对特定攻击载体模式或污点追踪的依赖;对于动作与依赖均合规但内容产生偏见的语义残余风险,需结合更高精度的意图规范与安全策略进行治理。
Read originalarxiv.org