TRAP：用于探测 LLM Agent 误绑定的工具结果重放攻击

这篇论文试图解决工具使用智能体中真实未篡改的工具结果发生上下文错误绑定（tool-result misbinding）所引发的安全风险。

• 场景与重要性：在长程与异步智能体工作流中，工具执行结果依赖持久化存储、缓存、消息队列与检查点等运行时组件在步骤间流转，系统正确性要求每个结果必须准确归属于生成它的任务与执行状态。
• 现有研究的不足：现有智能体安全研究主要关注恶意输入内容（如提示注入、中毒工具输出）或执行层失效，未深入探究真实、未修改的合法工具结果被送入不兼容上下文所带来的系统性风险。
• 核心观察与假设：工具结果不仅是简单输出，更是具有上下文约束的执行制品；一旦结果与原始执行上下文脱钩，即便内容真实且未被修改，智能体仍可能将其误信为当前任务的有效证据并采取错误动作。
• 论文的提出：论文形式化了工具结果错误绑定问题，提出了重放攻击基准 ReplayBench 与三项在工具网关实施的运行时有效性校验防御机制。
• 威胁模型：
  • 攻击者目标：诱导目标智能体基于被错误绑定的真实工具结果生成不一致的动作，造成持久的外部状态错误。
  • 攻击者知识与能力：攻击者（或故障运行时组件）在保持内容完整性的前提下，使先前生成的工具结果与错误的执行上下文关联；普通运行时强制检查依然生效，攻击者无法直接绕过动作检查或独立修改外部状态。
  • 受害系统：依赖持久状态、缓存或队列传递工具结果的工具使用智能体系统（如基于 LangGraph、LlamaIndex 或 OpenAI Agents SDK 构建的系统）。

工具使用智能体的安全性

• 多步工具使用风险：Ruan et al. (2024)、Andriushchenko et al. (2025)（AgentHarm）评估了多步工具使用中的安全风险与有害行为。
• 间接提示注入：Zhan et al. (2024)（InjecAgent）、Debenedetti et al. (2024)（AgentDojo）研究了通过外部内容操纵智能体的间接提示注入（IPI）。
• 多阶段与协议安全：Zhang et al. (2025)（Agent Security Bench / ASB）、Zong et al. (2026)（MCP-safetybench）研究了跨越提示、记忆和执行阶段的更广泛攻击。作者指出这些工作确立了工具中介信息流作为核心安全边界，但主要侧重对抗性或损坏的输入内容。

状态、重放与上下文完整性

• 持久记忆与跨任务干扰：Gao et al. (2026)（Mempoison）展示了存储信息在记忆中的持久化对后续行为的影响；Jaye et al. (2026)（Corpgen）研究了长程智能体交错执行中的跨任务干扰。
• 异步调用与重放风险：Shi et al. (2026)（Asynctool）测试了并发任务下的异步工具状态维护；Jing et al. (2025)（MCIP）、Zheng et al. (2026)（Acrfence）研究了MCP系统与检查点恢复中的重放与回滚风险。
• 形式化策略与溯源：Siu et al. (2026)、Wang et al. (2026)、Alvarez et al. (2026)（ProvenanceGuard）、Palumbo et al. (2026)从上下文完整性、执行溯源与运行时策略强制角度形式化了智能体安全。

执行层故障评测与基准

• 模型状态隔离评估：Bazinska et al. (2026)隔离测试了骨干LLM的脆弱状态，但未追踪故障在完整执行流中的端到端传播。

• 基线方法与基准：评测中作为对照的基线防御为 对象ID绑定（Object-ID binding）；对照攻击为附带明确指令的 间接提示注入（IPI）。基准环境为本文构建的涵盖19个应用场景的 ReplayBench。

• 与现有工作的区别：作者指出，不同于聚焦对抗内容注入或孤立模型状态的研究，本文系统性评测真实未修改的工具结果如何跨上下文重放，并分阶段追踪其从交付、动作生成、动作接受到最终状态错误的全传播链路。

论文提出了基于受控重放探查智能体错误绑定的评测基准 ReplayBench，并设计了三项在工具网关实施的运行时有效性校验防御机制。

问题形式化与失效传播

• 错误绑定形式化：设工具调用为 c_s = (f, x_s)，在源上下文 C_s 下生成真实结果 r_s = f(x_s)，绑定函数满足 B(r_s, C_s) = 1。当 r_s 被用于不满足原始绑定的目标上下文 C_t 时，即发生工具结果错误绑定 B(r_s, C_t) = 0。该公式定义了合法结果在不兼容上下文中的语义失效。
• 四阶段失效传播模型：
  1. 结果交付（Result delivery）：源结果在运行时层面被成功传递并对目标上下文中的智能体可见。
  2. 错误动作生成（Wrong action generation）：智能体观察到错误绑定的结果后，生成与目标上下文正确执行不一致的动作。
  3. 动作接受（Action acceptance）：生成的错误动作通过下游执行层的常规检查并被接受执行。
  4. 最终状态错误（Final-state error）：被接受的动作导致持久外部环境状态偏离目标任务的正确结果。

ReplayBench 评测框架设计

• 19个应用场景：覆盖邮件收发（F01）、即时通讯（F02）、日历任务（F03）、云盘分享（F04）、搜索知识库（F05）、电商订单（F06）、银行支付（F07）、差旅物流（F08）、医疗处方（F09）、人力薪酬（F10）、客户支持（F11）、项目审批（F12）、身份隔离（F13）、软件发布（F14）、云运维与数据库（F15）、安全运营（F16）、合规治理（F17）、物联网控制（F18）及政务法律（F19），均提供沙箱化工具与可核验的持久状态。
• 四类失效模版：
  • T01（跨任务错误对象重放）：将任务A生成的合法结果重放到操作不同对象的任务B，违反任务-结果归因。
  • T02（过期上下文重放）：在授权、资源状态或策略发生变化后重用先前有效的结果，违反上下文有效性。
  • T03（重复效应重放）：重放已提交状态变更操作的结果导致操作再次执行，违反幂等性约束。
  • T04（乱序重放）：以不符合状态转移的顺序交付多个真实结果，违反因果时序。
• 三种重放机制：
  • M1（持久化恢复，Durable Recovery）：将源结果持久化至SQLite事件存储，由恢复消费组件读取并交付给目标任务。
  • M2（队列重新交付，Queue Redelivery）：源结果写入出站队列，由服务于目标任务的工作节点出队获取。
  • M3（缓存恢复，Cache Resume）：源结果保存在会话检查点或缓存中，在目标执行恢复时载入。

运行时有效性校验防御机制

• 调用ID绑定（Call-ID binding）：在工具网关为每次待决验证调用分配调用标识符，仅当返回结果的标识符与当前待决调用的标识符匹配时才允许交付，否则在网关层直接拦截。
• 单次票据（One-shot tickets）：允许结果交付给模型，但为每次有效结果签发单次有效凭证；智能体执行状态修改动作时必须提交未使用的凭证，跨会话或已使用的票据会被网关拒绝。
• 世界状态纪元（World-state epochs）：将工具结果与所引用对象的状态世代编号绑定；当外部对象经历撤销、提交或取消等状态转移时纪元自增，动作提交时若纪元不匹配则拒绝执行。

实验设置

• 被测模型：评测覆盖8款LLM，包括 GPT-5.5、GPT-5.6-Sol、GPT-5.6-Luna、Gemini-3.8-Flash、DeepSeek-V4-Pro、GLM-5.3、Qwen3.8-Max 与 Claude-Opus-5。
• 智能体框架：评测使用了3个代表性智能体框架，分别为 LlamaIndex、LangGraph 与 OpenAI Agents SDK。
• 评测场景与基准：主实验T01使用7个代表性场景（邮件、日历、文件、银行、身份、DevOps、安全），全基准扩展至19个场景（涵盖电商、医疗、人力、CRM等）。
• 评测指标：以最终状态错误率（FSER）为主要端到端指标，辅以交付率（DAR）、错误动作率（WAR）和动作接受率（AAR）进行阶段归因；防御评测汇报误拒率（FR）与恢复率（Recov）。
• 评审与验证方式：所有状态变更动作均在本地沙箱中执行，由独立的检查器（independent checker）在执行结束后重新加载持久化状态，对照模版特定的正确性条件判定是否存在最终状态错误，未使用LLM裁判打分。
• 样本量与重复次数：除敏感性实验扩展至 n=30 次外，所有实验配置默认在 n=10 次有效试验上进行评估。

主结果

（注：数值出自 Table 4，基于 5,000 次单元格 bootstrap 重采样计算所得；涵盖全部8款被测模型）

• 全配置错误率高发：据 Table 1，在168个模型-框架-场景配置中，64个配置（38.1%）的 FSER 达到 1.0；全配置平均 FSER 为 0.649；在全基准228个配置中，平均 FSER 达到 0.989（附录 G）。
• 模型主导易感性差异：据 Table 6 方差分解，模型身份解释了 74.2% 的 FSER 变异（η²=0.742），而框架仅解释 0.7%（η²=0.007），三个框架的平均 FSER 聚集在 0.607 至 0.686 之间（Table 5）。
• 失效点定位于动作生成：阶段分析表明 DAR 普遍接近 1.0，AAR 紧密跟随 WAR 与 FSER，说明重放结果几乎均能成功交付，主要分歧在于模型是否将错误绑定的结果作为行动依据。

有状态重放模版（T02–T04）消融

• 测试内容：在云盘文件分享场景（F04）下评估保持对象一致的三种模版（T02 上下文有效性、T03 幂等重复、T04 因果时序），涵盖8款模型与3个框架（共24个配置/模版，Figure 4、附录 E）。
• 实验结果：T02 在 22/24 个配置中 FSER=1.0；T03 与 T04 各在 21/24 个配置中 FSER=1.0（Figure 4）。Qwen3.8-Max 在 T01 跨对象重放下 FSER=0，但在 T02–T04 下 FSER 均升至 1.00。全基准19个场景下，GPT-5.5 在 T02–T04 的 171 个配置中 FSER 均为 1.00（Table 8）。
• 作者解读：作者指出仅维持对象一致无法保证结果有效性，智能体在缺乏上下文绑定的情况下无法识别环境状态或因果顺序的变化。

相似度、新鲜度与环境变更对重放的影响

• 测试内容：以 GPT-5.5 + LlamaIndex 在 T01 下独立控制任务相似度、对象相似度、结果新鲜度可见性及环境变更（Figure 5、Table 10、Table 11、附录 I）。
• 实验结果：邮件场景中高/中任务相似度 FSER 为 0.80–1.00，低相似度降至 0；云盘场景中低任务相似度下 FSER 仍为 1.00；对象相似度与 FSER 无明显关联（Table 10）。高度陈旧结果若显式展示新鲜度字段，WAR、AAR、FSER 从 1.00 降至 0.60，隐式隐藏时为 1.00（Table 11）。隐式环境变更下 FSER 保持 1.00，显式通知授权撤销使 FSER 降至 0.20（Figure 5c）。
• 作者解读：作者认为任务相似度的影响具有场景依赖性，对象相似度无直接关联；显式线索有助于识别失效证据，但模型无法可靠推断时间有效性。

运行时防御措施评估与重放对比 IPI

• 测试内容：评估调用ID绑定、单次票据、世界状态纪元三种防御（GPT-5.5 + LlamaIndex，F01 与 F04 场景，Table 2、Figure 6）；对比真实重放与间接提示注入（IPI，Table 12、Table 13）。
• 实验结果：三种防御均实现 FSER=0、FR=0 且 Recov=1.0（Table 2）。调用ID绑定在交付阶段拦截（DAR=0），单次票据与世界状态纪元允许交付（DAR=1）但在动作接受前拦截（AAR=0）。相比之下，对象ID绑定基线在 T03 重复重放下 FSER=1.0（附录 K）。在 IPI 对比中，DeepSeek-V4-Pro 与 GLM-5.3 在重放下 FSER 为 0.60–1.00，但在 IPI 下 FSER 为 0.00（Table 12）。
• 作者解读：作者指出 FSER=0 来自不同干预点（交付前阻断 vs 变异前拦截）；模型能够拒绝包含明确指令的 IPI 载荷，却仍会采纳未篡改的重放结果，说明对提示注入的鲁棒性不足以防范真实结果错误绑定。

其他消融与分析

• 重放传输机制（Table 7）：GPT-5.5在F01和F04下，M1（持久恢复）、M2（队列重递）、M3（缓存恢复）均达成 DAR=1.0，FSER 为 0.70–1.00。
• 试验次数敏感性（Table 9）：GPT-5.5在n=10与n=30下，邮件FSER由0.80变为0.93，云盘由0.70变为0.87，日历保持1.00；Qwen3.8-Max由0.00微增至0.07。
• 方差分解（Table 6）：模型因素解释了74.2%的FSER方差（η²=0.742），框架仅解释0.7%（η²=0.007），场景解释6.0%（η²=0.060）。

负面结果与例外

• Claude-Opus-5在T01中表现出最低的平均FSER（0.019），但在F04的T02/T04下部分配置仍出现FSER达到0.70–1.00（Figure 4）。
• 显式撤销授权提示未能完全消除错误，FSER仍残留0.20；作者检查发现模型在特定案例中仍直接调用工具而未提及撤销信息（附录 I.3）。
• 对象ID绑定基线在处理同对象重复重放（T03）时完全失效，FSER达到1.0（附录 K）。

作者指出的局限与后续方向

• 重放路径为受控实现：作者指出评测中实现的持久化恢复、队列重递与缓存恢复是代表性重放路径的受控实现，而非三个生产级中间件系统的完全副本（Section 3.1.3、附录 F）。
• 防御仅限于工具网关：作者指出评估的三种运行时防御均直接在工具网关处实施，未改变模型端提示词（Section 4.3、附录 K）。
• 新鲜度线索未列入主协议：作者指出新鲜度元数据字段仅作为受控消融变量引入，未包含在 ReplayBench 的主评测协议中，且显式线索无法可靠杜绝重放滥用（Section 4.2.3、附录 I.2）。
• 呼吁建立显式上下文绑定：作者呼吁在工具使用智能体运行时中建立显式的上下文绑定机制，以确保工具结果在被消费前仍对当前执行有效（Abstract、Section 5）。

实验覆盖范围

• 被测模型与框架：实验覆盖8款LLM（GPT-5.5、GPT-5.6-Sol、GPT-5.6-Luna、Gemini-3.8-Flash、DeepSeek-V4-Pro、GLM-5.3、Qwen3.8-Max、Claude-Opus-5）与3个智能体框架（LlamaIndex、LangGraph、OpenAI Agents SDK）。
• 应用场景覆盖：主实验T01覆盖7个代表性场景，全基准扩展覆盖19个场景。
• 评测样本量：除敏感性实验扩展至n=30外，各配置评测样本量为n=10次有效试验。
• 模版与重放机制：评测包含4种失效模版（T01至T04）与3种受控重放机制（M1、M2、M3）。
• 论文未报告指标：论文未报告生产级分布式中间件的大规模并发复现、网络延迟与吞吐量开销，亦未报告采样温度等生成超参数变动对FSER的影响。

1. 研究定位：该研究针对工具使用智能体系统，提出了探查真实未修改工具结果发生上下文错误绑定的重放攻击研究与评测基准 ReplayBench。
2. 要解决的问题：智能体在长程及异步执行中依赖缓存、队列与恢复组件流转工具结果，当结果脱离原始上下文被误用于其他任务或状态时，智能体会将其误信为有效依据并产生持久外部状态错误。
3. 方法要点：论文形式化了错误绑定并建立四阶段失效传播模型（交付、动作生成、动作接受、状态错误），构建涵盖19个应用场景、4种失效模版与3种重放机制的沙箱化基准，并提出三类网关运行时防御。
4. 主要实验发现：
   • 在T01跨任务重放下，8款LLM与3个框架的平均FSER达0.649（Table 1），全基准平均FSER达0.989（Table 8），其中38.1%的配置出现FSER=1.0。
   • 模型身份解释了74.2%的FSER方差（Table 6），DeepSeek-V4-Pro平均FSER达0.967，而Claude-Opus-5仅为0.019（Table 4）。
   • 在去除跨任务对象差异的T02–T04有状态模版下，各模型在云盘场景的绝大多数配置中FSER仍达到1.00（Figure 4）。
   • 调用ID绑定、单次票据与世界状态纪元防御均将FSER降至0且FR为0、Recov为1.0（Table 2）。
5. 作者结论：作者认为重放失效主要根源在于模型侧的动作生成，单纯对提示注入具有鲁棒性无法防御真实结果的错误绑定，因此智能体运行时必须引入显式的上下文有效性绑定机制。