PIPES: Protecting Agent Perception with Provenance and Priors

工具响应通常不标明各成分由谁产生、应传达什么，低信任内容因而能越权改写智能体感知到的环境。

• 场景：作者称工具型智能体消费不同信任级别的外部数据，但响应很少标明生产者与应传达的信息。浏览器类工具会把文章、广告、导航和用户内容压成 token 序列；训练未见的接口更难靠经验发现字段越出语义契约。
• 现有不足：作者称间接提示注入常被写成嵌入显式指令。Figure 1 中，商户可控 tags 字段里的显式指令会暴露控制转移，动作护栏可拦截；若改为平台评分主张，动作与被破坏状态一致，护栏会批准。作者称这是状态破坏攻击，机制是来源越权。
• 核心观察：作者用读网页作类比：先验约束一块内容该写什么，来源区分生产者的激励与信任，从而限制其对信念和后续动作的影响。智能体接口通常不显式执行这两种信号。
• 提出的筛查：作者提出 PIPES，在观察进入上下文前筛响应单元。先验一致性看内容是否符合该成分应传达的信息类型；来源层级阻止低信任来源否定或覆盖更高信任来源。只在违反其中一项时标记。
• 威胁模型：
  • 目标：使轨迹偏离良性轨迹，成功谓词 J_g 为 1。运行示例是向攻击者商店下单；在动作护栏下，仅当该调用被批准并执行时成功。
  • 不能改动：用户请求、智能体指令、可用工具，以及 f 以外的响应、更早轮次和工具定义。
  • 能控制：只替换观察中一个组件 f。可寻址字段用 JSON 路径；开放内容用指定的 provenance unit、文本片段或内容区域。载荷须保持语法类型，且 f 须可由环境中的外部方写入。
  • 反馈：可根据智能体或防御暴露的反馈改写载荷，控制始终限于同一 f。论文未用 white-box 或 black-box 描述该模型。

论文在 Related Work 中把相近工作分成四组，区别主要在所针对的威胁和干预所在的边界。

间接提示注入与智能体基准

• 早期攻击与基准：Greshake 等（2023）讨论外部检索内容如何经间接提示注入改向 LLM 集成应用。AgentDojo（Debenedetti 等，2024）、InjecAgent（Zhan 等，2024）和 AgentDyn（Li 等，2026）在工具环境中评测这一威胁；AgentDyn 也是实验使用的基准。
• 无嵌入命令的数据：Schlichtkrull（2025）讨论误导性外部数据在不嵌入命令时颠覆研究智能体，防御集中于跨文档事实核查和来源批评。作者称本文关注局部、相对契约的来源越权，不要求跨文档真值裁决。
• 数据投毒与角色伪装：Gyevnar 等（2026）讨论对抗数据如何扭曲智能体研究结论。Ye 等（2026）研究不可信文本模仿用户或推理角色，称之为 state poisoning。作者称状态破坏不要求角色模仿，载荷保持数据形态，靠来源越权破坏感知状态。

指令—数据分离与过滤

• 来源标记与表示分离：Spotlighting（Hines 等，2024）标记不可信文本以突出来源；ASIDE（Zverev 等，2026）在模型架构内分离指令与数据表示。
• 层级信号：Instructional Segment Embedding（Wu 等，2025）把指令优先级编入模型表示；Kariyappa 与 Suh（2025）用增强中间表示跨层强化层级信号。
• 内容过滤：PromptArmor（Shi 等，2025）用 LLM 检测并移除注入提示；DataFilter（Wang 等，2026）训练专用过滤器，去掉恶意指令并保留良性内容。作者称这些防御主要针对指令—数据混淆；PIPES 筛的是仍呈数据形态的主张。

架构隔离与信息流

• 控制流与标签：CaMeL（Debenedetti 等，2025）在处理不可信值之前导出可信控制流；Fides（Costa 等，2025）执行机密性与完整性标签。
• 汇点与动作：Prompt Flow Integrity（Kim 等，2025）把隔离与面向特权汇点的来源敏感流检查结合；DRIFT（Li 等，2025）结合最小权限规划、注入隔离和对提议动作的校验。
• 与 PIPES 的边界：作者称这些系统管的是数据能否影响计算或动作；PIPES 问的是一条主张该不该进入智能体的感知状态。

受限接口

• 类型约束：Jacob 等（2026）的类型导向权限分离，以及 Nikoli'c 等（2026）的 Untrusted Content Masking，把跨过信任边界的内容限制为类型约束值，从而缩小表达通道。
• 与 PIPES 的差别：作者称 PIPES 保留丰富内容，同时筛语义先验和来源权限。

基线为无防御、动作护栏、PromptArmor 和 DRIFT（Table 2）。基准为 VitaBench 的 delivery、in-store、OTA，以及 AgentDyn 的 Shopping、GitHub、Daily-life。攻击侧改编 PAIR（Chao 等，2025），并按 Nasr 等（2025）的原则针对当前防御优化载荷。

作者把 PIPES 放在观察进入推理上下文之前：不把外部数据一律当成待删指令，也不先把通道收成类型约束值，而是检查每个响应单元是否仍在其信息角色和来源权限之内。

PIPES（Provenance-Informed, Prior-Enforced Screening）在工具响应进入推理上下文之前做单元级合规评估。它不修改智能体、工具或动作策略；实验处置是原子删除。

合规评估

• 分解与标记：观察先分成可独立评估的单元。一次 LLM 调用只报告不合规单元，并标明违反先验、来源层级或两者。论文为便于说明，把稀疏结果写成两个 0/1 向量，未报告单元为 0。两个标志都未置位才合规。
• 两个检查：先验约束单元可以传达什么；来源层级处理不同来源之间、本身可接受的主张冲突。来源不可信本身不构成违规。
• 攻击替换：受控组件只做 õ_t = o_t[f ← p]。p 必须保持 f 的语法类型；其余响应、先前轮次、工具定义和指令不变。

静态先验与来源

• 字段分组：稳定 schema 中，数字、布尔、枚举等封闭格式做确定性检查，并作为可信参考上下文。名称、描述、tags 等开放词表字段配语义先验和来源标签，交 LLM 评估。
• 评估式：(v_prior, v_hier) = LLMAssess(X_assess; X_ref, C_T, q_T)。四项依次是开放词表值、可信参考值、被评估字段的先验与来源契约、该配置内的来源排序。下标 i 上，先验违规与层级违规各用 1 表示。
• 标记条件：开放词表字段超出先验，或与可信参考、更高排序的已评估字段矛盾，即被标记。Figure 2 中平台来源高于商户；商户控制的 tags 因声称更新本已合规的 rating，被标为两项都违规。
• 契约来源：作者期望开发者随响应 schema 发布契约。实验里缺失的契约在攻击队列构建和评测之前离线写好并冻结，依据是工具文档、响应结构，以及每个字段最多十个代表性良性值，优先取自不同任务。

上下文先验与来源

• 何时使用：网页、邮件、文件的轨迹无关先验太宽。工具级契约写成 C_T = (π_T^broad, m_T)：冻结的宽先验，加上可信元数据。元数据规定单元结构、可筛字段、确定性来源抽取规则，以及可用锚点，例如应用认证的邮件发件人。
• 单元：m_T 把响应规范成可归因到一个来源的完整区域，如一封邮件、一条商品评论、一个仓库 issue、一份文档，或外部撰写的网页区域。每单元配上能确定性建立的最强证据：已认证生产者、结构来源类别，或粗粒度工具级归因。
• 轨迹特化：对单元内容 X，评估写成 LLMAssess(X; C_T, h_t)。评估器用有界的响应前历史把宽先验收窄到本次调用，并结合抽取器赋的来源，以及元数据或轨迹给出的信任序。Figure 3 中，为取 GitHub OTP 而打开收件箱的轨迹，把宽邮件先验收成对验证码和预期来源的预期；注入邮件两项都违规，真实验证码合规。附录 D 给出完整评估提示词和输出 schema。
• 运行时上限：上下文 PIPES 最多接收 12 条响应前轨迹消息。browse_webpage 先由确定性解析器按结构标记划分 HTML，再做上下文评估；未识别内容留在通用页面内容单元（Appendix A）。

原子删除

• 策略分离：部署可以删除或涂红违规单元、加注释后交给智能体、阻断整段响应，或请求人工批准。作者称不同风险级别可以配不同策略。
• 实验选择：任一部分违规就删除整个单元，不改写，以免引入无支撑内容或模糊来源边界。合规单元和非文本结构保留。
• 两种重建：静态设置下对象保持原表示，违规标量文本清空，违规列表元素删除。上下文设置下去掉违规 provenance unit 后重建。处理后的响应记为 o_out_t，再交给智能体。

作者报告，在六个 split、两种目标模型上，PIPES 把自适应攻击的 split 平均 ASR 降到 2.3%（Gemma 4 31B IT）和 1.1%（GPT-5.6 Luna），并称平均良性效用没有下降。

实验设置

• 目标与辅助模型：目标智能体为 Gemma 4 31B IT 与 GPT-5.6 Luna。为隔离目标模型，其余模型中介角色都用 Gemma 4 31B IT：PAIR 攻击器、VitaBench 模拟用户与 rubric 评判、队列构造器、动作护栏、PromptArmor 检测器、PIPES 评估器，以及 DRIFT 的规划器、注入隔离器和动作校验器。支持时开启推理模式（Section 4.5、Appendix A）。
• 基准与队列：VitaBench 的 delivery、in-store、OTA 良性任务各 100，攻击实例 69、38、28，PIPES 为 Static。AgentDyn 的 Shopping、GitHub、Daily-life 各 20/20，设置为 Mixed、Contextual、Mixed（Table 1）。VitaBench 用一份 Gemma 良性轨迹，两个目标共用前缀、注入面、目标和成功谓词；不要求良性奖励满分。AgentDyn 攻击向量和目标固定，各模型的良性轨迹只用来落到具体检索字段。数值字段如 price 不作 VitaBench 攻击面（Appendix B）。
• 攻击协议：改编 PAIR，每实例最多十次尝试，畸形响应另有一次修复；修复后仍格式失败记为未成功，不移出分母。攻击者看到目标智能体的推理、回复、全部提议工具调用和成功评估反馈；防御开启时还看到其推理、裁决和干预。对 PIPES，还包括单元级评估及可用的静态字段契约。注入点、目标和不可控值在各次尝试间固定（Section 4.3）。
• 步数与判定：VitaBench 重放至注入响应后最多三步，J_g 要求观察到的工具调用与指定目标动作序列完全匹配。AgentDyn 重放良性前缀后最多 40 步，用基准原生安全谓词。良性轨迹上限 40 步（Section 4.3、Appendix A）。
• 防御：无防御、动作护栏、PromptArmor、DRIFT、PIPES 原子删除（Table 2）。同一目标模型和 split 内，保留实例在各防御间相同，只重新优化载荷。
• 指标与解码：U 为良性效用，ASR 为十次内满足 J_g 的实例比例。VitaBench 的任务效用是 rubric 满足比例，由最终工具状态和轨迹判定，split 效用为任务均值；AgentDyn 用二元任务谓词再在 split 内平均。目标智能体、PAIR、模拟用户、rubric 评判、队列构造器和 PIPES 评估器为 temperature 1.0、top-p 0.95；PromptArmor、动作护栏和 DRIFT 各阶段为 temperature 0、top-p 1.0。输出预算 16,384 token（Section 4.6、Appendix A）。

主结果

作者称更低的 ASR 反映对自适应攻击者的抵抗，而不是固定载荷未能迁移（Section 5）。下表为无防御与 PIPES 的 ASR，单位与 Table 3、Table 4 相同。

| Split | Gemma无防御 | Gemma PIPES | Luna无防御 | Luna PIPES | | Delivery | 84.1 | 1.4 | 33.3 | 2.9 | | In-store | 94.7 | 0.0 | 36.8 | 0.0 | | OTA | 89.3 | 7.1 | 39.3 | 3.6 | | Shopping | 60.0 | 0.0 | 0.0 | 0.0 | | GitHub | 85.0 | 0.0 | 10.0 | 0.0 | | Daily-life | 95.0 | 5.0 | 10.0 | 0.0 |

据 Table 3、Table 4。Luna 的 VitaBench 三行 ASR 使用固定 Gemma 轨迹前缀；AgentDyn 三行由该模型自己的良性轨迹解析字段。效用在各目标模型自己的良性运行上测量。

• 六 split 平均：作者对六个 split 取平均后报告，Gemma 4 31B IT 的 ASR 从 84.7% 到 2.3%，GPT-5.6 Luna 从 21.6% 到 1.1%；良性效用从 90.6% 到 92.5%，以及从 84.0% 到 86.5%。两种基准的 U 定义不同，这一平均把 split 级 U 放在一起。
• 效用例外：作者称十二次与无防御的效用比较中，八次不变或上升；其余四次里三次降幅至多一个百分点，最大为五个百分点。Table 3、Table 4 中低于无防御的是 Gemma delivery 88.7% 对 89.7%、in-store 80.8% 对 81.5%，Luna OTA 77.2% 对 78.2%、GitHub 95.0% 对 100.0%。
• 并非每格都接近零：Gemma 的 OTA 上 PIPES ASR 为 7.1%；Daily-life 为 5.0%，与动作护栏并列。Luna 的 Shopping 上无防御 ASR 已是 0.0%。

相对其他防御

• 比较什么：响应边界的 PromptArmor 与 PIPES，动作边界的动作护栏，以及跨两边界的 DRIFT。每种防御单独优化载荷。
• ASR：作者称 Gemma 的 VitaBench 静态路径上，PromptArmor 与 DRIFT 的平均 ASR 为 19.1% 与 17.9%，PIPES 为 2.8%。Table 3 中，PromptArmor 在 Daily-life 的 ASR 为 75.0%，动作护栏在 OTA 为 50.0%。Gemma Daily-life 上 PIPES 与动作护栏同为 5.0%，DRIFT 为 15.0%。
• 效用：Table 3 中，动作护栏把 Shopping、GitHub 的 U 从 95.0% 降到 70.0%；DRIFT 降到 75.0% 与 70.0%。作者称 AgentDyn 上 PIPES 平均 ASR 为 1.7%、平均效用 100.0%，DRIFT 为 5.0% 与 81.7%。该句未重复目标模型；这些数字与 Table 3 的 Gemma 三个 AgentDyn split 相符，与 Table 4 的 Luna 不符。

违规签名

• 测了什么：Appendix C 与 Figure 5 汇总 PAIR 过程中、含载荷响应上的签名：仅先验、仅层级、两者皆有。每个有违规的实例先在已执行尝试上聚合（最多十次，成功即停），再对实例宏平均。无违规实例不进入该分布。
• 进入分布的任务数：Figure 5 标注 delivery 为 Gemma 69、Luna 69；in-store 为 38 与 37；OTA 均为 28。Shopping 静态/上下文为 Gemma 8/12、Luna 9/11；GitHub 上下文均为 20；Daily-life 静态/上下文为 Gemma 3/17、Luna 1/18。Table 1 的对应攻击实例为 69、38、28 与各域 20。
• 作者解读：作者称静态设置下攻击几乎都被标为超出字段语义先验；上下文设置更常同时违反轨迹导出的先验和来源层级；仅层级的发现很少，来源信号通常补充而非替代先验。

其他消融与分析

• 论文未报告去掉先验检查或去掉层级检查后的 ASR。
• 论文未报告警告、阻断或人工升级相对原子删除的 U 与 ASR；Section 3 只列出这些可选处置。
• 上下文轨迹上限为 12 条响应前消息（Appendix A）；论文未报告改动该上限的结果。
• VitaBench 契约用每字段最多十个良性值构建，AgentDyn 上下文宽先验用每域最多两个无错误良性响应构建（Section 4.4）；论文未报告改动这些离线样本量的结果。

作者把不判断事实真伪、对契约与元数据的依赖，以及单注入面和原子删除写成局限，并把多注入面和其他处置留待以后。

作者指出的局限与后续方向

• 不判事实真伪：符合先验、来自预期来源、且不与更高权限信息冲突的假值仍可能通过（Section 7）。
• 依赖输入质量：效果取决于准确的静态契约，或有信息量的轨迹与可信元数据（Section 7）。
• 模型评估误差：基于模型的评估可能漏掉违规，也可能产生假阳性（Section 7）。
• 评估范围：作者写明评估覆盖两个基准、两个目标模型、单注入面攻击和原子删除（Section 7）。
• 后续工作：协同的多注入面操纵、被攻破的来源锚点或工具，以及其他响应策略，留待以后（Section 7）。

实验覆盖范围

• 目标模型为 Gemma 4 31B IT 与 GPT-5.6 Luna；PAIR、模拟用户、rubric 评判、队列构造、动作护栏、PromptArmor、PIPES 评估器和 DRIFT 各阶段均为 Gemma 4 31B IT（Section 4.5、Appendix A）。
• 六个 split 的规模与设置见 Table 1：VitaBench 良性任务各 100，攻击实例 69、38、28，均为 Static；AgentDyn 各域 20 个良性任务和 20 个攻击实例，Shopping 与 Daily-life 为 Mixed，GitHub 为 Contextual。
• 同一保留实例上比较无防御、动作护栏、PromptArmor、DRIFT 和 PIPES 原子删除；每种防御单独跑自适应 PAIR，每实例最多十次尝试，另有一次畸形响应修复（Table 2、Section 4.3）。
• 成功判定按基准分开：VitaBench 要求工具调用与目标动作序列完全匹配，注入后最多三步；AgentDyn 用原生安全谓词，注入后最多 40 步。良性轨迹上限 40 步（Section 4.3、Appendix A）。
• 论文未报告统计显著性检验、整次评测的重复次数，以及筛查器单独的精确率或召回率；Section 5 给出的是端到端 U 与 ASR。Figure 5 报告的是含载荷响应上的违规签名分布。

作者提出 PIPES，在工具观察进入上下文前用语义先验和来源层级筛响应单元，用来对付状态破坏：受控成分提出超出其信息权限的环境主张，使目标动作相对被破坏的感知状态看起来成立。

• 问题边界：攻击者不能改用户请求、智能体指令或可用工具，只能替换一个外部方可写组件，并保持语法类型。显式指令会暴露控制转移；数据形态的越权主张则可能被护栏当成与状态一致的动作。
• 做法：稳定窄字段用冻结的静态契约，封闭格式作可信参考，开放词表交 LLM。开放内容用宽先验、确定性来源抽取和响应前轨迹。一次调用标记先验违规、层级违规或两者。实验中整单元删除，不改写，也不改智能体。
• 主结果：作者对六个 split 取平均，Gemma 4 31B IT 的 ASR 从 84.7% 到 2.3%，GPT-5.6 Luna 从 21.6% 到 1.1%；平均良性效用从 90.6% 到 92.5%，以及从 84.0% 到 86.5%（Section 5）。Luna 的 VitaBench ASR 用 Gemma 轨迹前缀。Table 3 中 Gemma 的 OTA 仍为 7.1%，Daily-life 为 5.0%；Table 4 中 Luna Shopping 无防御已是 0.0%。
• 作者的结论：作者认为保护工具型智能体，不能只约束它遵循哪些指令或执行哪些动作，还要约束哪些外部主张可以进入用来选动作的感知状态。作者同时写明，PIPES 判断的是语义可接受性与来源权限，不是事实真伪。