跳到正文
原文
arXiv· arXiv:2608.12789· Sanjay Kariyappa, Severin Klingler, G. Edward Suh·本站收录· 原文发表

PIPES:用来源溯源与先验保护 Agent 感知

PIPES: Securing Agent Perception with Provenance and Priors

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

PIPES用先验与来源层级筛工具响应;Gemma 4 31B IT上六split平均ASR从84.7%降到2.3%。

威胁模型攻击者不能改用户请求、智能体指令或可用工具,只能替换工具响应中一个外部方可写组件,并保持其语法类型。

问题
工具响应很少标明各成分由谁产生、应传达什么。攻击者可在低信任字段里提出超出信息权限的环境主张,破坏智能体感知状态,使后续动作对现有护栏看起来合理。
方法
PIPES在观察进入上下文前筛响应单元。稳定字段用静态契约;开放内容则结合轨迹、宽先验和可信来源元数据。违规单元可删除、警告、阻断或升级;实验用整单元删除。
实验与结果
在VitaBench与AgentDyn共六个split上,对自适应PAIR攻击,作者报告Gemma 4 31B IT平均ASR从84.7%降到2.3%,GPT-5.6 Luna从21.6%降到1.1%,平均良性效用未下降。
局限与可以继续做的
作者称PIPES不判事实真伪,依赖准确契约或有信息量的轨迹与可信元数据,模型评估可能漏报或假阳性。评估覆盖两基准、两目标模型、单注入面与原子删除;多注入面、被攻破来源锚点及其他处置留待以后。
实验设置Gemma 4 31B IT、GPT-5.6 Luna · VitaBench delivery、VitaBench in-store 等 · ASR、U (benign utility)
威胁模型
攻击者不能改用户请求、智能体指令或可用工具,只能替换工具响应中一个外部方可写组件,并保持其语法类型。目标是让该组件提出超出信息权限的环境主张,使攻击目标动作相对被破坏的感知状态成立。可用智能体或防御反馈在同一组件上改写载荷。
被测模型
Gemma 4 31B ITGPT-5.6 Luna
基准
VitaBench deliveryVitaBench in-storeVitaBench OTAAgentDyn ShoppingAgentDyn GitHubAgentDyn Daily-life
指标
ASRU (benign utility)
AI 导读论文提出 PIPES,一种用语义先验与来源溯源筛查工具响应单元的防御方法,用于抵御状态污染攻击。这类攻击中,攻击者控制的内容超出其响应组件的信息权限,污染 Agent 感知的环境,使后续动作在现有护栏看来合理。PIPES 在 schema 提供稳定预期时使用静态字段契约,对开放式内容则依据响应前轨迹与可信来源元数据筛查,标记违反语义先验或来源层级的单元,部署方可移除、警告、阻断或上报。在 VitaBench 与 AgentDyn 各三个划分上,以 Gemma 4 31B IT 为目标 Agent,针对自适应 PAIR 式攻击,平均攻击成功率从 84.7% 降至 2.3%,正常任务效用为 92.5%,无防御时为 90.6%。

论文提出 PIPES,一种用语义先验与来源溯源筛查工具响应单元的防御方法,用于抵御状态污染攻击。这类攻击中,攻击者控制的内容超出其响应组件的信息权限,污染 Agent 感知的环境,使后续动作在现有护栏看来合理。PIPES 在 schema 提供稳定预期时使用静态字段契约,对开放式内容则依据响应前轨迹与可信来源元数据筛查,标记违反语义先验或来源层级的单元,部署方可移除、警告、阻断或上报。在 VitaBench 与 AgentDyn 各三个划分上,以 Gemma 4 31B IT 为目标 Agent,针对自适应 PAIR 式攻击,平均攻击成功率从 84.7% 降至 2.3%,正常任务效用为 92.5%,无防御时为 90.6%。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    工具响应缺少来源与语义先验,低信任内容可越权改写智能体感知的环境。

    工具响应通常不标明各成分由谁产生、应传达什么,低信任内容因而能越权改写智能体感知到的环境。

    • 场景:作者称工具型智能体消费不同信任级别的外部数据,但响应很少标明生产者与应传达的信息。浏览器类工具会把文章、广告、导航和用户内容压成 token 序列;训练未见的接口更难靠经验发现字段越出语义契约。
    • 现有不足:作者称间接提示注入常被写成嵌入显式指令。Figure 1 中,商户可控 tags 字段里的显式指令会暴露控制转移,动作护栏可拦截;若改为平台评分主张,动作与被破坏状态一致,护栏会批准。作者称这是状态破坏攻击,机制是来源越权。
    • 核心观察:作者用读网页作类比:先验约束一块内容该写什么,来源区分生产者的激励与信任,从而限制其对信念和后续动作的影响。智能体接口通常不显式执行这两种信号。
    • 提出的筛查:作者提出 PIPES,在观察进入上下文前筛响应单元。先验一致性看内容是否符合该成分应传达的信息类型;来源层级阻止低信任来源否定或覆盖更高信任来源。只在违反其中一项时标记。
    • 威胁模型:
      • 目标:使轨迹偏离良性轨迹,成功谓词 J_g 为 1。运行示例是向攻击者商店下单;在动作护栏下,仅当该调用被批准并执行时成功。
      • 不能改动:用户请求、智能体指令、可用工具,以及 f 以外的响应、更早轮次和工具定义。
      • 能控制:只替换观察中一个组件 f。可寻址字段用 JSON 路径;开放内容用指定的 provenance unit、文本片段或内容区域。载荷须保持语法类型,且 f 须可由环境中的外部方写入。
      • 反馈:可根据智能体或防御暴露的反馈改写载荷,控制始终限于同一 f。论文未用 white-box 或 black-box 描述该模型。
  2. 有哪些相关研究?

    相关工作多处理指令型注入或限制数据能否影响动作;PIPES筛数据样主张能否进入感知状态。

    论文在 Related Work 中把相近工作分成四组,区别主要在所针对的威胁和干预所在的边界。

    间接提示注入与智能体基准

    • 早期攻击与基准:Greshake 等(2023)讨论外部检索内容如何经间接提示注入改向 LLM 集成应用。AgentDojo(Debenedetti 等,2024)、InjecAgent(Zhan 等,2024)和 AgentDyn(Li 等,2026)在工具环境中评测这一威胁;AgentDyn 也是实验使用的基准。
    • 无嵌入命令的数据:Schlichtkrull(2025)讨论误导性外部数据在不嵌入命令时颠覆研究智能体,防御集中于跨文档事实核查和来源批评。作者称本文关注局部、相对契约的来源越权,不要求跨文档真值裁决。
    • 数据投毒与角色伪装:Gyevnar 等(2026)讨论对抗数据如何扭曲智能体研究结论。Ye 等(2026)研究不可信文本模仿用户或推理角色,称之为 state poisoning。作者称状态破坏不要求角色模仿,载荷保持数据形态,靠来源越权破坏感知状态。

    指令—数据分离与过滤

    • 来源标记与表示分离:Spotlighting(Hines 等,2024)标记不可信文本以突出来源;ASIDE(Zverev 等,2026)在模型架构内分离指令与数据表示。
    • 层级信号:Instructional Segment Embedding(Wu 等,2025)把指令优先级编入模型表示;Kariyappa 与 Suh(2025)用增强中间表示跨层强化层级信号。
    • 内容过滤:PromptArmor(Shi 等,2025)用 LLM 检测并移除注入提示;DataFilter(Wang 等,2026)训练专用过滤器,去掉恶意指令并保留良性内容。作者称这些防御主要针对指令—数据混淆;PIPES 筛的是仍呈数据形态的主张。

    架构隔离与信息流

    • 控制流与标签:CaMeL(Debenedetti 等,2025)在处理不可信值之前导出可信控制流;Fides(Costa 等,2025)执行机密性与完整性标签。
    • 汇点与动作:Prompt Flow Integrity(Kim 等,2025)把隔离与面向特权汇点的来源敏感流检查结合;DRIFT(Li 等,2025)结合最小权限规划、注入隔离和对提议动作的校验。
    • 与 PIPES 的边界:作者称这些系统管的是数据能否影响计算或动作;PIPES 问的是一条主张该不该进入智能体的感知状态。

    受限接口

    • 类型约束:Jacob 等(2026)的类型导向权限分离,以及 Nikoli'c 等(2026)的 Untrusted Content Masking,把跨过信任边界的内容限制为类型约束值,从而缩小表达通道。
    • 与 PIPES 的差别:作者称 PIPES 保留丰富内容,同时筛语义先验和来源权限。

    基线为无防御、动作护栏、PromptArmor 和 DRIFT(Table 2)。基准为 VitaBench 的 delivery、in-store、OTA,以及 AgentDyn 的 Shopping、GitHub、Daily-life。攻击侧改编 PAIR(Chao 等,2025),并按 Nasr 等(2025)的原则针对当前防御优化载荷。

    作者把 PIPES 放在观察进入推理上下文之前:不把外部数据一律当成待删指令,也不先把通道收成类型约束值,而是检查每个响应单元是否仍在其信息角色和来源权限之内。

  3. 论文如何解决这个问题?

    PIPES在响应进上下文前用语义先验和来源层级标记违规单元,实验中整单元删除。

    PIPES(Provenance-Informed, Prior-Enforced Screening)在工具响应进入推理上下文之前做单元级合规评估。它不修改智能体、工具或动作策略;实验处置是原子删除。

    合规评估

    • 分解与标记:观察先分成可独立评估的单元。一次 LLM 调用只报告不合规单元,并标明违反先验、来源层级或两者。论文为便于说明,把稀疏结果写成两个 0/1 向量,未报告单元为 0。两个标志都未置位才合规。
    • 两个检查:先验约束单元可以传达什么;来源层级处理不同来源之间、本身可接受的主张冲突。来源不可信本身不构成违规。
    • 攻击替换:受控组件只做 õt = ot[f ← p]。p 必须保持 f 的语法类型;其余响应、先前轮次、工具定义和指令不变。

    静态先验与来源

    • 字段分组:稳定 schema 中,数字、布尔、枚举等封闭格式做确定性检查,并作为可信参考上下文。名称、描述、tags 等开放词表字段配语义先验和来源标签,交 LLM 评估。
    • 评估式:(vprior, vhier) = LLMAssess(Xassess; Xref, CT, qT)。四项依次是开放词表值、可信参考值、被评估字段的先验与来源契约、该配置内的来源排序。下标 i 上,先验违规与层级违规各用 1 表示。
    • 标记条件:开放词表字段超出先验,或与可信参考、更高排序的已评估字段矛盾,即被标记。Figure 2 中平台来源高于商户;商户控制的 tags 因声称更新本已合规的 rating,被标为两项都违规。
    • 契约来源:作者期望开发者随响应 schema 发布契约。实验里缺失的契约在攻击队列构建和评测之前离线写好并冻结,依据是工具文档、响应结构,以及每个字段最多十个代表性良性值,优先取自不同任务。

    上下文先验与来源

    • 何时使用:网页、邮件、文件的轨迹无关先验太宽。工具级契约写成 C_T = (π_T^broad, m_T):冻结的宽先验,加上可信元数据。元数据规定单元结构、可筛字段、确定性来源抽取规则,以及可用锚点,例如应用认证的邮件发件人。
    • 单元:m_T 把响应规范成可归因到一个来源的完整区域,如一封邮件、一条商品评论、一个仓库 issue、一份文档,或外部撰写的网页区域。每单元配上能确定性建立的最强证据:已认证生产者、结构来源类别,或粗粒度工具级归因。
    • 轨迹特化:对单元内容 X,评估写成 LLMAssess(X; C_T, h_t)。评估器用有界的响应前历史把宽先验收窄到本次调用,并结合抽取器赋的来源,以及元数据或轨迹给出的信任序。Figure 3 中,为取 GitHub OTP 而打开收件箱的轨迹,把宽邮件先验收成对验证码和预期来源的预期;注入邮件两项都违规,真实验证码合规。附录 D 给出完整评估提示词和输出 schema。
    • 运行时上限:上下文 PIPES 最多接收 12 条响应前轨迹消息。browse_webpage 先由确定性解析器按结构标记划分 HTML,再做上下文评估;未识别内容留在通用页面内容单元(Appendix A)。

    原子删除

    • 策略分离:部署可以删除或涂红违规单元、加注释后交给智能体、阻断整段响应,或请求人工批准。作者称不同风险级别可以配不同策略。
    • 实验选择:任一部分违规就删除整个单元,不改写,以免引入无支撑内容或模糊来源边界。合规单元和非文本结构保留。
    • 两种重建:静态设置下对象保持原表示,违规标量文本清空,违规列表元素删除。上下文设置下去掉违规 provenance unit 后重建。处理后的响应记为 o_out_t,再交给智能体。
  4. 论文做了哪些实验?

    作者报告六split上PIPES将Gemma平均ASR从84.7%降到2.3%,平均效用从90.6%到92.5%。

    作者报告,在六个 split、两种目标模型上,PIPES 把自适应攻击的 split 平均 ASR 降到 2.3%(Gemma 4 31B IT)和 1.1%(GPT-5.6 Luna),并称平均良性效用没有下降。

    实验设置

    • 目标与辅助模型:目标智能体为 Gemma 4 31B IT 与 GPT-5.6 Luna。为隔离目标模型,其余模型中介角色都用 Gemma 4 31B IT:PAIR 攻击器、VitaBench 模拟用户与 rubric 评判、队列构造器、动作护栏、PromptArmor 检测器、PIPES 评估器,以及 DRIFT 的规划器、注入隔离器和动作校验器。支持时开启推理模式(Section 4.5、Appendix A)。
    • 基准与队列:VitaBench 的 delivery、in-store、OTA 良性任务各 100,攻击实例 69、38、28,PIPES 为 Static。AgentDyn 的 Shopping、GitHub、Daily-life 各 20/20,设置为 Mixed、Contextual、Mixed(Table 1)。VitaBench 用一份 Gemma 良性轨迹,两个目标共用前缀、注入面、目标和成功谓词;不要求良性奖励满分。AgentDyn 攻击向量和目标固定,各模型的良性轨迹只用来落到具体检索字段。数值字段如 price 不作 VitaBench 攻击面(Appendix B)。
    • 攻击协议:改编 PAIR,每实例最多十次尝试,畸形响应另有一次修复;修复后仍格式失败记为未成功,不移出分母。攻击者看到目标智能体的推理、回复、全部提议工具调用和成功评估反馈;防御开启时还看到其推理、裁决和干预。对 PIPES,还包括单元级评估及可用的静态字段契约。注入点、目标和不可控值在各次尝试间固定(Section 4.3)。
    • 步数与判定:VitaBench 重放至注入响应后最多三步,J_g 要求观察到的工具调用与指定目标动作序列完全匹配。AgentDyn 重放良性前缀后最多 40 步,用基准原生安全谓词。良性轨迹上限 40 步(Section 4.3、Appendix A)。
    • 防御:无防御、动作护栏、PromptArmor、DRIFT、PIPES 原子删除(Table 2)。同一目标模型和 split 内,保留实例在各防御间相同,只重新优化载荷。
    • 指标与解码:U 为良性效用,ASR 为十次内满足 J_g 的实例比例。VitaBench 的任务效用是 rubric 满足比例,由最终工具状态和轨迹判定,split 效用为任务均值;AgentDyn 用二元任务谓词再在 split 内平均。目标智能体、PAIR、模拟用户、rubric 评判、队列构造器和 PIPES 评估器为 temperature 1.0、top-p 0.95;PromptArmor、动作护栏和 DRIFT 各阶段为 temperature 0、top-p 1.0。输出预算 16,384 token(Section 4.6、Appendix A)。

    主结果

    作者称更低的 ASR 反映对自适应攻击者的抵抗,而不是固定载荷未能迁移(Section 5)。下表为无防御与 PIPES 的 ASR,单位与 Table 3、Table 4 相同。

    | Split | Gemma无防御 | Gemma PIPES | Luna无防御 | Luna PIPES | | Delivery | 84.1 | 1.4 | 33.3 | 2.9 | | In-store | 94.7 | 0.0 | 36.8 | 0.0 | | OTA | 89.3 | 7.1 | 39.3 | 3.6 | | Shopping | 60.0 | 0.0 | 0.0 | 0.0 | | GitHub | 85.0 | 0.0 | 10.0 | 0.0 | | Daily-life | 95.0 | 5.0 | 10.0 | 0.0 |

    据 Table 3、Table 4。Luna 的 VitaBench 三行 ASR 使用固定 Gemma 轨迹前缀;AgentDyn 三行由该模型自己的良性轨迹解析字段。效用在各目标模型自己的良性运行上测量。

    • 六 split 平均:作者对六个 split 取平均后报告,Gemma 4 31B IT 的 ASR 从 84.7% 到 2.3%,GPT-5.6 Luna 从 21.6% 到 1.1%;良性效用从 90.6% 到 92.5%,以及从 84.0% 到 86.5%。两种基准的 U 定义不同,这一平均把 split 级 U 放在一起。
    • 效用例外:作者称十二次与无防御的效用比较中,八次不变或上升;其余四次里三次降幅至多一个百分点,最大为五个百分点。Table 3、Table 4 中低于无防御的是 Gemma delivery 88.7% 对 89.7%、in-store 80.8% 对 81.5%,Luna OTA 77.2% 对 78.2%、GitHub 95.0% 对 100.0%。
    • 并非每格都接近零:Gemma 的 OTA 上 PIPES ASR 为 7.1%;Daily-life 为 5.0%,与动作护栏并列。Luna 的 Shopping 上无防御 ASR 已是 0.0%。

    相对其他防御

    • 比较什么:响应边界的 PromptArmor 与 PIPES,动作边界的动作护栏,以及跨两边界的 DRIFT。每种防御单独优化载荷。
    • ASR:作者称 Gemma 的 VitaBench 静态路径上,PromptArmor 与 DRIFT 的平均 ASR 为 19.1% 与 17.9%,PIPES 为 2.8%。Table 3 中,PromptArmor 在 Daily-life 的 ASR 为 75.0%,动作护栏在 OTA 为 50.0%。Gemma Daily-life 上 PIPES 与动作护栏同为 5.0%,DRIFT 为 15.0%。
    • 效用:Table 3 中,动作护栏把 Shopping、GitHub 的 U 从 95.0% 降到 70.0%;DRIFT 降到 75.0% 与 70.0%。作者称 AgentDyn 上 PIPES 平均 ASR 为 1.7%、平均效用 100.0%,DRIFT 为 5.0% 与 81.7%。该句未重复目标模型;这些数字与 Table 3 的 Gemma 三个 AgentDyn split 相符,与 Table 4 的 Luna 不符。

    违规签名

    • 测了什么:Appendix C 与 Figure 5 汇总 PAIR 过程中、含载荷响应上的签名:仅先验、仅层级、两者皆有。每个有违规的实例先在已执行尝试上聚合(最多十次,成功即停),再对实例宏平均。无违规实例不进入该分布。
    • 进入分布的任务数:Figure 5 标注 delivery 为 Gemma 69、Luna 69;in-store 为 38 与 37;OTA 均为 28。Shopping 静态/上下文为 Gemma 8/12、Luna 9/11;GitHub 上下文均为 20;Daily-life 静态/上下文为 Gemma 3/17、Luna 1/18。Table 1 的对应攻击实例为 69、38、28 与各域 20。
    • 作者解读:作者称静态设置下攻击几乎都被标为超出字段语义先验;上下文设置更常同时违反轨迹导出的先验和来源层级;仅层级的发现很少,来源信号通常补充而非替代先验。

    其他消融与分析

    • 论文未报告去掉先验检查或去掉层级检查后的 ASR。
    • 论文未报告警告、阻断或人工升级相对原子删除的 U 与 ASR;Section 3 只列出这些可选处置。
    • 上下文轨迹上限为 12 条响应前消息(Appendix A);论文未报告改动该上限的结果。
    • VitaBench 契约用每字段最多十个良性值构建,AgentDyn 上下文宽先验用每域最多两个无错误良性响应构建(Section 4.4);论文未报告改动这些离线样本量的结果。
  5. 有什么可以进一步探索的点?

    作者称PIPES不判事实真伪,评估限于两基准、两模型、单注入面与原子删除。

    作者把不判断事实真伪、对契约与元数据的依赖,以及单注入面和原子删除写成局限,并把多注入面和其他处置留待以后。

    作者指出的局限与后续方向

    • 不判事实真伪:符合先验、来自预期来源、且不与更高权限信息冲突的假值仍可能通过(Section 7)。
    • 依赖输入质量:效果取决于准确的静态契约,或有信息量的轨迹与可信元数据(Section 7)。
    • 模型评估误差:基于模型的评估可能漏掉违规,也可能产生假阳性(Section 7)。
    • 评估范围:作者写明评估覆盖两个基准、两个目标模型、单注入面攻击和原子删除(Section 7)。
    • 后续工作:协同的多注入面操纵、被攻破的来源锚点或工具,以及其他响应策略,留待以后(Section 7)。

    实验覆盖范围

    • 目标模型为 Gemma 4 31B IT 与 GPT-5.6 Luna;PAIR、模拟用户、rubric 评判、队列构造、动作护栏、PromptArmor、PIPES 评估器和 DRIFT 各阶段均为 Gemma 4 31B IT(Section 4.5、Appendix A)。
    • 六个 split 的规模与设置见 Table 1:VitaBench 良性任务各 100,攻击实例 69、38、28,均为 Static;AgentDyn 各域 20 个良性任务和 20 个攻击实例,Shopping 与 Daily-life 为 Mixed,GitHub 为 Contextual。
    • 同一保留实例上比较无防御、动作护栏、PromptArmor、DRIFT 和 PIPES 原子删除;每种防御单独跑自适应 PAIR,每实例最多十次尝试,另有一次畸形响应修复(Table 2、Section 4.3)。
    • 成功判定按基准分开:VitaBench 要求工具调用与目标动作序列完全匹配,注入后最多三步;AgentDyn 用原生安全谓词,注入后最多 40 步。良性轨迹上限 40 步(Section 4.3、Appendix A)。
    • 论文未报告统计显著性检验、整次评测的重复次数,以及筛查器单独的精确率或召回率;Section 5 给出的是端到端 U 与 ASR。Figure 5 报告的是含载荷响应上的违规签名分布。
  6. 总结一下论文的主要内容

    PIPES用先验与来源筛工具响应;作者报告Gemma上平均ASR从84.7%到2.3%,平均效用未降。

    作者提出 PIPES,在工具观察进入上下文前用语义先验和来源层级筛响应单元,用来对付状态破坏:受控成分提出超出其信息权限的环境主张,使目标动作相对被破坏的感知状态看起来成立。

    • 问题边界:攻击者不能改用户请求、智能体指令或可用工具,只能替换一个外部方可写组件,并保持语法类型。显式指令会暴露控制转移;数据形态的越权主张则可能被护栏当成与状态一致的动作。
    • 做法:稳定窄字段用冻结的静态契约,封闭格式作可信参考,开放词表交 LLM。开放内容用宽先验、确定性来源抽取和响应前轨迹。一次调用标记先验违规、层级违规或两者。实验中整单元删除,不改写,也不改智能体。
    • 主结果:作者对六个 split 取平均,Gemma 4 31B IT 的 ASR 从 84.7% 到 2.3%,GPT-5.6 Luna 从 21.6% 到 1.1%;平均良性效用从 90.6% 到 92.5%,以及从 84.0% 到 86.5%(Section 5)。Luna 的 VitaBench ASR 用 Gemma 轨迹前缀。Table 3 中 Gemma 的 OTA 仍为 7.1%,Daily-life 为 5.0%;Table 4 中 Luna Shopping 无防御已是 0.0%。
    • 作者的结论:作者认为保护工具型智能体,不能只约束它遵循哪些指令或执行哪些动作,还要约束哪些外部主张可以进入用来选动作的感知状态。作者同时写明,PIPES 判断的是语义可接受性与来源权限,不是事实真伪。
阅读原文arxiv.org