跳到正文
原文
arXiv:越狱、提示注入、投毒与防御· arXiv:2609.34245· Anmol Pandey·本站收录· 原文发表

研究者提出面向结构化 Agent 动作的多源完整性认证方法

Certified Multi-Source Integrity for Structured Agent Actions

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者为多源结构化动作设计认证器;五模型支付实验中均未观察到不安全执行,但保证依赖认证与抽取假设。

威胁模型攻击者知道 certifier、corpus 和 policy,可腐化至多 k 个 control domains,任意改写其影响的证据并生成记录或副本,目标是不正确执行或迫使弃权;不能伪造未控制域的来源身份。

问题
结构化支付需要从多份可被污染的证据中确定收款人、账户和金额。作者认为,来源信任标签不能认证值的正确性,重复发布的证据也不能直接当作独立支持。
方法
认证器隔离抽取各来源,按认证控制域计票,并用最小击中集处理共享上游依赖。冗余字段用一致或唯一阈值规则,互补字段用约束核对,单源字段用可信锚;所有字段通过才执行。
实验与结果
五模型支付实验的认证不安全率均为0%(Table 1),这是观测结果。真实数据中,多源支持占少数;Figure 2中的npm和PyPI表面第三见证在合并共享GitHub来源后消失。
局限与可以继续做的
作者列出四项局限:未测试完全自适应的实时模型攻击者、计数是上界代理、保证依赖可信计算基假设、多源支持稀少。逐字段实现也可能比联合认证器更常弃权(附录A)。
实验设置Claude Opus 4.8、GPT-5.5 等 · OpenSanctions consolidated sanctions collection、npm packages 等 · injection following、naive unsafe rate 等
被测模型
Claude Opus 4.8GPT-5.5Gemini 3.1 ProGemini 3.5 FlashClaude Haiku 4.5
基准
OpenSanctions consolidated sanctions collectionnpm packagesPyPI packagespayment agent loopmodel-free harness
指标
injection followingnaive unsafe ratefalse-abstentioncertified unsafe rateutilitymapped-domain countattacker success rate
AI 导读论文提出一种面向 LLM 智能体结构化动作的多源完整性认证器,用于抵御间接提示注入篡改动作关键字段。该方法要求每个字段满足其证据结构支持的规则:在腐败可区分的证据类别上设定有界腐败半径并以最小命中集计数,避免重复发布或洗白副本凑出多数;对互补字段做确定性调和;证据仅剩单一来源时引入可信锚点。作者形式化两种鲁棒性概念,通过消融验证各机制,并在制裁名单(70,966 个实体)与软件供应链溯源(450 个包)上测量多源前提的成立频率,发现真实佐证在上界代理下均为少数现象,朴素证明计数会高估独立性。

论文提出一种面向 LLM 智能体结构化动作的多源完整性认证器,用于抵御间接提示注入篡改动作关键字段。该方法要求每个字段满足其证据结构支持的规则:在腐败可区分的证据类别上设定有界腐败半径并以最小命中集计数,避免重复发布或洗白副本凑出多数;对互补字段做确定性调和;证据仅剩单一来源时引入可信锚点。作者形式化两种鲁棒性概念,通过消融验证各机制,并在制裁名单(70,966 个实体)与软件供应链溯源(450 个包)上测量多源前提的成立频率,发现真实佐证在上界代理下均为少数现象,朴素证明计数会高估独立性。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者研究如何在有限来源腐化下,认证结构化动作的值,而不只检查来源是否可信。

    核心问题是:多份证据可能被污染或共享上游时,智能体何时可以安全执行结构化动作?

    • 应用场景:支付动作包含收款人、金额和账户。作者指出,间接提示注入可使模型抽取攻击者指定的值,生成格式正确但内容错误的动作。
    • 现有方法:作者认为,来源信任或授权检查回答的是数据能否流入动作;RobustRAG认证自由文本答案质量,且按段落计数,不能直接覆盖共享来源下的耦合动作。
    • 核心观察:证据数量不等于独立腐化数量。多份转载或同域生成的原始记录,不能为一个事实制造额外票数。
    • 威胁模型:
      • 目标与知识:攻击者知道认证器、语料和策略,试图诱使错误执行或迫使弃权。
      • 控制能力:可腐化至多k个control domains,任意设置受影响证据的值,并生成任意数量的原始记录或副本。
      • 边界:不能伪造未控制域的来源标识;可信用户意图预先固定交易对象和授权约束。
      • 受害系统:提出特权结构化动作的智能体,以及决定执行或弃权的认证器;实时模型实验以支付为对象。
    • 提出的方案:作者给出安全执行的联合可行性条件,并实现按字段类型认证的准入门,同时测量真实语料中所需多源支持的可获得性。
  2. 有哪些相关研究?

    作者将方案定位为依赖感知的动作值认证,区别于来源授权、文本认证和注入检测。

    相关工作围绕来源授权、检索认证、注入检测与记忆安全展开。

    来源授权与信息流

    • CaMeL(2026)与FIDES(2025):前者从可信查询附加能力,后者要求后果性调用的每个输入均为高完整性。作者认为,它们检查来源而非值的正确性。
    • PCAS(2026)与AuthGraph(2026):前者把授权策略编译为参考监控器,后者对齐参数来源图和干净上下文授权图。
    • 理论背景:作者将上述系统联系到控制流完整性(2005)和信息流控制(1977),将本方案联系到Byzantine quorum voting(1982)。

    检索认证与上下文归因

    • RobustRAG(2024):隔离检索段落并聚合答案,认证有限注入段落下的答案质量。作者称,本方案改为按共享依赖下的控制域计数,并认证分类型动作字段。
    • ARGUS(2026):分析单个观察中哪个片段产生了参数。作者称其动机相近,但本方案关注多个来源对值的支持及其腐化余量。

    检测与持久记忆

    • MELON(2025)与Task Shield(2025):论文将其归为通过行为一致性检测注入的方法,与认证腐化预算相区分。
    • Memory injection、AgentPoison、MemoryGraft:论文引用这些工作说明持久记忆也是攻击面。
    • MemLineage(2026):拒绝具有不可信祖先的动作。作者将其归为追溯问题,而本方案处理重复证据制造票数的问题。

    实验对照与基准

    • 基线方法:合成多源支付环境比较CaMeL/FIDES-style capability gating与PCAS-style policy monitor;另在model-free harness比较action-gating与provenance-only代理基线。
    • AgentDojo(2024):作者称其每个事实仅有一个来源,因此不能提供本认证器需要的交叉支持,未将其作为本方案的运行基准。

    作者将区别定位为:从共享依赖推导有效选民集合,再认证动作值;Table 6的维度比较是作者针对本方案目标的定位,不是总体系统排名。

  3. 论文如何解决这个问题?

    认证器按控制域而非记录计票,并为冗余、互补和单源字段分别设置准入规则。

    Certified Multi-Source Integrity把认证器放在动作执行前:逐来源隔离抽取,按字段规则决定准入,任何字段不通过便弃权并升级给人工(Figure 1)。

    固定动作对象与证据身份

    • 可信义务骨架Γ:读取不可信证据前,由可信用户意图固定操作、交易键、必需关系、合格来源、目的地、金额上限和策略版本。证据只能填开放值,不能改换被认证的交易。
    • 来源绑定:每份证明绑定不可伪造的控制域身份,并携带provenance root。副本继承来源根,但票数最终按控制域计算,因为同一域也能生成多个不同根的原始记录。

    计算共享依赖下的支持

    每份证明有依赖集合D(att):腐化其中任一域便影响该证明。腐化不同性计数定义为 m=min{|X|:X∩ D(atti)≠∅ for all i},即消除全部支持至少需要腐化多少域(Definition 2)。

    • 共享来源:转载上游指定的名单,或同属GitHub的构建证明和仓库回指,不能直接算作独立见证。
    • 计算实现:先处理必须选取的单域覆盖,再精确求解剩余问题;剩余域超过22时回退到贪心。附录B提醒,贪心给出上界,会高估半径,部署必须采用精确值或下界。

    按字段结构决定准入

    • 一致或升级:身份类字段要求必需的腐化不同类齐全,且规范化后的值全部一致;否则弃权。
    • 唯一阈值:值字段仅在某值至少获得N−k票,且只有它达到阈值时准入。独立域下,精确值容忍条件为N>2k;一般共享依赖情形需按预算可影响的证明数b_k调整。
    • 确定性核对:金额与授权订单及容差核对,约束可支付上限;这认证的是授权边界,不是发票金额本身的真值。
    • 可信锚:单源账户要求银行账户名匹配且出现在onboarding allowlist。其安全性依赖预算外可信锚,不属于多源半径保证。

    联合定理与逐字段实现

    安全执行的联合条件是 Fk={a}:满足Γ、且所有字段分歧可由同一个预算内腐化集合解释的动作只有一个(Theorem 1)。作者在附录A用不可区分世界论证其安全性及最大存活性。

    逐字段唯一准入可组合成安全动作,但可能比联合规则多弃权;最大存活性属于联合认证器,不能直接赋予部署实现。论文还区分精确值容忍与允许弃权的安全性,后者允许正确值或弃权。

    可信计算基与抽取

    • 四项假设:来源认证不可伪造;账户名注册表和allowlist可信;交易join key可信;未受影响证据被正确抽取并确定性规范化。
    • 共同故障域:模型、提示词、规范化器和提供商是共享抽取域。隔离来源不消除系统性解析错误或恶意提供商;附录B只采样检验抽取故障,没有证明来源间独立。
  4. 论文做了哪些实验?

    五模型支付实验未观察到认证器错误执行;真实语料计数和模型自由攻击分别检验适用前提与逻辑。

    实验分开检验聚合机制、真实多源覆盖、实时模型支付和模型自由自适应攻击。

    实验设置

    • 被测模型:Claude Opus 4.8、GPT-5.5、Gemini 3.1 Pro、Gemini 3.5 Flash、Claude Haiku 4.5,经OpenRouter运行。
    • 支付协议:k=1;N=3和N=5各每模型80个episode。前者47攻击、33干净,后者54攻击、26干净;固定种子语料相同,总计约4,000次模型调用(附录B)。
    • 真实语料:OpenSanctions有70,966个指定实体;npm有450个包,来自20个根的依赖闭包;另测300个PyPI包(Section 4)。
    • 基线:全文件共同读取的naive agent;独立对照运行的capability gating和policy monitor;模型自由环境的action-gating与provenance-only。
    • 指标与判定:认证动作偏离唯一正确动作即为不安全;金额、账户和收款人按规范形式比较。注入跟随率来自污染来源的隔离调用,朴素不安全率来自另一次整体调用;未报告LLM评审模型。
    • 其他预算:Figure 3每模型80个episode,其中44攻击、36干净,13个为新收款人;自适应环境2,000个worlds;Table 4每格4,000个对抗配置。未报告独立重复运行次数。

    主结果

    据Table 1:支付N=5、k=1;每模型54个攻击episode、26个干净episode。前三个率列中的攻击指标以攻击episode为条件,误弃权以干净episode为条件。

    表格较宽,可左右滑动

    模型隔离调用注入跟随率朴素不安全率干净误弃权率认证不安全率
    Claude Opus 4.80%0%3.8%0%
    GPT-5.5100%72%0%0%
    Gemini 3.1 Pro100%100%0%0%
    Gemini 3.5 Flash100%98%0%0%
    Claude Haiku 4.5100%100%0%0%
    • 调用区别:GPT-5.5的隔离与整体调用行为不同;附录B称相关整体回答均解析成功。认证器只用隔离抽取,不消费整体提案。
    • 作者解读:作者称N=3一致规则将污染转为安全弃权,N=5唯一阈值规则恢复正确值。Section 5报告后者攻击弃权为0至6%,但未逐模型列出这些值。
    • 证据性质:附录B明确,零是观测计数,不是实验本身给出的证明;模板和模型家族相关,汇总零不是一次统计检验的结果。

    真实多源覆盖与共享来源

    • 制裁实体:Table 2控制域列中,单域为74.6%,至少两域为25.4%,至少三域为14.9%,至少四域为11.7%;均基于70,966个实体,是腐化不同性的上界代理。
    • 软件来源:Figure 2标注450个npm包的16.4%、300个PyPI包的32.3%表面具有三个见证;图中文字将构建证明与仓库回指合并为GitHub域,没有包达到三个域。
    • 替换检测:Section 4报告注册表单域替换时,多源支持包均出现分歧;认证恶意来源为0 of 450,信任注册表的基线每次接受。该机制提供安全弃权,而非两域下的精确值恢复。

    防御对照与自适应攻击

    • 模型对照:Figure 3的Haiku 4.5运行中,朴素智能体、能力门控、策略监控、认证器的“不安全率/效用”分别为100%/45%、0%/0%、18%/29%、0%/98%。仅使用图中文字标注,不据柱高推断。
    • 新收款人:Section 6报告认证器支付100%,策略监控为0%;附录B给出每模型该组n=13。此对照使用代理防御逻辑,作者未部署完整CaMeL、FIDES或PCAS系统。
    • 模型自由自适应:white-box攻击者在2,000个worlds中未迫使认证器不安全执行。Table 7中认证器仅对vendor substitution正确执行,其余五类弃权;两个代理基线各只挡住一类,另外五类不安全。

    抽取器共同故障检查

    • 协议与结果:附录B测150个episode,N=5、k=1,其中96攻击、54干净;五个单模型配置加一个每源不同模型配置,每配置654次诚实来源读取。
    • 共同错误代理:每配置未观察到诚实来源输出攻击者值,也未观察到两个诚实来源同意同一错误值;作者报告该代理事件率界低于2%,不跨配置汇总,也未估计错误相关性。
    • 规范化例外:西里尔收款人名转写率从两个Gemini的0%到Opus的7.5%;没有不安全执行。Opus一致转写而未弃权,Haiku不一致转写导致4%弃权(附录B)。

    其他消融与分析

    • 交易键:Table 3单腐化类下,删除join key使amount-splice成功率100%;完整配置0%。
    • 账户与必需来源:Table 3删除account policy使mule acct.成功率100%;删除mandatory source使omission成功率100%。
    • 计数与认证:Table 3删除atomic-claim使laundering不安全认证率100%;删除authentication使Sybil不安全认证率100%。
    • 一般预算:Table 4的k=1、2、3分别在N≥3、5、7时,每个抽样配置均认证正确;其他N>k格存在安全弃权。
    • 票身份:Table 5在k=1、N=2、两个原始记录时,per root认证错误值,per domain弃权;N=3、两个原始记录时,前者弃权,后者认证正确。
    • 仓库资格信号:Section 4的307个声明仓库中,74%达到作者给定的声誉门槛;作者将其定位为资格信号,不是第三个来源见证,也未报告恶意包检测结果。
  5. 有什么可以进一步探索的点?

    作者将局限归于实时自适应攻击、上界代理、可信计算基假设和稀少的多源支持。

    作者明确把保证限制在预算、证据依赖和可信计算基假设成立的情形。

    作者指出的局限与后续方向

    • 实时攻击者:Section 8明确列出,完全自适应的实时模型攻击者尚未测试;Section 1也将实时研究的攻击者描述为property-based而非优化型。
    • 计数代理:Section 8指出真实数据计数为上界代理。Section 4称恢复制裁实体的真实击中集还需对齐programme、measure和legal basis。
    • 保证前提:Section 8指向Section 2的来源认证、可信锚、可信join key和正确抽取假设;共享抽取域的系统性故障不因来源隔离而消失。
    • 多源可获得性:Section 8将corroboration稀少列为局限;单源字段的安全依靠可信锚,不能归入半径认证。
    • 实现与计数:附录A明确逐字段实现可能比联合规则更多弃权;附录B提醒贪心上界会高估半径,部署必须使用精确或下界计数。
    • 规范化方向:附录B指出转写导致值比较不一致,建议规范化除大小写外还处理文字系统。

    实验覆盖范围

    • 实时支付:五个模型,N=3与N=5,k=1;每模型每条件80个episode,污染来自三类社会工程注入(附录B)。
    • 自适应逻辑:white-box优化评测是model-free harness的2,000个worlds;其结论针对认证逻辑,不是实时模型对自适应攻击的表现(Section 6、附录B)。
    • 真实数据:测量OpenSanctions、npm和PyPI;制裁计数为映射域代理,软件见证显式合并共享GitHub来源(Section 4)。
    • 抽取检查:六配置各654次诚实读取,零语义错误用于约束共同错误事件率;作者没有据此估计相关性,也不跨配置汇总(附录B)。
    • 成本与报告:附录B报告约4,000次实时调用;论文未报告延迟、调用费用、独立重复运行次数或人工判定一致性。
  6. 总结一下论文的主要内容

    作者给出条件性的动作完整性认证;实验区分了安全弃权、值恢复和真实证据可获得性。

    这是一项结构化动作执行前的完整性防御研究,对象是从可腐化文档和工具输出拼装的支付等特权动作。

    • 问题与设计:作者认为,来源授权不能替代值认证,转载和同域记录不能制造独立支持。方案先固定可信交易骨架,再隔离抽取,按认证控制域聚合;金额使用授权约束,账户使用可信锚。
    • 理论边界:作者给出联合可行动作唯一时才可安全执行的条件。逐字段实现安全但更保守;精确值容忍与允许弃权的安全性分别处理。
    • 实时模型结果:Table 1中,支付N=5、k=1、每模型54个攻击episode下,五模型认证不安全率均为0%;Gemini 3.1 Pro的朴素不安全率为100%。这些零是观测结果。
    • 真实证据条件:Table 2中,70,966个OpenSanctions实体仅14.9%具有至少三个映射控制域,且为上界代理。Figure 2中,450个npm包的16.4%表面具有三个见证,合并共享GitHub来源后没有包达到三个域。
    • 对照与攻击:Figure 3的Haiku 4.5支付运行中,认证器不安全率0%、效用98%,策略监控分别18%、29%;另在2,000个模型自由自适应worlds中未观察到认证器不安全执行(Section 6)。
    • 作者结论:作者称,有多源支持时,模型遵循注入也不必导致错误执行;但未测试完全自适应实时攻击,真实计数是代理,保证依赖可信计算基,多源支持仍稀少(Section 8)。
阅读原文arxiv.org