跳到正文
原文
arXiv:越狱、提示注入、投毒与防御· arXiv:2609.22949· Rudrendu Kumar Paul·本站收录· 原文发表

多智能体系统提示注入威胁模型与防御架构:14 类攻击向量与四类防御

Beyond Single-Model Injection: A Threat Model and Defense Architecture for Prompt Injection in Multi-Agent Systems

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者对6智能体系统枚举14个注入向量,四层防御将加权聚合成功率从31.2%降到4.2%。

威胁模型攻击者控制至少一个智能体处理的内容,包括用户输入、检索文档、API响应和数据库记录,但不控制智能体本身。

问题
单模型提示词注入研究不覆盖多智能体里的消息传递、共享工具和信任传播。作者称一次工具输出可在编排器信任上游、边界不再校验时影响整条流水线。
方法
作者在6智能体金融文档分析流水线上枚举4类14个注入向量,每向量用三阶段流程构造50个载荷,并在三个LLM后端上报告最高越权率。防御为消息签名与来源追踪、边界清洗、按角色限定工具访问,以及通信图上的异常检测。
实验与结果
仅系统提示词护栏时,作者报告间接注入聚合43%、智能体间31%、直接注入19%、级联28%,14向量加权聚合31.2%;6个智能体中67%(4/6)至少一次越权。四层合用后加权聚合为4.2%(Table 2)。异常检测抓住84%级联尝试。
局限与可以继续做的
作者称只针对文本系统,多模态注入面未处理;每向量50个固定载荷,自适应对手可能更高;边界分类器误报2.3%且可能不泛化到未见格式;数百智能体时异常检测图可能要近似。实验在三个后端上报告向量最高成功率,未报告分后端数字和评审模型。
实验设置GPT-4o (2024-08-06)、Claude 3.5 Sonnet 等 · 6-agent financial document analysis pipeline、14 attack vectors (50 payloads each) · scope violation rate、injection success rate 等
威胁模型
攻击者控制至少一个智能体处理的内容,包括用户输入、检索文档、API响应和数据库记录,但不控制智能体本身。目标是使至少一个智能体越权:外泄数据、绕过合规、提升权限或污染下游输出。受害系统是6智能体金融文档分析流水线,智能体有角色、许可工具和信任边界。
被测模型
GPT-4o (2024-08-06)Claude 3.5 SonnetLlama 3 70B-Instruct
基准
6-agent financial document analysis pipeline14 attack vectors (50 payloads each)
指标
scope violation rateinjection success ratefalse positive ratelatency
AI 导读论文针对多智能体系统提出提示注入威胁模型,列举四类共 14 种攻击向量:用户输入直接注入 3 种、工具输出间接注入 4 种、智能体间消息传递注入 4 种、通过编排器操纵的级联注入 3 种。作者在一个 6 智能体的生产代表性系统上测试全部 14 种向量,发现即使有系统提示词层面的护栏,仍有 67% 的智能体至少对一种越权行为存在脆弱性,工具输出间接注入的成功率为 43%。四类架构防御将整体注入成功率从 31.2% 降至 4.2%:带来源追踪的消息签名使智能体间注入下降 91%,智能体边界处的输入输出净化使间接注入下降 78%,按角色限定工具权限完全消除了权限提升,智能体间通信异常检测捕获 84% 的级联尝试。

论文针对多智能体系统提出提示注入威胁模型,列举四类共 14 种攻击向量:用户输入直接注入 3 种、工具输出间接注入 4 种、智能体间消息传递注入 4 种、通过编排器操纵的级联注入 3 种。作者在一个 6 智能体的生产代表性系统上测试全部 14 种向量,发现即使有系统提示词层面的护栏,仍有 67% 的智能体至少对一种越权行为存在脆弱性,工具输出间接注入的成功率为 43%。四类架构防御将整体注入成功率从 31.2% 降至 4.2%:带来源追踪的消息签名使智能体间注入下降 91%,智能体边界处的输入输出净化使间接注入下降 78%,按角色限定工具权限完全消除了权限提升,智能体间通信异常检测捕获 84% 的级联尝试。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    多智能体注入可沿内部消息与信任边界扩散,单模型研究不覆盖该攻击面。

    多智能体中的提示词注入会沿内部消息和信任边界扩散,而单模型研究不覆盖这条攻击面。

    • 场景:作者称,合规智能体若把工具返回里的指令纳入推理,会把受污染的批准交给编排器;编排器信任该输出且不再校验,就继续下发。作者称这种失败依赖智能体间传消息、共享信任,以及边界缺少校验,这些是多智能体部署特有的。
    • 现有不足:作者称既有测量主要针对孤立模型处理外部数据。Lee 与 Tiwari (2024)、Ferrag et al. (2025)、Brodt et al. (2026) 讨论了跨智能体传播,但作者称它们没有同时给出多智能体特有向量的系统枚举、实测成功率和对应架构防御。
    • 作者的观察:三类单模型没有的机制是,智能体间消息形成周界防御看不见的通道,共享工具使权限跨边界提升,信任传播使被攻破的智能体影响上游编排器。
    • 本文提出:四类共14个向量的威胁模型、在6智能体系统上的全向量实测,以及四层架构防御。作者报告合用后整体注入成功率从31.2%降到4.2%。
    • 威胁模型:
      • 目标:使至少一个智能体做出预定范围外的动作,包括外泄数据、绕过合规检查、提升权限,或污染交给下游的输出。
      • 控制:攻击者控制至少一个智能体所处理的内容,但不控制智能体本身。
      • 入口:用户输入、检索智能体摄入的文档、代码智能体消费的 API 响应、分析智能体处理的数据库记录。
      • 受害系统:作者称为企业部署代表的6智能体金融文档分析流水线。每个智能体有角色、许可工具集,以及规定谁可发消息的信任边界。
  2. 有哪些相关研究?

    作者将本文定位为带实测率与架构防御的多智能体注入向量枚举。

    按引言和第2节的分组转述。

    单模型提示词注入

    • Greshake et al. (2023):把注入解释为模型无法在上下文中区分指令与数据,并展示经由外部内容的间接注入。作者称这类发现适用于孤立模型处理外部数据。
    • Zhan et al. (2024):在1,054个测试用例上测间接注入;作者转述 ReAct 提示的 GPT-4 有24%的情况脆弱。作者称自己观察到的直接注入聚合19%与该工作对单模型系统的发现一致。
    • OWASP Foundation (2025):作者称其将提示词注入列为 LLM 应用风险的第一位。

    跨智能体攻击

    • Lee 与 Tiwari (2024):恶意提示在互联 LLM 智能体之间自我复制;作者转述其行为类似计算机病毒。
    • Ferrag et al. (2025):编目超过30种攻击技术,覆盖主机到工具以及智能体到智能体通信。
    • Brodt et al. (2026):把注入演化画成七阶段杀伤链;作者转述至少21个有记录的攻击穿越四个或更多阶段。作者称这三项都没有给出带实测成功率、并配有架构防御的多智能体特有向量系统枚举。

    防御与综述

    • Beurer-Kellner et al. (2025) 与 Lin et al. (2026):前者为单个智能体提出设计模式,作者转述其具有可证明的抗注入性,并称其只处理单智能体隔离、未计入跨边界信任传播。后者的 VIGIL 是工具流上的 verify-before-commit;作者转述相对动态基线把攻击成功降低超过22%并保持效用,并称其焦点是智能体—工具接口,看不见智能体间消息通道。
    • Ji et al. (2026) 与 He et al. (2025):SEAgent 用基于属性的强制访问控制阻止权限提升,作者转述其误报率低;作者称权限范围必须在架构层而非提示词层。SentinelAgent 把交互建成动态执行图,在节点、边和路径上做异常检测;作者称其可检测共谋和潜在利用路径,并收为四层防御之一。
    • Wang et al. (2025) 与 Maloyan 和 Namiot (2026):前者综述后认为没有单一方法能同时达到高可信、高效用和低延迟;作者把该权衡称为 defense trilemma,并称需要分层架构控制。后者综合78项研究、42种技术;作者转述自适应策略对当时先进防御的成功率超过85%,并称这促使防御放到单靠提示词操纵到不了的层。

    基线与评测材料

    • 基线方法:同一6智能体系统上仅使用系统提示词护栏(Table 2 的 Baseline)。
    • 评测环境:作者自建的6智能体金融文档分析流水线,14个向量、每向量50个载荷。论文引用 InjecAgent,但没有把它当作本文测试集。

    作者把本文与上述工作的区别放在:给出多智能体架构特有的14向量枚举和逐向量成功率,并用四层架构防御把聚合注入成功率从31.2%降到4.2%。

  3. 论文如何解决这个问题?

    作者枚举14个向量,并把四层防御放在提示词操纵够不到的架构层。

    作者用 14向量威胁模型 刻画多智能体特有通道,再用 四层架构防御 放在签名、边界清洗、基础设施权限和监控层,而不是放在提示词层。

    系统与攻击者

    • 形式:系统由若干智能体组成。每个智能体有角色、许可工具集,以及规定哪些其他智能体可以向它发消息的信任边界。
    • 6个角色:编排器 aO 做任务分解与结果聚合;检索 aR 摄入 SEC 文件;代码 aC 执行分析计算;分析 aA 处理数据库记录;合规 aX 按监管约束校验输出;另有输出 aW。流水线被作者称为企业部署的代表配置。
    • 后端:实例化在 GPT-4o (2024-08-06)、Claude 3.5 Sonnet、Llama 3 70B-Instruct 上。第3.1节称每个攻击向量在三个后端上评估,并报告最高观察成功率。
    • 攻击者:控制至少一个智能体处理的内容,不控制智能体本身。目标是至少一次越权。

    四类向量

    • 直接注入(用户输入,3个):面向编排器。D1 以指令覆盖系统提示,D2 模仿系统级格式做角色冒充,D3 在执行中途改写任务目标。
    • 间接注入(工具输出,4个):I1 在检索文档中嵌入指令;I2 在外部 API 响应中嵌入指令;I3 让工具输出模式发生作者所称的轻微变化,带上含指令字段且未经校验;I4 在工具描述或参数定义中放入指令以改变工具选择(作者引 Shi et al., 2025; Huang et al., 2025)。
    • 智能体间注入(消息,4个):M1 在被攻破智能体的输出中嵌指令;M2 用冗长回复把接收方上下文里的关键系统提示挤出窗口;M3 模仿系统级消息格式以获取更高信任;M4 使智能体向预定委托路径之外请求子任务。
    • 级联注入(编排器,3个):C1 使编排器把任务路由到不合适的智能体,作者举例把需合规处理的工作发给没有合规护栏的代码智能体;C2 用被攻破智能体的输出污染聚合;C3 阻止编排器终止已被攻破的工作流。

    载荷与判定

    • 每个向量构造50个载荷,分三阶段:两名安全研究者手工做种子;对实体名和格式做变量替换的模板扩增;早期失败的载荷被迭代修改,以绕过目标智能体的系统提示词护栏。
    • 成功定义为 scope violation:目标智能体执行了许可范围之外的动作。Table 1 的比率是50次尝试中发生越权的百分比。
    • 论文未说明越权由人工、规则还是模型判定,也未给出判定阈值。

    四层防御

    • 消息签名与来源追踪:每条智能体间消息带密码学签名和来源记录,记录包括来源智能体、生成任务和先前贡献者链。接收方先验证,隔离未签名消息。作者称这针对 M1、M3、M4,因为注入指令不能伪造有效签名。实现为 Ed25519。
    • 边界输入输出清洗:进出每个智能体的消息经过清洗器。三项检查是:对照期望输出模式做结构校验;用轻量分类器区分数据内容与指令内容;限制内容长度,以针对上下文窗口污染。作者称此做法建在 Bhagwatkar et al. (2025) 的防火墙思路上,但部署在每个智能体边界,而不只在系统周界。论文未说明分类器结构、训练数据和阈值。
    • 按角色限定工具:按角色发放工具访问令牌,由 API 网关在基础设施层执行,而不是靠提示词。作者称遵循 Ji et al. (2026) 的属性访问控制,角色到工具的映射为不可变配置。文中举例:检索智能体可查文档但不能执行代码;代码智能体可在沙箱中计算,但不能访问合规数据库。
    • 通信异常检测:把预期通信建成有向图,边表示允许的消息流。检测器标记意外接收者、异常消息量、非典型内容模式,或违背预期任务流程的序列。它是对消息总线只读的独立监控智能体,异步运行。作者称借鉴 He et al. (2025) 的图方法。
  4. 论文做了哪些实验?

    作者报告仅护栏时加权聚合31.2%,四层合用后为4.2%。

    实验设置

    • 被测后端:GPT-4o (2024-08-06)、Claude 3.5 Sonnet、Llama 3 70B-Instruct。系统是作者实例化的6智能体金融文档分析流水线,不是文中点名的在线生产部署。
    • 攻击面:14个向量,每个50个载荷。第3.1节称每个向量在三个后端上评估,Table 1 报告最高观察成功率。Table 2 未说明防御各行是否同样取三后端最高值。
    • 基线:仅系统提示词护栏。四个防御先各自相对基线评估,再报告四层合用(Table 2)。带加号的行不是逐行累加。
    • 指标:越权(scope violation)百分比,即目标智能体做出许可范围外动作的尝试比例;另有类别与加权聚合注入成功率、误报率和延迟。
    • 判定:论文未报告评审模型、判定阈值、与人工的一致性,也未报告统计显著性检验或整套实验的重复次数。
    • 载荷:两名安全研究者的手工种子、模板变量替换,以及对早期失败载荷的迭代修改,修改目的是绕过系统提示词护栏。

    主结果

    据 Table 2。格子是该攻击类别的注入成功率。聚合列只在论文写出的两处填写。

    表格较宽,可左右滑动

    防御第1类第2类第3类第4类聚合
    仅提示词护栏19%43%31%28%31.2%
    仅消息签名19%43%2.8%18%未报告
    仅边界清洗8.4%9.5%31%22%未报告
    仅权限范围19%34%31%16%未报告
    仅异常检测14%38%24%4.5%未报告
    四层合用3.8%4.6%1.2%3.4%4.2%
    • 作者称四层分别堵住不同通道,Table 2 同时给出单层与合用;单层都有未下降的类别。
    • 作者称残余来自清洗器分类器未见过的直接注入结构,以及结构校验未标记的自适应间接编码。
    • 作者称摘要中的43%是第2类的峰值类别,不是全体向量聚合;全体基线另按14个向量、每向量50个载荷加权,为31.2%。作者称合用相对该基线的降幅为86.5%。

    分向量成功率

    • Table 1:每个向量50次,成功率为越权百分比,且是三后端中的最高观察值。直接注入 D1/D2/D3 为22%、18%、16%,目标均为 aO,作者给出类别聚合19%。
    • 间接注入:I1 对 aR 为48%,I2 对 aC 为44%,I3 对 aA 为38%,I4 对 aO 与 aC 为42%。作者给出聚合43%,并称此类最危险,因为检索与代码智能体处理高熵外部内容。
    • 智能体间与级联:M1 至 M4 为36%、28%、34%、26%,聚合31%;C1 至 C3 为32%、28%、24%,聚合28%。作者称级联成功后会把单点妥协变成全系统失败。作者称尽管有提示词护栏,6个智能体中67%(4/6)至少对一种越权脆弱;论文未点名是哪4个。作者称编排器在14个向量中有8个作为目标。

    延迟、误报与权限提升

    • 延迟:签名为 Ed25519,3ms/条消息;边界清洗12ms/次智能体转移,分类器另写为平均12ms/消息;权限范围运行时延迟为0;异常检测异步。6智能体、15条智能体间消息的合计开销为225ms,相对4.8s基线增加4.7%。
    • 级联检测:作者称异常检测抓住84%的级联尝试,方式是识别路由操纵和终止抑制。Table 2 中仅该层时第4类成功率为4.5%。论文未说明84%与4.5%是否同一口径。
    • 权限范围:摘要称权限提升被完全消除;正文称测试套件中观察到的权限提升尝试均被缓解,理由是即使智能体被完全攻破也不能调用基础设施角色范围外的工具。论文未报告该类尝试的次数。Table 2 中仅该层时各类别成功率并未全部为0。

    其他消融与分析

    • 仅消息签名:作者称智能体间注入从31%降到2.8%,降幅91%(第4节);第4类从28%到18%。
    • 仅边界清洗:作者称间接注入从43%降到9.5%,降幅78%(第4节)。
    • 仅异常检测:抓住84%级联尝试(第4节);第1至3类仍为14%、38%、24%(Table 2)。
    • 边界分类器误报率2.3%(第5节)。
    • 四层合用的分项残余为3.8%、4.6%、1.2%、3.4%,加权聚合4.2%(Table 2)。
    • 论文未按三个后端分别报告成功率,因此不能从正文读出哪一个后端最高。
  5. 有什么可以进一步探索的点?

    作者称未处理多模态,且自适应对手可能取得更高成功率。

    作者指出的局限与后续方向

    • 威胁模型针对基于文本的多智能体系统;多模态智能体还有本文未处理的注入面(第5节,引 McHugh et al., 2025)。
    • 每向量使用固定的50个载荷;作者称自适应对手可能取得更高成功率,并引 Maloyan 与 Namiot (2026) 称自适应策略对当时先进防御超过85%(第5节)。
    • 作者称架构做法提高了适应成本,攻击者须绕过密码学签名和基础设施级访问控制,而不是提示词过滤,但不能消除适应(第5节)。
    • 第2层边界分类器的误报率为2.3%,且可能不能泛化到未见过的注入格式(第5节)。
    • 评估在6智能体系统上;作者称有数百智能体的生产部署可能需要对异常检测图做近似(第5节)。
    • 作者称提示词注入只是多种威胁之一;数据投毒、模型抽取和供应链妥协需要另行处理(第5节,引 Huang et al., 2025; Kong et al., 2025)。

    实验覆盖范围

    • 系统实例化在 GPT-4o (2024-08-06)、Claude 3.5 Sonnet、Llama 3 70B-Instruct 三个后端上;第3.1节称每个向量在三个后端上评估并报告最高观察成功率。
    • 受害系统为6个命名角色的金融文档分析流水线,检索环节摄入 SEC 文件,合规环节按监管约束校验输出(第3.1节)。
    • 14个向量各50个载荷,构建含手工种子、模板变量替换,以及对失败载荷的迭代修改(第3.1节)。防御按单层和四层合用报告(Table 2)。
    • 延迟在含15条智能体间消息的6智能体工作流上报告;签名、清洗、权限范围和异常检测的运行方式分别写明(第4.1节)。
    • 论文未报告分后端成功率、越权判定所用的评审模型、与人工判定的一致性,以及统计显著性检验。Table 2 未说明防御行是否与第3.1节一样取三后端最高值。
  6. 总结一下论文的主要内容

    14向量威胁模型加四层防御,加权聚合注入率从31.2%降到4.2%。

    作者为多智能体提示词注入建立威胁模型,并给出四层架构防御。

    • 问题:单模型注入不覆盖智能体间消息、共享工具和信任传播。作者称,一次工具输出可在编排器信任上游且边界不再校验时影响整条流水线。
    • 设定:6智能体金融文档流水线,角色包括编排、检索、代码、分析、合规和输出。攻击者控制至少一处被处理的内容,不控制智能体,目标是至少一次越权。
    • 向量:四类14个。仅系统提示词护栏时,作者报告直接注入聚合19%、工具输出间接注入43%、智能体间31%、级联28%。Table 1 在三后端中取最高值,单向量从 D3 的16%到 I1 对检索智能体的48%。加权聚合基线为31.2%。作者称6个智能体中67%(4/6)至少一次越权。
    • 防御:消息签名与来源追踪、每个智能体边界上的输入输出清洗、基础设施层的角色工具范围,以及只读监控智能体做的通信异常检测。Table 2 中四层合用后四类为3.8%、4.6%、1.2%、3.4%,加权聚合4.2%。作者称签名把智能体间注入降到2.8%(降幅91%),清洗把间接注入降到9.5%(降幅78%),异常检测抓住84%级联尝试。
    • 作者的结论:系统提示词护栏处在攻击者能操纵的层上,所以不够;架构控制可作为多智能体部署随 MCP 与 A2A 扩展时的安全基线。作者同时称,固定的50个载荷和纯文本设置不能排除自适应对手取得更高成功率,架构防御提高适应成本,但不能消除适应。
阅读原文arxiv.org