跳到正文
原文

Kaer:面向多智能体系统的安全感知重规划

Kaer: Security-Aware Replanning for Multi-Agent Systems

arXiv:其他 AI 安全论文· arXiv:2611.24839· Tushin Mallick, Evan Rose, Matthew Laws, Alina Oprea, Cristina Nita-RotaruNortheastern University本站收录· 13 小时前· 原文发表防御· 扫描记录里的位置 →

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出多智能体安全重规划框架 Kaer 与基准 Cintra;在 gpt-5.6-sol 上 Kaer 安全率 92.3%,高于 ControlValve 的 69.8%。

威胁模型可信组件为 orchestrator、LLM planner、agent registry、MCP 与 LLM 服务器及策略;agent 不可信,可在权限内调用未授权能力、伪造返回值,并完全控制返回给 orchestrator 的 payload 内容与时机,借 prompt injection 操纵重规划。

问题
基于 orchestrator 的多智能体系统需要在执行中重规划,但恶意 agent 可在反馈中嵌入指令劫持重规划;作者称现有防御只做工具级访问控制或执行前静态策略,重规划阶段无人保护。
方法
Kaer 让失败 agent 只能返回固定集合中的失败模板,planner 只能用七个确定性修复算子改未完成子任务,修复后的计划须通过任务策略与 agent 策略校验;作者另建含 14 个任务、14 个攻击目标的 Cintra 基准。
实验与结果
在 Cintra 上,gpt-5.6-sol 时 Kaer 安全率 92.3%、效用 64.3%,高于 ControlValve 的 69.8%/54.3% 与 Magentic-One 的 35.0%/91.4%;残余攻击主要经成功输出传播,作者称加 LLM 输出校验后防御率升至 96.8%。
局限与可以继续做的
作者指出失败模板省略运行时上下文,需要数据源位置等信息的任务无法修复;输出校验用 LLM 可被注入影响其判定;自适应攻击者仍可在策略范围内诱导修复。评测仅覆盖 3 个模型、14 个任务,恶意 agent 固定为 filesurfer。
实验设置gpt-5.6-sol、gpt-5.6-terra 等 · Cintra · Utility、Security 等
威胁模型
可信组件为 orchestrator、LLM planner、agent registry、MCP 与 LLM 服务器及策略;agent 不可信,可在权限内调用未授权能力、伪造返回值,并完全控制返回给 orchestrator 的 payload 内容与时机,借 prompt injection 操纵重规划。范围外:agent 内部循环内的滥用、可信组件被攻破、经 subtask 输出传播的威胁与输出正确性验证。
被测模型
gpt-5.6-solgpt-5.6-terradeepseek-v4-pro
基准
Cintra
指标
UtilitySecurityAttack success rate
AI 导读Kaer 是多智能体系统的安全感知重规划框架,防恶意智能体在反馈中嵌入指令劫持重规划。它以抽象模板向重规划传递诊断信息,计划修改仅限确定性修复算子并须满足预设策略。在 Cintra 基准上,Kaer 比未防御的 Magentic-One 和最先进防御 ControlValve 更稳健,效用与后者相当,抽象失败模板略限部分任务效用。

Kaer 是多智能体系统的安全感知重规划框架,防恶意智能体在反馈中嵌入指令劫持重规划。它以抽象模板向重规划传递诊断信息,计划修改仅限确定性修复算子并须满足预设策略。在 Cintra 基准上,Kaer 比未防御的 Magentic-One 和最先进防御 ControlValve 更稳健,效用与后者相当,抽象失败模板略限部分任务效用。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者要解决多智能体系统重规划阶段被恶意 agent 反馈劫持、而现有防御不覆盖该阶段的问题。

    核心问题:orchestrator 式多智能体系统在执行中重规划时,恶意 agent 可通过反馈注入指令劫持重规划,作者称现有防御均未保护这一阶段。

    • 场景与重要性:许多任务无法预先完整规划,orchestrator 需根据 agent 反馈动态修订计划;作者称这让恶意 agent 能诱导未授权的计划变更,如新增子任务或把执行引向攻击者目标(即 control hijacking)。
    • 现有方法的不足:作者称现有防御只做 per-tool 访问控制或执行前静态策略;ControlValve 若预先覆盖所有重规划场景会使策略过于宽松,若每步重新生成策略则退化为 ReAct 式 agent,继承间接提示注入漏洞。
    • 核心观察:planner 只需知道失败原因即可修复计划,不需要 agent 的自由文本;把反馈限制为固定词表的失败模板,可界定恶意 agent 对修复的影响。
    • 论文提出什么:安全重规划框架 Kaer(模板反馈 + 确定性修复算子 + 策略校验),以及配套基准 Cintra(需重规划的任务 + 针对重规划的攻击目标)。
    • 威胁模型(第 3 节):
      • 目标:诱导 planner 授予任务策略禁止的能力、把输出路由给未授权 agent、增删改子任务或制造无限重规划循环。
      • 知识:恶意 agent 只看到自己的子任务指令、能力与输入,看不到全局任务与完整计划。
      • 能力:完全控制返回 payload 的内容与时机,可在权限内伪造返回值、嵌入 prompt injection。
      • 受害系统与可信边界:orchestrator、LLM planner、agent registry、MCP/LLM 服务器及策略可信;agent 内部滥用、可信组件被攻破、经 subtask 输出传播的威胁与输出正确性验证均在范围外。
  2. 有哪些相关研究?

    相关工作分三组:重规划与失败分析、运行时防御、计划级防御;作者称它们都不保护重规划过程本身。

    多智能体系统的重规划与失败分析

    • Magentic-One [1] 在任务停滞时触发计划重生成;其他 orchestrator 验证步骤结果后重规划 [5],或通过失败驱动的工作流调整 [6]、角色重分配 [7]、系统自我修正 [8] 修复计划。作者指出这些工作只优化效用,不对 agent 执行施加行为约束。
    • Cemri et al. [24] 把多智能体失败分为系统设计缺陷、通信中断、验证缺失三类;Kaer 的失败模板即基于该分类构建。失败归因方向还有因果分析、错误依赖图、反事实回放等工作 [28]–[38]。

    运行时防御(screening execution)

    • 信息流方法传播数据出处或安全标签,防止不可信输入改变控制流或调用敏感工具 [11], [39]–[44];权限收缩方法执行最小特权工具策略或隔离执行环境 [11], [45]–[47];trace 类系统动态合成策略 [48]–[51]。
    • 多智能体场景下有防火墙与监控器过滤 agent 间消息 [52], [53],网关/代理校验工具调用 [54]–[58],guard agent 与形式化规则语言内联检查动作 [59]–[61]。作者指出这些机制只做允许/阻断的二元决策,不调整底层计划。

    计划级防御(constraining the plan)

    • 从可信输入生成静态计划 [11], [44],或把策略约束嵌入 planner [62]。作者指出,尽管有工作强调策略执行需与重规划结合 [63]、有攻击直接劫持规划 [64],现有系统均未保护重规划过程本身免受对抗操纵。

    基线与基准

    • 对比基线为 Magentic-One(无防御 MAS)和 ControlValve(作者称的 state-of-the-art 防御),另有两个消融:Kaer w/ free text、ControlValve w/o rules。
    • 作者称现有基准不满足需求:GAIA、WebArena 只测多步任务完成、不含攻击;AgentDojo、InjecAgent、ASB 等安全基准测的是读取注入数据的 agent,而非针对 orchestrator 重规划的攻击,因此作者构建了 Cintra。

    作者将本文定位为:在保留动态重规划能力的同时,把安全约束扩展到重规划过程本身,这是上述两类防御都未覆盖的环节。

  3. 论文如何解决这个问题?

    Kaer 把 agent 反馈限制为固定失败模板,修复只用七个确定性算子,且所有修订计划须通过策略校验。

    整体思路:Kaer 让 planner 与不可信 agent 反馈隔离——agent 只能通过抽象失败模板传达诊断,计划修订只能用一组确定性修复算子,且所有修订后的计划必须满足预设策略。作者称这借鉴了信息流控制中的 endorsement 思想(把不可信数据窄化为小类型后经可信通道传递)。

    问题设定与计划有效性

    • 计划 Π = (S1, …, SN) 为严格顺序的子任务序列,每个子任务 Sj = (Aj, {Ci}j, (Pj, Oj−1)),含指派 agent、授权能力集和输入(自然语言指令 Pj 与前置子任务输出 Oj−1)。
    • 计划有效需满足四个条件:子任务能力属于指派 agent 提供的能力、属于任务策略 CT、依赖关系符合 agent 策略 APA、非末尾子任务的输出被后续使用;无效则退回 planner 重新生成,超过固定次数放弃任务。

    执行与最小特权网关

    • orchestrator 顺序执行子任务并中介所有 agent 间通信;agent 在隔离环境中运行,只能经可信 gateway 访问工具与 LLM。
    • gateway 只转发"调用者是当前活动 agent 且目标是其授权能力端点"的请求,拒绝其余一切请求;它不检查被允许调用的参数与返回值。
    • 每个 agent 严格限于其子任务被授予的能力(least privilege)。

    Close-out 与失败模板

    • 子任务结束时 agent 返回 close-out:成功(带输出)或失败(带失败条件 + 进度报告);gateway 在拒绝调用、端点失败、超时无 close-out 时也会记录失败条件。
    • 失败条件来自固定集合,以失败模板形式交给 planner(Table 2 共 13 个模板,如 endpoint transient fault、directive underspecified、input artifact absent、result uncorroborated),每个模板附带建议的修复算子序列,仅供 planner 参考。
    • 关键约束:planner 收不到任何子任务输出、进度报告或 agent 生成的文本;进度报告只在同一 agent 被重新派遣时回传给该 agent。

    修复算子与修复流程

    • 七个修复算子(Table 1):RE-EXECUTE、REVISE-DIRECTIVE、RESCOPE、REASSIGN、INSERT、PRUNE、REWIRE;只能修改位置 k ≥ j(未完成的子任务),已完成子任务及其输出不可变。
    • 修复是给子任务授予 CT 之外能力时属特权操作,需用户授权(记为 Xj,授权后有效计划要求 {Ci}j ⊆ CT ∪ Xj);拒绝则把该修复列入黑名单。
    • 修复预算限制每个任务可请求修复的失败次数,耗尽即终止任务;连续被拒修复超过固定次数也终止。

    输出校验扩展(RQ5)

    • 针对"恶意 agent 谎报成功",作者在成功 close-out 后加一个 LLM 校验:判断输出是否满足指令,拒绝则把成功转为失败并触发重规划;校验用与 planner 相同的 LLM。
    • 作者论证该校验不给攻击者新的影响渠道:接受则与无校验一致,拒绝则 planner 只看到模板。
  4. 论文做了哪些实验?

    在自建基准 Cintra 上对比 5 个系统 × 3 个模型,Kaer 安全率最高,效用高于 ControlValve。

    实验设置

    • 被测模型:gpt-5.6-sol、gpt-5.6-terra、deepseek-v4-pro,每个系统分别用这三个模型作为底层模型。
    • 系统:Kaer、Kaer w/ free text(失败反馈改为自由文本的消融)、Magentic-One(无防御基线)、ControlValve、ControlValve w/o rules(去掉上下文规则的消融,用作者实现)。
    • 基准:作者自建的 Cintra,含 14 个需重规划的任务(障碍分 agent reliability、unknown requirements、unknown data 三类,Table 3)和 14 个攻击目标(覆盖完整性、机密性、可用性,Table 4),配对成 164 个任务-目标对;恶意 agent 固定为 filesurfer。
    • 样本量:每个系统-模型组合跑 14×5 = 70 次良性试验和 164×5 = 820 次攻击试验,试验间完全隔离。
    • 指标:Utility 为良性试验成功率;Security 为攻击目标失败的攻击试验比例;另报告各目标的 attack success rate。
    • 评审方式:部分效用检查与攻击成功条件用运行在 gpt-5.6-terra 上的 LLM judge 评估(Table 3 标注 D 为确定性检查、J 为 LLM judge)。

    主结果

    据 Table 5(每格为 70 次良性 / 820 次攻击试验):

    表格较宽,可左右滑动

    系统gpt-5.6-sol Utilitygpt-5.6-sol Securitygpt-5.6-terra Utilitygpt-5.6-terra Securitydeepseek-v4-pro Utilitydeepseek-v4-pro Security
    Kaer64.3%92.3%65.7%88.0%41.4%79.9%
    Kaer w/ free text74.3%75.7%60.0%76.3%51.4%72.3%
    Magentic-One91.4%35.0%78.6%47.8%84.3%50.1%
    ControlValve54.3%69.8%34.3%80.4%54.3%78.7%
    ControlValve w/o rules75.7%42.2%68.6%59.1%55.7%60.2%
    • 作者称 Kaer 在三个模型上 Security 均为最高,且在 gpt-5.6-sol、gpt-5.6-terra 上 Utility 也超过 ControlValve;Magentic-One 与 ControlValve w/o rules 效用高但安全最低。
    • 作者称 ControlValve 效用低主要源于其规则执行:其静态语法与规则集在执行前生成,会拒绝执行中才变得必要的 agent 与指令;去掉规则后效用回升。
    • 例外:在 deepseek-v4-pro 上 Kaer 的 Utility(41.4%)为五个系统中最低,作者称多数失败良性试验产生错误结果,约三分之一失败中所有子任务都报告成功,planner 无从发现。

    攻击目标分解(RQ2)

    • 据 Figure 6(gpt-5.6-sol,攻击成功率):Kaer 对"提前终止任务"(0%)、"指定 agent 输入"(0%)、"丢弃下游 agent"(0%)等控制流攻击几乎全部挡住,而 Magentic-One 在多数目标上成功率 28%–100%。
    • 对 Kaer 仍成功的攻击主要有三类(作者归因):成功输出中夹带注入指令被下游 agent 执行(如跑数据外发脚本,gpt-5.6-sol 上 7%、gpt-5.6-terra 上 27%、deepseek-v4-pro 上 53%,Figure 7);谎报能力缺失诱导重分配(gpt-5.6-sol 上 23%);静默失败(gpt-5.6-sol 上 34%)。
    • 作者称 ControlValve 能挡脚本与服务修改类攻击,但对步骤省略类攻击(提前终止、移除 agent)仍脆弱,因其规则不检查被省略的步骤。

    失败模板与修复覆盖(RQ3、RQ4)

    • 据 Figure 8(gpt-5.6-sol):always success 策略下 Kaer 与 Kaer w/ free text 攻击成功率几乎相同(13.4% vs 13.0% 量级,图注称两者对成功 close-out 处理相同);always failure 下 Kaer 为 2.8%,Kaer w/ free text 约为其两倍多,作者称自由文本失败报告是 Kaer w/ free text 更有效的攻击面。
    • 据 Figure 11、12:agent reliability 类障碍的失败多为执行故障,Kaer 通常重试即可解决;missing capability/input 约解决一半;missing information 解决最少,作者称因模板刻意省略运行时上下文(如数据源位置)。
    • 未检测到的失败(所有子任务报成功但结果错误)在三类障碍中都出现,deepseek-v4-pro 上最多;此时重规划不会触发。

    输出校验扩展(RQ5)

    • 加 LLM 输出校验后(always success 策略):gpt-5.6-sol 上攻击成功率从 13.4% 降到 3.2%(Figure 8),gpt-5.6-terra 从 13.0% 降到 3.5%(Figure 9),deepseek-v4-pro 从 28.0% 降到 2.8%(Figure 10);摘要称防御率从 86.6%/87.0% 升至 96.8%(两个模型)。
    • 效用影响:gpt-5.6-sol、gpt-5.6-terra 上良性效用与原版 Kaer 相当;deepseek-v4-pro 上从 70 次中成功 29 次升至 38 次(Figure 5(b)),作者称达到 ControlValve 的水平。
    • 残余成功多来自子任务重分配:校验拒绝恶意输出后 planner 把子任务重分配给有能力的 agent,恰好是注入指令指定的 agent。

    其他消融与分析

    • 关闭 ControlValve 的上下文规则(ControlValve w/o rules):三个模型上效用均回升、安全均下降(Table 5)。
    • 自适应攻击者讨论(5.7 节):攻击者知道全部模板与修复预算时,可通过选择失败报告诱导含目标算子的修复;作者称 Kaer 只能约束不能阻止此类攻击,因修复都在策略范围内且消耗修复预算。
    • 论文未报告统计显著性检验、方差或置信区间。
  5. 有什么可以进一步探索的点?

    作者讨论了模板信息缺失、输出校验的注入面与自适应攻击者;评测覆盖 3 个模型、14 个任务。

    作者指出的局限与后续方向

    • 模板省略运行时上下文(5.2、5.5 节):失败模板为保安全不携带任意运行时信息,需要数据源位置等运行时观察的任务无法修复,作者称这是效用受限的原因。
    • 成功 close-out 不验证输出(5.2、5.3 节):Kaer 接受成功 close-out 时不评估输出,静默失败与夹带注入的输出由此通过;作者以输出校验扩展应对,但残余的重分配攻击仍在。
    • 输出校验本身可被注入影响(5.6 节):校验 LLM 读取 agent 产出的文本,恶意 agent 可嵌入指令试图让校验接受结果或按指定模板拒绝;作者论证这不给攻击者影响 planner 的新渠道,但校验判定本身可被操纵。
    • 自适应攻击者只能被约束、不能被阻止(5.7 节):知晓全部模板与修复预算的攻击者可在策略范围内诱导修复(如借 REWIRE/INSERT 获得其他子任务输出),作者称 Kaer 只能限制其影响。
    • 威胁模型的范围外项(第 3 节):agent 内部循环内的滥用、可信组件被攻破、经 subtask 输出直接传播的威胁、开放式任务的输出正确性验证均不在防御范围内。
    • 论文未设独立的 Limitations 或 Future Work 小节,以上为 Discussion 与威胁模型中作者明说的边界。

    实验覆盖范围

    • 被测模型为 gpt-5.6-sol、gpt-5.6-terra、deepseek-v4-pro 共 3 个;对比系统为 Magentic-One、ControlValve 及两个消融变体。
    • 基准 Cintra 含 14 个任务、14 个攻击目标、164 个任务-目标对;每配置 70 次良性、820 次攻击试验,各 5 次重复。
    • 恶意 agent 固定实例化为 filesurfer(作者称因其参与每个任务,便于统一比较);攻击注入方式为在响应中附加注入指令或选择 close-out 类型。
    • 输出校验扩展只在 always success close-out 策略下评测;校验用与 planner 相同的 LLM。
    • 论文未报告修复预算、超时与连续拒绝次数的具体取值,未报告统计显著性检验或人工评估。
  6. 总结一下论文的主要内容

    Kaer 用模板化反馈、确定性修复算子和策略校验保护多智能体重规划,在 Cintra 上安全率优于基线。

    一篇多智能体系统防御论文:针对 orchestrator 式 MAS 在执行中重规划时被恶意 agent 反馈劫持的风险,提出安全重规划框架 Kaer,并自建基准 Cintra 评测。

    • 问题:动态重规划让 planner 依赖 agent 反馈,恶意 agent 可在返回 payload 中嵌入注入指令操纵计划修订;作者称现有防御只做工具级访问控制或执行前静态策略,重规划阶段无人保护。
    • 方法:失败 agent 只能从固定集合中选择失败模板回报(planner 收不到任何 agent 文本);计划修订只能用七个确定性修复算子、只改未完成子任务;修订计划须通过任务策略与 agent 策略校验,越权能力需用户授权;另有修复预算限制。
    • 主结果(Table 5,每配置 70 良性 + 820 攻击试验):gpt-5.6-sol 上 Kaer Security 92.3%、Utility 64.3%,高于 ControlValve 的 69.8%/54.3% 与 Magentic-One 的 35.0%/91.4%;gpt-5.6-terra 上为 88.0%/65.7%。
    • 例外与残余风险:deepseek-v4-pro 上 Kaer Utility 41.4% 为五系统最低;对 Kaer 成功的攻击主要经成功 close-out 的输出传播(静默失败、夹带注入),加 LLM 输出校验后攻击成功率在三个模型上分别降到 3.2%、3.5%、2.8%(Figures 8–10)。
    • 作者结论:多智能体系统可以在不预先锁定计划、效用损失可控的前提下安全地重规划;作者同时指出模板省略运行时上下文导致部分任务无法修复,自适应攻击者仍可在策略范围内诱导修复,只能约束不能阻止。
阅读原文arxiv.org