Kaer:面向多智能体系统的安全感知重规划
Kaer: Security-Aware Replanning for Multi-Agent Systems
作者提出多智能体安全重规划框架 Kaer 与基准 Cintra;在 gpt-5.6-sol 上 Kaer 安全率 92.3%,高于 ControlValve 的 69.8%。
可信组件为 orchestrator、LLM planner、agent registry、MCP 与 LLM 服务器及策略;agent 不可信,可在权限内调用未授权能力、伪造返回值,并完全控制返回给 orchestrator 的 payload 内容与时机,借 prompt injection 操纵重规划。
- 基于 orchestrator 的多智能体系统需要在执行中重规划,但恶意 agent 可在反馈中嵌入指令劫持重规划;作者称现有防御只做工具级访问控制或执行前静态策略,重规划阶段无人保护。
- Kaer 让失败 agent 只能返回固定集合中的失败模板,planner 只能用七个确定性修复算子改未完成子任务,修复后的计划须通过任务策略与 agent 策略校验;作者另建含 14 个任务、14 个攻击目标的 Cintra 基准。
- 在 Cintra 上,gpt-5.6-sol 时 Kaer 安全率 92.3%、效用 64.3%,高于 ControlValve 的 69.8%/54.3% 与 Magentic-One 的 35.0%/91.4%;残余攻击主要经成功输出传播,作者称加 LLM 输出校验后防御率升至 96.8%。
- 作者指出失败模板省略运行时上下文,需要数据源位置等信息的任务无法修复;输出校验用 LLM 可被注入影响其判定;自适应攻击者仍可在策略范围内诱导修复。评测仅覆盖 3 个模型、14 个任务,恶意 agent 固定为 filesurfer。
- 威胁模型
- 可信组件为 orchestrator、LLM planner、agent registry、MCP 与 LLM 服务器及策略;agent 不可信,可在权限内调用未授权能力、伪造返回值,并完全控制返回给 orchestrator 的 payload 内容与时机,借 prompt injection 操纵重规划。范围外:agent 内部循环内的滥用、可信组件被攻破、经 subtask 输出传播的威胁与输出正确性验证。
- 被测模型
- gpt-5.6-solgpt-5.6-terradeepseek-v4-pro
- 基准
- Cintra
- 指标
- UtilitySecurityAttack success rate
Kaer 是多智能体系统的安全感知重规划框架,防恶意智能体在反馈中嵌入指令劫持重规划。它以抽象模板向重规划传递诊断信息,计划修改仅限确定性修复算子并须满足预设策略。在 Cintra 基准上,Kaer 比未防御的 Magentic-One 和最先进防御 ControlValve 更稳健,效用与后者相当,抽象失败模板略限部分任务效用。
深度解读
这篇论文试图解决什么问题?
作者要解决多智能体系统重规划阶段被恶意 agent 反馈劫持、而现有防御不覆盖该阶段的问题。
核心问题:orchestrator 式多智能体系统在执行中重规划时,恶意 agent 可通过反馈注入指令劫持重规划,作者称现有防御均未保护这一阶段。
- 场景与重要性:许多任务无法预先完整规划,orchestrator 需根据 agent 反馈动态修订计划;作者称这让恶意 agent 能诱导未授权的计划变更,如新增子任务或把执行引向攻击者目标(即 control hijacking)。
- 现有方法的不足:作者称现有防御只做 per-tool 访问控制或执行前静态策略;ControlValve 若预先覆盖所有重规划场景会使策略过于宽松,若每步重新生成策略则退化为 ReAct 式 agent,继承间接提示注入漏洞。
- 核心观察:planner 只需知道失败原因即可修复计划,不需要 agent 的自由文本;把反馈限制为固定词表的失败模板,可界定恶意 agent 对修复的影响。
- 论文提出什么:安全重规划框架 Kaer(模板反馈 + 确定性修复算子 + 策略校验),以及配套基准 Cintra(需重规划的任务 + 针对重规划的攻击目标)。
- 威胁模型(第 3 节):
- 目标:诱导 planner 授予任务策略禁止的能力、把输出路由给未授权 agent、增删改子任务或制造无限重规划循环。
- 知识:恶意 agent 只看到自己的子任务指令、能力与输入,看不到全局任务与完整计划。
- 能力:完全控制返回 payload 的内容与时机,可在权限内伪造返回值、嵌入 prompt injection。
- 受害系统与可信边界:orchestrator、LLM planner、agent registry、MCP/LLM 服务器及策略可信;agent 内部滥用、可信组件被攻破、经 subtask 输出传播的威胁与输出正确性验证均在范围外。
有哪些相关研究?
相关工作分三组:重规划与失败分析、运行时防御、计划级防御;作者称它们都不保护重规划过程本身。
多智能体系统的重规划与失败分析
- Magentic-One [1] 在任务停滞时触发计划重生成;其他 orchestrator 验证步骤结果后重规划 [5],或通过失败驱动的工作流调整 [6]、角色重分配 [7]、系统自我修正 [8] 修复计划。作者指出这些工作只优化效用,不对 agent 执行施加行为约束。
- Cemri et al. [24] 把多智能体失败分为系统设计缺陷、通信中断、验证缺失三类;Kaer 的失败模板即基于该分类构建。失败归因方向还有因果分析、错误依赖图、反事实回放等工作 [28]–[38]。
运行时防御(screening execution)
- 信息流方法传播数据出处或安全标签,防止不可信输入改变控制流或调用敏感工具 [11], [39]–[44];权限收缩方法执行最小特权工具策略或隔离执行环境 [11], [45]–[47];trace 类系统动态合成策略 [48]–[51]。
- 多智能体场景下有防火墙与监控器过滤 agent 间消息 [52], [53],网关/代理校验工具调用 [54]–[58],guard agent 与形式化规则语言内联检查动作 [59]–[61]。作者指出这些机制只做允许/阻断的二元决策,不调整底层计划。
计划级防御(constraining the plan)
- 从可信输入生成静态计划 [11], [44],或把策略约束嵌入 planner [62]。作者指出,尽管有工作强调策略执行需与重规划结合 [63]、有攻击直接劫持规划 [64],现有系统均未保护重规划过程本身免受对抗操纵。
基线与基准
- 对比基线为 Magentic-One(无防御 MAS)和 ControlValve(作者称的 state-of-the-art 防御),另有两个消融:Kaer w/ free text、ControlValve w/o rules。
- 作者称现有基准不满足需求:GAIA、WebArena 只测多步任务完成、不含攻击;AgentDojo、InjecAgent、ASB 等安全基准测的是读取注入数据的 agent,而非针对 orchestrator 重规划的攻击,因此作者构建了 Cintra。
作者将本文定位为:在保留动态重规划能力的同时,把安全约束扩展到重规划过程本身,这是上述两类防御都未覆盖的环节。
论文如何解决这个问题?
Kaer 把 agent 反馈限制为固定失败模板,修复只用七个确定性算子,且所有修订计划须通过策略校验。
整体思路:Kaer 让 planner 与不可信 agent 反馈隔离——agent 只能通过抽象失败模板传达诊断,计划修订只能用一组确定性修复算子,且所有修订后的计划必须满足预设策略。作者称这借鉴了信息流控制中的 endorsement 思想(把不可信数据窄化为小类型后经可信通道传递)。
问题设定与计划有效性
- 计划 Π = (S1, …, SN) 为严格顺序的子任务序列,每个子任务 Sj = (Aj, {Ci}j, (Pj, Oj−1)),含指派 agent、授权能力集和输入(自然语言指令 Pj 与前置子任务输出 Oj−1)。
- 计划有效需满足四个条件:子任务能力属于指派 agent 提供的能力、属于任务策略 CT、依赖关系符合 agent 策略 APA、非末尾子任务的输出被后续使用;无效则退回 planner 重新生成,超过固定次数放弃任务。
执行与最小特权网关
- orchestrator 顺序执行子任务并中介所有 agent 间通信;agent 在隔离环境中运行,只能经可信 gateway 访问工具与 LLM。
- gateway 只转发"调用者是当前活动 agent 且目标是其授权能力端点"的请求,拒绝其余一切请求;它不检查被允许调用的参数与返回值。
- 每个 agent 严格限于其子任务被授予的能力(least privilege)。
Close-out 与失败模板
- 子任务结束时 agent 返回 close-out:成功(带输出)或失败(带失败条件 + 进度报告);gateway 在拒绝调用、端点失败、超时无 close-out 时也会记录失败条件。
- 失败条件来自固定集合,以失败模板形式交给 planner(Table 2 共 13 个模板,如 endpoint transient fault、directive underspecified、input artifact absent、result uncorroborated),每个模板附带建议的修复算子序列,仅供 planner 参考。
- 关键约束:planner 收不到任何子任务输出、进度报告或 agent 生成的文本;进度报告只在同一 agent 被重新派遣时回传给该 agent。
修复算子与修复流程
- 七个修复算子(Table 1):RE-EXECUTE、REVISE-DIRECTIVE、RESCOPE、REASSIGN、INSERT、PRUNE、REWIRE;只能修改位置 k ≥ j(未完成的子任务),已完成子任务及其输出不可变。
- 修复是给子任务授予 CT 之外能力时属特权操作,需用户授权(记为 Xj,授权后有效计划要求 {Ci}j ⊆ CT ∪ Xj);拒绝则把该修复列入黑名单。
- 修复预算限制每个任务可请求修复的失败次数,耗尽即终止任务;连续被拒修复超过固定次数也终止。
输出校验扩展(RQ5)
- 针对"恶意 agent 谎报成功",作者在成功 close-out 后加一个 LLM 校验:判断输出是否满足指令,拒绝则把成功转为失败并触发重规划;校验用与 planner 相同的 LLM。
- 作者论证该校验不给攻击者新的影响渠道:接受则与无校验一致,拒绝则 planner 只看到模板。
论文做了哪些实验?
在自建基准 Cintra 上对比 5 个系统 × 3 个模型,Kaer 安全率最高,效用高于 ControlValve。
实验设置
- 被测模型:gpt-5.6-sol、gpt-5.6-terra、deepseek-v4-pro,每个系统分别用这三个模型作为底层模型。
- 系统:Kaer、Kaer w/ free text(失败反馈改为自由文本的消融)、Magentic-One(无防御基线)、ControlValve、ControlValve w/o rules(去掉上下文规则的消融,用作者实现)。
- 基准:作者自建的 Cintra,含 14 个需重规划的任务(障碍分 agent reliability、unknown requirements、unknown data 三类,Table 3)和 14 个攻击目标(覆盖完整性、机密性、可用性,Table 4),配对成 164 个任务-目标对;恶意 agent 固定为 filesurfer。
- 样本量:每个系统-模型组合跑 14×5 = 70 次良性试验和 164×5 = 820 次攻击试验,试验间完全隔离。
- 指标:Utility 为良性试验成功率;Security 为攻击目标失败的攻击试验比例;另报告各目标的 attack success rate。
- 评审方式:部分效用检查与攻击成功条件用运行在 gpt-5.6-terra 上的 LLM judge 评估(Table 3 标注 D 为确定性检查、J 为 LLM judge)。
主结果
据 Table 5(每格为 70 次良性 / 820 次攻击试验):
表格较宽,可左右滑动
系统 gpt-5.6-sol Utility gpt-5.6-sol Security gpt-5.6-terra Utility gpt-5.6-terra Security deepseek-v4-pro Utility deepseek-v4-pro Security Kaer 64.3% 92.3% 65.7% 88.0% 41.4% 79.9% Kaer w/ free text 74.3% 75.7% 60.0% 76.3% 51.4% 72.3% Magentic-One 91.4% 35.0% 78.6% 47.8% 84.3% 50.1% ControlValve 54.3% 69.8% 34.3% 80.4% 54.3% 78.7% ControlValve w/o rules 75.7% 42.2% 68.6% 59.1% 55.7% 60.2% - 作者称 Kaer 在三个模型上 Security 均为最高,且在 gpt-5.6-sol、gpt-5.6-terra 上 Utility 也超过 ControlValve;Magentic-One 与 ControlValve w/o rules 效用高但安全最低。
- 作者称 ControlValve 效用低主要源于其规则执行:其静态语法与规则集在执行前生成,会拒绝执行中才变得必要的 agent 与指令;去掉规则后效用回升。
- 例外:在 deepseek-v4-pro 上 Kaer 的 Utility(41.4%)为五个系统中最低,作者称多数失败良性试验产生错误结果,约三分之一失败中所有子任务都报告成功,planner 无从发现。
攻击目标分解(RQ2)
- 据 Figure 6(gpt-5.6-sol,攻击成功率):Kaer 对"提前终止任务"(0%)、"指定 agent 输入"(0%)、"丢弃下游 agent"(0%)等控制流攻击几乎全部挡住,而 Magentic-One 在多数目标上成功率 28%–100%。
- 对 Kaer 仍成功的攻击主要有三类(作者归因):成功输出中夹带注入指令被下游 agent 执行(如跑数据外发脚本,gpt-5.6-sol 上 7%、gpt-5.6-terra 上 27%、deepseek-v4-pro 上 53%,Figure 7);谎报能力缺失诱导重分配(gpt-5.6-sol 上 23%);静默失败(gpt-5.6-sol 上 34%)。
- 作者称 ControlValve 能挡脚本与服务修改类攻击,但对步骤省略类攻击(提前终止、移除 agent)仍脆弱,因其规则不检查被省略的步骤。
失败模板与修复覆盖(RQ3、RQ4)
- 据 Figure 8(gpt-5.6-sol):always success 策略下 Kaer 与 Kaer w/ free text 攻击成功率几乎相同(13.4% vs 13.0% 量级,图注称两者对成功 close-out 处理相同);always failure 下 Kaer 为 2.8%,Kaer w/ free text 约为其两倍多,作者称自由文本失败报告是 Kaer w/ free text 更有效的攻击面。
- 据 Figure 11、12:agent reliability 类障碍的失败多为执行故障,Kaer 通常重试即可解决;missing capability/input 约解决一半;missing information 解决最少,作者称因模板刻意省略运行时上下文(如数据源位置)。
- 未检测到的失败(所有子任务报成功但结果错误)在三类障碍中都出现,deepseek-v4-pro 上最多;此时重规划不会触发。
输出校验扩展(RQ5)
- 加 LLM 输出校验后(always success 策略):gpt-5.6-sol 上攻击成功率从 13.4% 降到 3.2%(Figure 8),gpt-5.6-terra 从 13.0% 降到 3.5%(Figure 9),deepseek-v4-pro 从 28.0% 降到 2.8%(Figure 10);摘要称防御率从 86.6%/87.0% 升至 96.8%(两个模型)。
- 效用影响:gpt-5.6-sol、gpt-5.6-terra 上良性效用与原版 Kaer 相当;deepseek-v4-pro 上从 70 次中成功 29 次升至 38 次(Figure 5(b)),作者称达到 ControlValve 的水平。
- 残余成功多来自子任务重分配:校验拒绝恶意输出后 planner 把子任务重分配给有能力的 agent,恰好是注入指令指定的 agent。
其他消融与分析
- 关闭 ControlValve 的上下文规则(ControlValve w/o rules):三个模型上效用均回升、安全均下降(Table 5)。
- 自适应攻击者讨论(5.7 节):攻击者知道全部模板与修复预算时,可通过选择失败报告诱导含目标算子的修复;作者称 Kaer 只能约束不能阻止此类攻击,因修复都在策略范围内且消耗修复预算。
- 论文未报告统计显著性检验、方差或置信区间。
有什么可以进一步探索的点?
作者讨论了模板信息缺失、输出校验的注入面与自适应攻击者;评测覆盖 3 个模型、14 个任务。
作者指出的局限与后续方向
- 模板省略运行时上下文(5.2、5.5 节):失败模板为保安全不携带任意运行时信息,需要数据源位置等运行时观察的任务无法修复,作者称这是效用受限的原因。
- 成功 close-out 不验证输出(5.2、5.3 节):Kaer 接受成功 close-out 时不评估输出,静默失败与夹带注入的输出由此通过;作者以输出校验扩展应对,但残余的重分配攻击仍在。
- 输出校验本身可被注入影响(5.6 节):校验 LLM 读取 agent 产出的文本,恶意 agent 可嵌入指令试图让校验接受结果或按指定模板拒绝;作者论证这不给攻击者影响 planner 的新渠道,但校验判定本身可被操纵。
- 自适应攻击者只能被约束、不能被阻止(5.7 节):知晓全部模板与修复预算的攻击者可在策略范围内诱导修复(如借 REWIRE/INSERT 获得其他子任务输出),作者称 Kaer 只能限制其影响。
- 威胁模型的范围外项(第 3 节):agent 内部循环内的滥用、可信组件被攻破、经 subtask 输出直接传播的威胁、开放式任务的输出正确性验证均不在防御范围内。
- 论文未设独立的 Limitations 或 Future Work 小节,以上为 Discussion 与威胁模型中作者明说的边界。
实验覆盖范围
- 被测模型为 gpt-5.6-sol、gpt-5.6-terra、deepseek-v4-pro 共 3 个;对比系统为 Magentic-One、ControlValve 及两个消融变体。
- 基准 Cintra 含 14 个任务、14 个攻击目标、164 个任务-目标对;每配置 70 次良性、820 次攻击试验,各 5 次重复。
- 恶意 agent 固定实例化为 filesurfer(作者称因其参与每个任务,便于统一比较);攻击注入方式为在响应中附加注入指令或选择 close-out 类型。
- 输出校验扩展只在 always success close-out 策略下评测;校验用与 planner 相同的 LLM。
- 论文未报告修复预算、超时与连续拒绝次数的具体取值,未报告统计显著性检验或人工评估。
总结一下论文的主要内容
Kaer 用模板化反馈、确定性修复算子和策略校验保护多智能体重规划,在 Cintra 上安全率优于基线。
一篇多智能体系统防御论文:针对 orchestrator 式 MAS 在执行中重规划时被恶意 agent 反馈劫持的风险,提出安全重规划框架 Kaer,并自建基准 Cintra 评测。
- 问题:动态重规划让 planner 依赖 agent 反馈,恶意 agent 可在返回 payload 中嵌入注入指令操纵计划修订;作者称现有防御只做工具级访问控制或执行前静态策略,重规划阶段无人保护。
- 方法:失败 agent 只能从固定集合中选择失败模板回报(planner 收不到任何 agent 文本);计划修订只能用七个确定性修复算子、只改未完成子任务;修订计划须通过任务策略与 agent 策略校验,越权能力需用户授权;另有修复预算限制。
- 主结果(Table 5,每配置 70 良性 + 820 攻击试验):gpt-5.6-sol 上 Kaer Security 92.3%、Utility 64.3%,高于 ControlValve 的 69.8%/54.3% 与 Magentic-One 的 35.0%/91.4%;gpt-5.6-terra 上为 88.0%/65.7%。
- 例外与残余风险:deepseek-v4-pro 上 Kaer Utility 41.4% 为五系统最低;对 Kaer 成功的攻击主要经成功 close-out 的输出传播(静默失败、夹带注入),加 LLM 输出校验后攻击成功率在三个模型上分别降到 3.2%、3.5%、2.8%(Figures 8–10)。
- 作者结论:多智能体系统可以在不预先锁定计划、效用损失可控的前提下安全地重规划;作者同时指出模板省略运行时上下文导致部分任务无法修复,自适应攻击者仍可在策略范围内诱导修复,只能约束不能阻止。