Research reveals that the CaMeL defense fails in multi-agent systems and proposes multi-CaMeL

这篇论文试图解决分层多智能体系统中单个智能体的安全保证无法组合、导致间接提示注入可通过跨智能体边界劫持系统控制流的问题。

• 场景与重要性：随着基于大语言模型的智能体接入外部工具和数据源，间接提示注入攻击面大幅增加；分层智能体即工具（hierarchical agent-as-tool）架构被广泛应用于复杂工作流中，由中央协调器通过工具调用委派子任务。
• 现有防御的不足：模型级微调与输入级清洗（如 DataFilter、提示词夹心、spotlighting）依赖经验学习且缺乏确定性保证；单智能体系统级防御 CaMeL 虽通过双 LLM 模式隔离控制流与非可信数据，但其安全保证无法在多智能体交互中自动保持。
• 核心观察与假设：上游智能体从工具获取的非可信数据，在跨越智能体边界作为自然语言参数传递给下游智能体时，会被下游智能体视为可信用户输入，作者将这种失效模式称为“边界清洗（boundary laundering）”。
• 论文的提出方案：作者提出了多智能体通信协议与防御框架 multi-CaMeL，在智能体调用边界将可信自然语言指令与非可信数据通道隔离，并扩展了 MultiAgentDojo 基准进行系统级安全评估。
• 威胁模型：
  • 攻击者目标：通过在外部数据源植入恶意指令，劫持多智能体系统的控制流（如新增未经授权的邮件发送）或泄露私密数据。
  • 攻击者能力与知识：攻击者控制外部数据源（如 SQL 数据库记录、网页内容），但无法直接修改根智能体收到的用户初始指令，也不具备白盒模型权重访问权。
  • 受害系统：采用树状分层结构的 agent-as-tool 多智能体系统，各智能体即使均单独部署 CaMeL 防御，仍受下游解释影响。
  • 成功判定：系统执行了偏离预期控制流计划的未授权工具调用（如将私有信息发送至攻击者指定的外部地址）。

间接提示注入防御

• 模型级与输入级防御：Wallace 等（2024）提出 Instruction Hierarchy、Chen 等（2026）提出 Meta SecAlign，通过训练使模型区分特权指令；Wang 等（2026）的 DataFilter、Walter 等（2026）的软指令降级以及 Schulhoff 等（2023）的三明治提示词和 Hines 等（2024）的 spotlighting 则在推理期变换上下文。作者指出这些方法依赖学习得到的模型行为，缺乏严格的安全保证（Zhan 等，2025）。
• 双 LLM 模式与系统级防御：Willison（2023）提出将智能体区分为特权 LLM（PLLM）和隔离 LLM（QLLM）的双 LLM 模式；Debenedetti 等（2025）在此基础上提出 CaMeL，利用代码生成将控制流固化为 Python 程序并在工具边界执行策略检查；Foerster 等（2026）将其扩展到计算机使用场景。

多智能体协作与系统安全

• 多智能体架构：Ruan 等（2026）的 AOrchestra、Yu 等（2026）的 AdaptOrch 和 Zhang 等（2025）的 Agentorchestra 研究了分层调度框架；Shaikh 等（2027）在 FORGE 中协调五个专业智能体完成漏洞评估与利用流水线。
• 多智能体安全风险：Triedman 等（2025）展示了多智能体系统执行任意恶意代码的攻击；Naik 等（2026）在 OMNI-Leak 中研究了协调器网络引发的数据泄露；Rose 等（2026）研究了智能体间的隐蔽串通；de Witt 等（2026）与 Christodorescu 等（2026）主张将智能体安全视为系统级问题。

控制流完整性与信息流控制

• 系统安全与程序分析：Abadi 等（2005）形式化了控制流完整性（CFI）；Wu 等（2024）与 Costa 等（2025）从信息流控制视角研究系统级防御；Shi 等（2025）的 Progent 实现了可编程权限控制；Garby 等（2028）提出 LLMbda 演算并定义了 TIPNI 信息流属性。

基线方法与评测基准

• 基线方法：实验对比了无 CaMeL 防御（仅依赖模型自带安全能力）、单智能体独立 CaMeL（各智能体独立运行 CaMeL 但智能体间通信无约束）以及本文提出的 multi-CaMeL。
• 评测基准：采用真实工业运维基准 AssetOpsBench（Patel 等，2026）评估良性效用；并将单智能体基准 AgentDojo（Debenedetti 等，2024）扩展为分层多智能体评测基准 MultiAgentDojo。

本文的定位区别：作者指出，先前工作主要针对单智能体设定，而本文将控制流完整性拓展到分层多智能体系统，形式化指出了独立防御无法组合的边界清洗问题，并提出了跨智能体保持溯源的通信协议。

整体思路上，论文提出了 multi-CaMeL 框架，通过重构智能体间通信接口并扩展运行时解释器，在智能体调用边界严格分离可信自然语言指令与非可信数据，从而阻止边界清洗。

分层多智能体与控制流完整性形式化

• 分层智能体即工具系统：论文将系统形式化为元组 M = (A, H, T)，其中 A 是智能体集合，H 是以根智能体 A0 为根节点的有向树层次结构，T 是系统可用工具总集。
• 系统级控制流完整性：系统的执行若局限于仅由用户输入和环境描述决定的控制流计划，则满足控制流完整性（CFI），等价于平凡安全策略 S = ∅ 下的 CaMeL 安全性。
• 不组合性理论推导：作者给出的 Claim 论述指出，在温和的表达力假设下，任何包含非可信工具返回值的非平凡系统（智能体数量大于 1），即使每个个体智能体均满足 CFI，整体系统依然必然违背系统级 CFI。

智能体间通信协议设计

• 接口通道解耦：传统调用直接传递单一自然语言参数 query_agent_j(message: str)；multi-CaMeL 将接口重构为 query_agent_j(message: str, variables: dict[str, Any])。
• 参数语义划分：message 参数作为显示给子智能体 PLLM 的可信自然语言指令；variables 参数为不直接向子智能体 PLLM 暴露的不透明字典，用于传递源自工具调用的数据。
• 运行时变量提取工具：子智能体在执行阶段若需读取父智能体传入的不透明数据，需通过专门的辅助工具 get_variable(variable_name: str) 获取。

Multi-CaMeL 运行时解释器

• 指令通道完整性：解释器强制要求智能体调用中的 message 参数不得依赖任何工具的输出，防止非可信数据流入子智能体 PLLM 的提示词中。
• 跨智能体溯源保持：当非可信数据经由 variables 参数在智能体间传递时，解释器保留其关联的安全权能（capabilities）与数据溯源（provenance），以便在未来支持非平凡安全策略。
• 递归构建系统级控制流：根智能体生成控制流计划后，解释器在运行时将每个智能体调用展开为对应的子智能体控制流计划，保证整个系统级计划完全由可信输入确定。
• 允许分支转向而非违背 CFI：非可信数据允许在已预设的条件分支间进行选择（即 branch steering），但无法引入全新的控制流路径。

实验设置

• 被测模型：Claude Fable 5、GPT-5.5、GPT-4.1、Gemini 2.5 Pro、Gemini 2.5 Flash Lite（每个系统内部各智能体的 PLLM 与 QLLM 均采用相同模型；Section III-A 与 III-B 的动机实验使用 GPT-5.2）。
• 评测数据集与基准：AssetOpsBench（剔除 29 个不可完成任务后保留 n = 112 个工业运维任务；附录 B 报告了全部 141 个任务的结果）和 MultiAgentDojo（将 AgentDojo 扩展为分层多智能体版本，包含 Workspace、Banking、Slack、Travel 4 个任务套件，共 97 个良性任务与 35 个注入目标）。
• 对比基线：No CaMeL（仅依赖模型自带安全防护）、Individual CaMeL（各智能体独立部署 CaMeL 但跨智能体通信无额外限制）、Multi-CaMeL（部署跨智能体隔离通信协议与解释器）。
• 评测指标：攻击成功率（ASR，置信区间采用 95% Wilson score 区间）与良性任务成功率（Benign task success rate / AssetOpsBench score，采用 95% Wald 区间）。
• 评审方式：AssetOpsBench 采用具备特权信息的 LLM 评判器（LLM judge）打分；MultiAgentDojo 继承 AgentDojo 的自动化环境状态判定与注入目标达成检验。
• 样本规模与配置：MultiAgentDojo 每个模型及配置评测 n = 949 个注入任务实例；AssetOpsBench 评测 112 个任务；提示词中为所有工具补充了完整的返回模式（return schemas）。

主结果

Swipe horizontally to read the table

（据 Table III，方括号内为 95% Wilson score 置信区间，n = 949）

• 完全消除残余攻击：作者称 multi-CaMeL 将所有被测模型的 ASR 降低至 0.0%，消除了单智能体 CaMeL 下因边界清洗遗留的攻击成功用例（Table III）。
• 单智能体 CaMeL 仍有漏洞：单智能体 CaMeL 将平均 ASR 从 12.9% 降至 0.2%，但在 GPT-4.1（0.5%）和 Gemini 2.5 Pro（0.4%）上仍存在攻击成功的情况，作者确认所有残留成功攻击均源于边界清洗（Table III）。
• GPT-5.5 的基线表现：GPT-5.5 在无 CaMeL 条件下的 ASR 亦为 0.0%，但作者指出这不能解释为对间接注入具有普遍免疫力，更可能反映基准中攻击的多样性局限（Table III 批注）。

良性效用代价评测

• AssetOpsBench 工业运维任务：相对于无 CaMeL 基准，单智能体 CaMeL 平均降低 21.6 个百分点，而在两个最强模型（Claude Fable 5 与 GPT-5.5）上平均降低 13.4 个百分点；multi-CaMeL 较单智能体 CaMeL 仅进一步降低 3.2 个百分点，在两款最强模型上仅进一步降低 0.85 个百分点（Figure 5，Table IV）。
• MultiAgentDojo 任务成功率：在排除拒绝样本后，Claude Fable 5 在 multi-CaMeL 下成功率为 84.4% ± 10.6%（与单智能体 CaMeL 相同，较无防御的 91.1% 降 6.7 个百分点）；GPT-5.5 成功率从无防御的 86.6% 降至 multi-CaMeL 的 66.0%（降 20.6 个百分点）；较弱模型降幅更大（GPT-4.1 下降 53.7 个百分点，Gemini 2.5 Pro 下降 49.5 个百分点）（Figure 6，Table V）。
• 能力越强代价越小趋势：作者称更强的模型能够更好地适应协议施加的预先规划与变量分离约束，因而整体效用下降更小（Figure 5、Figure 6）。

基准保真度与动机验证实验

• MultiAgentDojo 难度保真度：在无 CaMeL 和无注入条件下，5 款模型在 MultiAgentDojo 上的平均良性成功率为 71.7%，略高于原始单智能体 AgentDojo 的 71.0%（平均上升 0.7 个百分点），所有模型的置信区间均有重叠，作者称这表明将工具划分为多智能体并未扭曲基准难度（Table II）。
• OMNI-Leak 场景单智能体防御测试：在 OMNI-Leak 编排拓扑中测试 5 次（temperature=1，GPT-5.2），单智能体 CaMeL 成功防御了针对单个智能体控制流的攻击，实现 0% ASR 与 100% 良性查询准确率（Section III-B）。

其他消融与分析

• AssetOpsBench 全量任务评估：在未剔除 29 个不可能任务的全部 141 个任务上，multi-CaMeL 相对无 CaMeL 的效用降幅分别为 Claude Fable 5（-27.0）、GPT-5.5（-14.2）、GPT-4.1（-34.8）、Gemini 2.5 Pro（-25.6）、Gemini 2.5 Flash Lite（-36.2）（Figure 8）。
• Claude Fable 5 良性拒答统计：在 MultiAgentDojo 的 97 个良性任务中，Claude Fable 5 拒绝了 52 个任务（拒答率 53.6%），作者推测其将基准环境特征保守关联到了对抗意图（Section V-B1）。

负面结果与失效模式

• 控制流预先承诺导致的效用失败：CaMeL 要求在观察到运行时数据之前生成控制流程序，当某些任务的后续动作依赖于前期工具返回内容的具体结果时，智能体无法动态增补调用（Section V-C2）。
• 未经校验的范围替换：在 AssetOpsBench 中，当子智能体因无数据而返回邻近资产或时间范围的数据时，父智能体因预先生成的程序缺乏校验而继续执行，导致任务失败（Section V-C2）。

作者指出的局限与后续方向

• 拓扑结构局限于树状分层：当前分析仅针对树状层次结构（每个非根智能体具有唯一父节点且全为父子通信），作者指出若智能体拥有多个父节点，需要处理并发调用与会话历史状态是否保留的问题（Section VI-A）。
• 扩展至更一般的多智能体架构：作者指出将 multi-CaMeL 原则形式化扩展到有向无环图（DAG）、有环图、共享内存系统和点对点（P2P）异步通信架构，并证明其系统级 CFI，是重要的未来工作（Section VI-A）。
• 与更强信息流安全保证（TIPNI）的理论联系：multi-CaMeL 允许非可信数据在已有分支间进行分支转向（branch steering），因此可能违反 Garby 等提出的终止无关概率非干涉（TIPNI），形式化理清 CFI 与 TIPNI 的强弱关系有待后续研究（Section VI-B）。
• 解释器缺失控制流隐式依赖跟踪：multi-CaMeL 继承了 CaMeL 解释器的实现缺陷，对于未执行分支中的赋值等控制流隐式依赖无法健全跟踪，可能导致变量被误标为可信，健全跟踪此类依赖是重要改进方向（Section VI-B1）。
• 更强通信机制下的限制保障：随着智能体策略性增强及通信渠道变复杂，传统的隐蔽信道消除与容量缩减等限制技术可能不再充分，建立适用于 multi-CaMeL 的适当限制（confinement）保证是未来方向（Section VI-B2）。

实验覆盖范围

• 被测模型范围：主实验评估了 5 款大语言模型（Claude Fable 5、GPT-5.5、GPT-4.1、Gemini 2.5 Pro、Gemini 2.5 Flash Lite），动机实验测试了 GPT-5.2。
• 评测环境与任务集：评测覆盖了 AssetOpsBench（112 个可完成任务与全量 141 个任务）以及基于 AgentDojo 构建的 MultiAgentDojo（4 个套件共 97 个良性任务与 35 个注入目标，每个配置 949 次注入测试）。
• 安全策略配置：所有实验均在平凡安全策略（S = ∅，即无非平凡策略）下配置评估，论文未对非平凡安全策略进行定量实验。
• 重试机制配置：当前 multi-CaMeL 实现未配置执行失败时的外部重试循环（retry loop）。
• 工具描述模式：实验统一对工具描述进行了人工返回模式（return schemas）补充，论文未报告未补充模式时的定量基线。

• 论文定位：这是一项针对分层多智能体系统在间接提示注入威胁下的安全性与防御协议研究。
• 核心问题：现有单智能体系统级防御（如 CaMeL）无法在多智能体交互中自动组合，上游智能体获取的非可信数据经跨边界传递后会被下游智能体的规划模型视为可信输入，从而发生“边界清洗”并劫持系统控制流。
• 防御方法：提出 multi-CaMeL 通信协议与扩展解释器，将跨智能体调用强制解耦为可信指令通道（message）与不透明数据通道（variables），在运行时维持指令通道完整性与数据溯源。
• 核心实验结果：
  • 在 MultiAgentDojo 上，multi-CaMeL 将 5 款模型的平均攻击成功率从无防御的 12.9% 和单智能体 CaMeL 的 0.2% 降低至 0.0%，消除了残留攻击（Table III）。
  • 在良性效用上，AssetOpsBench 中 multi-CaMeL 较单智能体 CaMeL 平均仅多损失 3.2 个百分点，在 Claude Fable 5 与 GPT-5.5 上额外损失仅 0.85 个百分点（Figure 5）。
  • 效用损失随着模型能力的提升而呈现收窄趋势，作者称这提示能力更强的模型更能适应预定义控制流与变量解耦的约束（Figure 5、Figure 6）。
• 作者结论与启示：作者指出“跨越智能体边界不得隐式提升信息的可信度”是多智能体安全的核心原则；单纯保护每个个体智能体并不足以保障系统安全，必须在系统交互接口处对指令与数据实施显式隔离。