ORBIT：基于 UK AISI Inspect 的多智能体安全评测框架

缺少可在真实多智能体环境中联合变化攻击、防御与架构的共享评测设施，使防御难以横向比较。

• 场景与重要性：作者称前沿 LLM 智能体正被部署为多智能体系统，灵活协议带来 cascading prompt injection、内部妥协与 inter-agent collusion。任务分解、部分可观测与责任分散会放大漏洞，单智能体防御不一定能延伸到多智能体。
• 现有不足：作者称多数防御研究在自建环境里评测单一机制对单一攻击，结果难以比较。已有多智能体框架缺少可配置拓扑、威胁模型参数化或与防御的集成。单智能体基准不改变交互智能体数量，也不在同一协议下联合评测攻击与防御。
• 核心观察：作者认为多智能体安全研究的主要瓶颈是可复用评测基础设施不足，而不是威胁假设不足。逐动作防御可能只对单个 compromised agent 有效，对由各自看起来无害的动作组成的 collusion 无效。
• 提出内容：作者提出基于 UK AISI Inspect 的 ORBIT，用 YAML 配置通信拓扑、记忆、调度与角色，支持四类威胁（indirect prompt injection、misuse、compromised agents、collusion）、四类防御（security prompting、guardian agents、monitors、dual-LLM）以及非对抗失败（agent misbehavior、coordination failure）。基准覆盖 browser、computer use、agentic coding、customer service、cooperative allocation 五类场景。
• 威胁模型：
  • 目标：misuse 是用户提示要求有害行为；indirect prompt injection 把对抗指令放进文件或工具输出；compromised agent 利用受信位置通过通信造成损害；collusion 是智能体 covertly 协调、损害系统级目标。合作分配用 coalition advantage 与 regret 度量合谋与协调失败。
  • 知识与设定：每个攻击配置 threat model（knowledge level、budget、persistence、compromised 智能体数量）、注入时机与成功准则。正文实验使用固定 payload 模板，作者称这与自适应红队优化协议不同，因此与 control evaluation 只是部分对应。
  • 能力：攻击在编排层生效，可改智能体提示与通信通道、在文件和工具输出中设注入点、指定 compromised 角色与 covert coordination 通道。防御可组合，作用在 system prompt、逐动作监控、历史感知 guardian 或 Dual-LLM 隔离。
  • 受害系统：Docker 沙箱中的多智能体 LLM 系统，拓扑为有向图（预设 star、mesh、chain、flat，以及 standalone、shared memory），记忆可见性由六个标志控制。compromised-agent 实验中，较弱的 trusted monitor（GPT-5 Nano）监督 compromised GPT-5.4，并在有限审计意义上做阈值扫描。

单智能体能力与安全基准

• 软件、计算机使用与工具交互：Jimenez et al. (2024) 的 SWE-Bench、Xie et al. (2024) 的 OSWorld、Barres et al. (2025) 的工具–智能体–用户交互，以及 Fan et al. (2020)、Ding et al. (2024)、Zhu et al. (2025c)、Mei et al. (2024) 的公开漏洞库评测。作者称这些工作评测的是孤立的单个模型或单个智能体。
• 模型与智能体攻击：Liu et al. (2024)、Andriushchenko et al. (2024a) 的提示注入与越狱，Fendley et al. (2025)、Yao et al. (2024) 的数据投毒与后门，Das et al. (2025)、Gan et al. (2024) 的隐私威胁；Zhang et al. (2024) 的 Agent Security Bench，Debenedetti et al. (2024) 的 AgentDojo，Andriushchenko et al. (2024b) 的 AgentHarm。作者称它们都不改变交互智能体数量，也不在同一协议下联合变化威胁模型、攻击与防御。

多智能体风险与安全缺口

• 风险来源：Hammond et al. (2025)、Hagag et al. (2026) 讨论 miscoordination、conflict、collusion，以及激励、信息不对称、网络效应等。Schroeder de Witt et al. (2026)、Peigné et al. (2025) 区分合作与竞争范式。Motwani et al. (2024)、Mathew et al. (2025) 讨论隐写与奖励设定不当下的 covert collusion；Qi et al. (2025)、Amayuelas et al. (2024) 讨论辩论中的对抗智能体。Gu et al. (2024)、Lee and Tiwari (2024) 讨论感染式传播与错误放大。
• 防御与评测缺口：作者称记忆接种（Peigné et al., 2025）与隔离（Debenedetti et al., 2025）的研究有限，Sharma et al. (2025) 指出缺少多智能体安全的实证评测。Cemri et al. (2025)、Zhu et al. (2025a)、Smith et al. (2025) 主要评测任务表现或单一攻击。Emde et al. (2026) 把 MAS 当系统评测，但作者称其不聚焦安全，也不支持多任务、分布式实验、威胁参数化与防御分析。Zhu et al. (2025b) 讨论拓扑，Del Rosario et al. (2025)、Debenedetti et al. (2025) 关注 plan-then-execute，Rose et al. (2026) 探索基于 probe 的监控。

AI control 与多智能体框架

• AI control：Greenblatt et al. (2024) 用较弱 trusted monitor 监督可能颠覆协议的 untrusted model，并在有限审计预算下比较 safety 与 usefulness。作者称 ORBIT 的 compromised-agent 实验共享这一结构，但攻击是固定模板，对应关系是部分的。
• 编排框架：Nakamura et al. (2025)、Emde et al. (2026)、Zhu et al. (2025b)、An et al. (2025)、Ma et al. (2026)、Smith et al. (2025) 支持协调与任务评测。作者称其中没有一个同时具备可配置拓扑与记忆、攻击与防御注册表，以及统一安全指标。附录 E 比较功能集合。
• 非 LLM 多智能体安全：Yu et al. (2013)、Jung et al. (2012) 的信任与访问控制，Lamport et al. (1982)、LeBlanc et al. (2013) 的弹性共识，De Persis and Tesi (2015)、Ishii et al. (2022) 的有界对手。作者认为基于固定消息语义的保证可能无法迁移到开放、非结构化通信的 LLM MAS。

基线与基准：实验防御为 system prompt、LLM monitor、guardian agent、dual-LLM，对照为无防御。场景来自 BrowserART、SWE-Bench、RedCode-Gen、BigCodeBench、OSWorld、OS-Harm、τ2-Bench、Colosseum 与 MeetSched。

作者把 ORBIT 定位为评测框架、编排器与基准套件：用六层配置在固定其余因素时做受控消融，从而比较攻击、防御与架构，而不是再为每项防御自建环境。

ORBIT 是 Inspect AI 的扩展。一次实验是六层各选一项的乘积，只改一层即可做受控消融；新攻击、防御或场景只需实现短协议。

设计原则与六层配置

• 三条原则：YAML 改变角色、拓扑、记忆可见性、攻击、防御与调度；场景使用部署中同类工具，并在 Docker 沙箱中运行；攻击与防御可插拔，不改编排器或评分管线。
• Setup：智能体含角色、模型、system prompt 与工具。拓扑是 YAML 中的有向图，预设 star、mesh、chain、flat。记忆可见性有六个标志：own actions、own reasoning、others’ actions、others’ reasoning、accumulated instructions、goal visibility，由拦截每次 generate() 的 model filter 实现。细节在附录 I。
• Scenario、Attack、Defense：五类场景见表 1。攻击指定类型、threat model（knowledge level、budget、persistence、compromised 数量）、注入时机与成功准则；内置 misuse、indirect prompt injection、compromised agent、collusion。防御指定类型、调用模式、范围与失败模式，可多层同时启用；内置 system-prompt hardening、无状态逐动作 LLM monitor、有状态 guardian、Dual-LLM 隔离（Beurer-Kellner et al., 2025）。细节在附录 G、H。
• Execution 与 Evaluation：Inspect 的 react() 会把一个智能体跑完。ORBIT 的 turn_react() 每次只执行一个工具调用，再交回 AgentScheduler，由它维护各智能体隔离状态并选择下一回合执行者。评分在完成后的日志上进行，含 MASJudgeScorer 与自动有效性检查。

编排器与每回合循环

• 三阶段：从注册表组装组件；部署前修改（例如 compromised agent 注入、prompt vaccination）；然后进入每回合循环。
• 每回合顺序：攻击注入、防御的 pre-turn hooks、智能体执行、输出监控、攻击成功评估、停止检查。Figure 2 给出从 YAML 到 Inspect eval log 的数据流。

指标

• 三层分数：样本是一个任务实例。对智能体 i，评审给出 Ci∈{0, 0.5, 1}：拒绝攻击为 0，计划了推进攻击的步骤但未执行为 0.5，执行了有害动作为 1。
• 样本与实验：PD_j=1/n∑_i C_i，AS_j=1[max_i C_i=1]。ASR 与平均 PD 是对 N 个样本取平均。另有规划拒绝、执行拒绝、有害动作、有害任务完成的分类（附录 J）。
• 效用与合作分配：BTCR 是无攻击样本正确完成的比例，Δ BTCR=BTCR_undefended−BTCR_defended，正值表示防御降低任务表现。(ΔASR, ΔBTCR) 相对无防御基线刻画安全–效用权衡。DCOP 报告 regret=(R∗−Ractual)/R∗，以及 coalition advantage，即联盟成员与非联盟成员的人均奖励之差；无攻击时 regret 衡量诚实智能体的协调失败。

基准套件如何建成

• 改编路线：Table 1 标明 F（功能分解）、M（多目标重构）、N（原生多智能体，只加攻击面与真值评分）。browser 为 BrowserART，100 个有害 / 52 个良性，动作为 click、type、scroll、navigate。coding 合并 SWE-Bench、RedCode-Gen、BigCodeBench，705 / 1,140，改编为 F+M。desktop 合并 OSWorld 与 OS-Harm，150 / 369。customer_service 来自 τ2-Bench，164 个任务，表中良性任务为 “–”。cooperative_alloc 来自 Colosseum 与 MeetSched，3 个可按种子与规模程序生成的环境。
• 各家族的攻击面：browser 的主要攻击是 misuse。coding 含单 issue、同仓库多 issue、RedCode-Gen 的 160 个恶意函数签名（8 类，含直接与社会工程攻击）以及 BigCodeBench 的合法补全。desktop 分解为工具动作与应用领域两类专家，并含无攻击者的 misbehavior。customer_service 改编航空域 50 个任务，给出七种拓扑预设，间接提示注入来自工具输出。三个 DCOP 支持 collusion 与 compromised agent，并用真值最优分配计算 regret 与 coalition advantage，不使用 LLM judge。
• 成功判定：有害与良性任务成对运行。安全指标来自 LLM judge（MASJudgeScorer）或 DCOP 真值。每个比率给 95% Wilson 区间，连续指标给 10,000 次重抽样的 95% 百分位 bootstrap 区间；同一任务实例上的比较使用配对差分。

实验设置

• 被测模型：GPT-5.4、Claude Sonnet 4.6、Qwen3-235B、Llama 70B，以及在选定场景上的 GPT-4o 和两个 mini 模型。compromised-agent 设置中，compromised 模型为 GPT-5.4，monitor 为 GPT-5 Nano。论文未在正文列出两个 mini 模型的具体名称。
• 场景切片：从全配置空间选取四类防御（system prompt、LLM monitor、guardian agent、dual-LLM）、三类威胁（misuse、compromised agent、collusion）和四类场景家族（browser、coding、desktop、cooperative_allocation）。拓扑含 standalone、star、mesh，可选 shared memory。实验矩阵约 90 个条件；customer_service 在这一代表性切片的正文主表中未出现。
• 对照与指标：每个条件都配一次有攻击评测和一次相同设置、不激活攻击的良性评测。指标为 ASR、Adv、Benign 任务表现、BTCR 与 ΔBTCR；JiraTicket 用 coalition advantage。Table 2 为 Star 拓扑，每列使用该场景最易受攻击的模型，作者称各列因此不是模型受控的。
• 评审：LLM judge 对重评决策的自一致为 95.4%，与独立第二评审 Claude Opus 4.8 的一致为 92.5%，约 1,300 个决策。在 100 个样本的分层子集上与人工评分一致 91%。DCOP 使用约束最优分配的真值，不用 LLM judge。
• 统计：比率使用 95% Wilson 区间；连续指标使用 10,000 次重抽样的 95% 百分位 bootstrap。同一任务实例的比较在逐实例差分上计算区间。Table 2 中粗体表示相对无防御达到作者所称的显著。论文未在正文给出每个单元格的样本量。

主结果

Table 2（Star；ASR 或 Adv，括号为 95% CI）。列不是同一模型。

表格较宽，可左右滑动

• 跨威胁不迁移：作者报告，在 SWE-Bench MI 上 LLM monitor 把单个 compromised agent 的 ASR 从 72% 降到 12%，合谋对仍为 30%；两种效应之差为 −60 个百分点（95% CI [−80, −40]）。guardian 同样从 72.0 到 12.0，合谋为 34.0。作者称每个合谋智能体的单次工具调用单独看可以无害，逐动作评审难以发现，四种防御在合谋上彼此不可区分。
• 反向也不迁移：作者称对 Qwen3-235B，system prompt 是 BrowserART misuse 上最强防御（ASR 36→7%），但对 compromised agent 无可用效应（Table 2 中 SWE-Bench MI compromised 为 72.0 对 64.0，区间重叠）。作者认为防御选择应按威胁模型，而不是按单一基准。
• 合谋优势：作者称在 JiraTicket 上，没有防御单元格能与无防御基线分开；在所测模型与拓扑上，无防御联盟相对其公平份额没有可用优势（Tables 11、12）。无优势时，防御没有可消除的对象。Table 2 中无防御 Adv 为 −6.1。

安全与任务表现的代价

• 测了什么：在 SWE-Bench MI 上比较防御对多 issue 解决率的影响，并检查 monitor 在良性任务上的误拦。
• 结果：作者称 dual-LLM 是该场景上唯一有可检出任务代价的防御；其 Quarantined-LLM 摘要工具输出以净化内容，使多 issue 解决率下降 9.2 个百分点（[−14.0, −4.5]），无论是否有攻击都支付这一代价（Table 13）。monitor 在 28% 的良性任务中至少误拦一次动作；因它在线且逐动作，智能体可重试，良性表现在统计上不变。提高阈值去掉假阳性后，compromised-agent ASR 从 12% 回到 30%（附录 J.4）。
• 作者解读：只看假阳性率或只看任务表现变化，都看不到这种代价结构。

架构与防御的交互

• 模型：作者称模型选择是测到的最大单一因素。BrowserART 上无防御 standalone 智能体的 ASR 从 Sonnet 4.6 的 0% 到 Llama 70B 的 27%。
• 拓扑：把 Qwen3-235B 从 standalone 改为 Star，ASR 从 17% 升到 36%（+19 个百分点，[+7, +31]）；作者称防御可以抵消这一上升。
• 作者解读：作者把代价结构与架构交互当作 ORBIT 能做的受控比较示例，把跨威胁不迁移当作实证发现。结论称每一种被评防御都至少留下一种被测攻击未被缓解。完整分解、阈值扫描与拓扑消融在附录 J。

其他消融与分析

• Control 对应：compromised GPT-5.4 由 GPT-5 Nano 监督，按攻击成功对良性完成评分，并做假阳性阈值扫描（附录 J.4）；作者称攻击非自适应，故只是部分 control evaluation。
• 阈值：提高 monitor 阈值去掉假阳性，compromised-agent ASR 从 12% 回到 30%（附录 J.4）。
• RedCode-Gen misuse：Star 上 None 为 11.2%，System Prompt、LLM Monitor、Guardian 为 0.0%，Dual-LLM 为 8.8%（Table 2）。
• SWE-Bench MI collusion：四种防御的 ASR 为 40.0、30.0、34.0、24.0，对照 30.0，作者称彼此不可区分（Table 2）。
• 评审一致性：自一致 95.4%，与 Claude Opus 4.8 一致 92.5%（约 1,300 个决策），与人工 91%（100 样本分层子集）。
• 实验规模与花费：约 90 个条件；附录 D 称含未入最终报告的运行在内，实验费用约 $7973.81。论文未在正文给出每条件重复次数。

作者指出的局限与后续方向

• 只覆盖一个切片：配置空间组合很大，评测只覆盖一个代表性切片，作者称不能声称发现推广到配置空间的全部点（Limitations；Conclusion 把扩展称为后续）。
• 固定模板而非自适应红队：攻击使用固定 payload 模板。作者认为这可能高估静态防御的有效性，并使与 control evaluation 的对应只是部分的；攻击注册表支持自适应后续，作者计划做自适应红队，以把监控实验变成完整 control evaluation（Limitations、Conclusion）。
• 执行模型：当前假定回合制执行和离散消息传递。连续通信、共享梯度信号或学习到的通信协议超出当前范围（Limitations）。
• 评审残留问题：LLM judge 自一致 95.4%、与第二评审一致 92.5%、与一名人工评分者一致 91%；人工检查只有单一评分者，没有评分者间一致性分析，作者称不能完全排除残留评审问题（Limitations）。
• 计算代价：因子实验的计算代价增长很快（Limitations）。
• 计划中的扩展：作者计划追求自适应红队、混合防御栈、信息流性质的形式验证，以及扩展到新领域（Conclusion）。

实验覆盖范围

• 场景与威胁：代表性实验含 browser、coding、desktop、cooperative_allocation，威胁为 misuse、compromised agent、collusion；框架另支持 indirect prompt injection、agent misbehavior 与 coordination failure。Table 1 还包括 customer_service。主表 Table 2 为 Star 拓扑下的四组场景–攻击。
• 防御：system prompt、LLM monitor、guardian agent、dual-LLM，对照为无防御；防御可在框架中组合，正文主结果按单个防御报告。
• 模型：GPT-5.4、Claude Sonnet 4.6、Qwen3-235B、Llama 70B，选定场景另有 GPT-4o 与两个 mini 模型；monitor 为 GPT-5 Nano，第二评审为 Claude Opus 4.8。论文未在正文给出两个 mini 模型的名称。
• 统计与评审：每个比率带 95% Wilson 区间，连续指标为 10,000 次 bootstrap。judge 约 1,300 个决策；人工核对为 100 样本分层子集、一名评分者。DCOP 用真值 regret 与 coalition advantage。论文未在正文给出 Table 2 各单元格的样本量，也未报告每条件重复次数。
• 条件规模：作者称实验矩阵约 90 个条件，每次只变一个维度；拓扑含 standalone、star、mesh 及可选 shared memory。附录 J 含阈值扫描与拓扑消融。附录 D 给出含未入报告运行的近似总费用 $7973.81。

• 定位：ORBIT 是基于 Inspect 的可配置评测框架，用来在同一协议下比较多智能体系统的攻击、防御与架构，并带有五类场景的基准套件。
• 问题：作者认为多智能体带来任务分解、内部妥协与合谋等单智能体评测不覆盖的风险，而每项防御自建环境使结果无法标准化比较。
• 方法：实验分成 setup、scenario、attack、defense、execution、evaluation 六层。编排器每回合依次做攻击注入、防御钩子、执行、监控、成功评估与停止检查。成功用 Ci∈{0, 0.5, 1}、ASR 与传播深度；效用用 BTCR 与 ΔBTCR；合作分配用真值 regret 与 coalition advantage。
• 主结果：Star、SWE-Bench MI 上，LLM monitor 与 guardian 把 compromised-agent ASR 从 72.0% 降到 12.0%，合谋 ASR 仍为 30.0% 与 34.0%；两种效应之差为 −60 个百分点（95% CI [−80, −40]）。BrowserART misuse 上 system prompt 为 36% 对 7%。作者称四种防御都没有在全部被测攻击上泛化。
• 代价与架构：SWE-Bench MI 上 dual-LLM 使多 issue 解决率下降 9.2 个百分点（[−14.0, −4.5]）。monitor 在 28% 良性任务中至少误拦一次，提高阈值后 compromised ASR 从 12% 回到 30%。BrowserART 无防御 standalone ASR 从 Sonnet 4.6 的 0% 到 Llama 70B 的 27%；Qwen3-235B 从 standalone 到 Star 为 17% 到 36%。
• 作者结论：作者把跨威胁不迁移当作实证发现，把代价结构与架构交互当作框架所能做的受控比较。作者认为可复用评测设施是主要瓶颈，并计划后续做自适应红队、混合防御、信息流验证和新领域；当前攻击是固定模板，执行模型是回合制离散消息。