MAS-Guard：从单个智能体到多智能体 LLM 系统的统一护栏

1. 01这篇论文试图解决什么问题？

   MAS-Guard用本地专家与系统章程，统一防护可插桩与不透明智能体。

   如何在混合了可插桩与不透明智能体的单智能体和多智能体应用里，对不安全动作、信息泄露和对抗操纵做一致的运行时防护。

   • 场景：作者认为LLM智能体把生成扩展到检索、调用工具和协作后，工具选错或检索内容中的恶意指令可能触发不可逆动作或泄露；多智能体里，智能体间消息同时是任务数据和控制信号，局部失败可经委托、共享上下文和下游工具扩散。
   • 现有不足：作者称现有防御在威胁表面、作用范围和执法上碎片化：多针对提示注入或工具使用等单一失败模式，多围绕单个智能体而非路由、角色和信任边界，也难以在异构护栏上使用同一干预策略。基于异常检测或允许控制流图的工作只覆盖其中一部分。
   • 观察：作者指出真实部署常把可插桩智能体（执行环可检查并停止工具调用或消息）与只暴露请求–响应接口的不透明智能体放在一起；没有单个智能体看到全部上下文，不安全行为仍可出现在共享边界。
   • 本文做法：提出MAS-Guard。可插桩智能体上的A-Guard用任务专家检查本地事件；系统层用开发者拥有的Agent Charter和Control Plane做路由、能力、消息格式的确定性检查，以及角色与内容的语义评估。摘要中的干预为allow、reflection、confirmation、block。
   • 威胁模型
     • 目标：不安全动作执行、信息泄露、任务操纵或资源耗尽。
     • 能力：可操纵用户输入、工具输出、外部内容、agent-to-agent消息，或一个或多个参与智能体。
     • 假设：护栏G能观察并拦截MAS编排层暴露的事件；编排层被假设为可信、可观测、可插桩。可插桩指执行环有集成点，不要求权重、隐藏推理或全部内部状态。
     • 受害系统：系统所有者为终端用户部署的智能体应用。单智能体是没有agent–agent边的特例。不透明智能体只在外部边界受防护。

   收起这一问

2. 02有哪些相关研究？

   相关工作分本地运行时防御与多智能体攻防；作者用章程和共享干预连接二者。

   作者按单智能体风险、运行时防御和多智能体攻防组织相关工作，并把本文放在本地护栏与系统级策略的连接处。

   单智能体风险

   • ToolEmu（Ruan et al., 2024）用仿真沙箱考察欠指定请求下的不安全动作；Greshake et al.（2023）研究经检索内容实施的间接提示注入。
   • InjecAgent、AgentDojo和Agent Security Bench评测单智能体环境中的注入及相关失败。作者认为这促使在本地执行边界设防。

   运行时防御

   • Sandwich（Schulhoff, 2024）强化任务指令，Delimiter（Hines et al., 2024）标记不可信内容，ACI-Sentinel（An et al., 2026）按查询相关性过滤输出。
   • LlamaFirewall（Chennabasappa et al., 2025）组合提示注入、对齐和代码安全检查；ToolSafe（Mou et al., 2026）评估工具调用并给出纠正反馈；AgentDoG（Liu et al., 2026b,a）审计智能体轨迹。
   • FIDES（Costa et al., 2025）用沙箱访问和查询改变对不可信内容的访问模式；AgentSpec（Wang et al., 2026）使用触发–谓词–执行规则。

   多智能体风险与防御

   • Prompt Infection（Lee and Tiwari, 2024）和Agent-in-the-Middle（He et al., 2025）利用指令传播与智能体间通信。隐私研究考察泄露和外泄（Patil et al., 2025; El Yagoubi et al., 2026; Naik et al., 2026）。TAMAS与ACIArena研究跨框架和拓扑的攻击。
   • GUARDIAN（Zhou et al., 2025）建立错误传播模型，ControlValve（Jha et al., 2026）施加控制流约束。引言称二者处理的是重要子集，但本身不提供横跨本地执行与跨智能体边界的共同护栏层。

   实验中的基线与基准

   • 基线方法：No-Guardrail，以及Sandwich、Delimiter、ACI-Sentinel、LlamaFirewall、ToolSafe、AgentDoG、AgentDoG-1.5、FIDES。
   • 基准：ACIArena、TAMAS、AgentLeak、OmniLeak、OverThink、Agent Security Bench（Table 2）。

   作者将MAS-Guard定位为把本地护栏接到关于角色、通信路由和能力的系统级策略上，用确定性检查、语义合规评估和共享干预，为可插桩与不透明智能体提供共同框架。

   收起这一问

3. 03论文如何解决这个问题？

   MAS-Guard用本地专家和章程、控制平面，把边界事件映射到四种共享干预。

   MAS-Guard把应用看成一串可观测运行时事件，在用户–智能体、智能体–工具和智能体–智能体边界上，用本地专家和系统策略给出同一组干预。单智能体是没有agent–agent边的特例。不透明智能体只在编排层暴露的边界上受防护，前提是编排层可信、可观测、可插桩。

   问题设定与目标

   • 事件写成et = (τt, st, rt, xt, ct)：类型、发送方、接收方、载荷和上下文。系统所有者给出策略Π，其中包括各智能体章程C。
   • 护栏对当前事件和此前历史作判定：G(e_t, e_<t, C, Π) → (y_t, m_t)。yt表示是否违规，mt在allow、reflect、confirm、block中取一个。
   • 目标是压低对抗回合的攻击成功率，同时把良性效用保持在参照以上：min_G ASR(G; D_adv) s.t. U(G; D_ben) ≥ U。U是无护栏基线95%置信区间的下端；效用点估计达到或超过U即满足该准则。

   本地层 A-Guard

   • 通过执行钩子拦截用户输入、工具注册、工具调用、工具结果和智能体响应，在被观察、投递或执行之前检查。论文举例：OpenAI Agents SDK和Google ADK可经运行时回调插桩；只经A2A协议访问、且护栏只能拦截交换消息的第三方智能体属于不透明情形。
   • 每个专家声明适用的事件类型和静态条件。对事件et只跑合格专家，并行执行，输出共享裁决。合格规则用来跳过无关或受信任事件。
   • 实现了三个专家：User Prompt Injection检查用户轮次中的直接提示注入；Tool-Result Prompt Injection检查外部工具结果中的间接提示注入；Sensitive Unintended Tool Call判断非只读动作是否被用户意图和执行上下文支持。作者称三者对应OWASP Top 10 for LLM Applications中的Prompt Injection与Excessive Agency。
   • 专家使用Gemma-4-26B-A4B-IT，与行动智能体的模型分开。提示词用APO循环优化，目标是平衡准确率BA = (TPR + TNR) / 2，约束假阳率至多1%；开发集2,200条，来自InjecAgent、τ-bench、Agent-SafetyBench、BrowseSafe Bench和AgentDojo，与正式评测不相交。附录E给出循环设计和提示词摘要；作者不公开逐字提示词。架构不限于这三个专家或这一模型。
   • 只读豁免依赖集成方给出的readOnlyHint=true，不从工具名或检索文本推断。工具注册、智能体响应和RAG插入在当前实现中没有合格专家。解码为temperature 0、top-p 1、seed 0。

   系统层：Agent Charter 与 Control Plane

   • Charter是可复用的角色合同：目标、输入/输出合同（接受的格式、禁止的内容类型、语义主题策略）和互斥的in_scope与out_of_scope。主题策略可以是unconstrained、allowlist、denylist或allow_and_deny，用自然语言描述允许或禁止的内容。
   • Control Plane把运行时身份绑到Charter，并配置路由、护栏和干预。路由含always_allow、always_block和未列出路由的回退，优先级为always_block > always_allow > 未列出路由的动作。允许的边不跳过内容或章程检查。Table 1概括组件；附录A、B给字段。
   • 能用代码判定的要求优先确定性执行，如消息格式和许可路由。语义检查覆盖主题和角色。实验配置为enforce模式，事件处理超时45秒（附录G）。超时到期时，当前实现取消未完成检查、记录超时并fail open（附录B）。

   干预聚合与策略编写

   • 每个护栏返回二元违规触发和理由。多裁决取最严：BLOCK > CONFIRMATION > REFLECTION > ALLOW。没有多数投票，也没有额外的模型裁决层。第4.4节把摘要中的reflect、confirm写成REFLECTION、CONFIRMATION。
   • ALLOW放行。REFLECTION不阻断，把反馈交回智能体。CONFIRMATION暂停并要求用户明确批准；实验不模拟交互式批准，未获批准则扣下待执行操作。BLOCK阻止投递或执行。
   • 章程由Codex与GPT-5.6-Sol（high reasoning effort）根据基准文档和与测试集不相交的开发样本起草，测试前固定。AgentLeak是例外：固定构造器按每条场景声明的允许和禁止字段填模板。

   收起这一问

4. 04论文做了哪些实验？

   作者报告三智能体、六基准 overall ASR 为 4.2%、4.8%、8.8%，且达到效用参照。

   实验围绕三个问题：能否在不明显损害良性效用时降低攻击成功；该权衡是否跨骨干和攻击族成立；本地A-Guard、确定性检查和语义检查各贡献多少。

   实验设置

   • 被测智能体：GPT-5.6-Terra、Muse-Glimmer-30B、Grok-4.3。语义专家固定为Gemma-4-26B-A4B-IT，与产生动作的模型分开。
   • 基准与规模（Table 2，对抗/良性回合）：ACIArena 1,000/99；TAMAS 355/355；AgentLeak 666/334；OmniLeak 1,000/500；OverThink 2,324/332；ASB 1,270/230。OmniLeak是作者对Naik et al.（2026）的重构与扩展。
   • 对照：No-Guardrail，以及Sandwich、Delimiter、ACI-Sentinel、LlamaFirewall、ToolSafe、AgentDoG、AgentDoG-1.5、FIDES。
   • 指标：各基准保留自己的攻击成功与任务完成定义，再汇总为ASR和Utility（Table 2）。overall是跨基准的样本加权均值。95%置信区间对二元结果用Wilson，对分数用Student t。效用参照是无护栏95%置信区间的下端。
   • 策略差异：各基准按文档编写Charter，不是同一份策略。ACIArena对缺失章程和未列出路由使用pass；OverThink不安装Charter Compliance；ASB关闭feature checking，入站违规用reflection、出站用block（附录G）。
   • 判定：由各基准的验证器、目标工具执行或该基准的judge判定（Table 2）。论文未命名TAMAS的judge，也未命名ACI-Sentinel和FIDES使用的共享推理模型，未报告整套实验的重复次数。

   主结果

   Figure 3比较每个智能体的overall ASR与Utility。图注称胡须为95%置信区间，绿色参照是无护栏Utility的置信下界，落入绿色区域的点满足效用准则。下表数字取自表格。

   表格较宽，可左右滑动

   智能体	无护栏 ASR	MAS-Guard ASR	无护栏 Utility	MAS-Guard Utility
   GPT-5.6-Terra	27.1%	4.8%	50.0%	48.4%
   Muse-Glimmer-30B	30.6%	4.2%	50.7%	50.2%
   Grok-4.3	30.9%	8.8%	59.0%	58.4%

   ASR据Table 3、7、8的overall列；Utility据Table 9、10、11的overall列。三列无护栏ASR的95%误差界均为±1.1个百分点；MAS-Guard分别为±0.5、±0.5、±0.7。

   • 作者报告相对无护栏的overall ASR降幅为82.3%、86.3%和71.5%（§5.2.1）。附录C称Utility点估计分别下降1.6、0.5和0.6个百分点，但仍不低于无护栏95%置信区间下端。
   • Table 3、7、8中，MAS-Guard的overall ASR点估计低于同表其他方法。作者指出只看ASR不够：ToolSafe、AgentDoG、AgentDoG-1.5和FIDES降低ASR时，常出现Utility回落。
   • 汇总ASR混用了不同操作定义。ACIArena是攻击验证器的平均成功分，OmniLeak是0到1的暴露严重度，OverThink要求推理token至少为配对干净样本的2倍且多出256个（Table 2）。

   分基准 ASR

   • GPT-5.6-Terra（Table 3）：MAS-Guard在六个基准上都低于无护栏。ASB从44.6%到13.2%，OverThink从34.5%到0.0%，AgentLeak从23.1%到5.0%，ACIArena从24.0%到11.0%。作者称六个基准中四个表现最好，并在TAMAS上与保持效用的最好结果相当。Delimiter在OverThink上为0.7%，作者称该简单方法对推理诱饵很有效，但向ACIArena和AgentLeak迁移不好。
   • 例外：FIDES在ACIArena和AgentLeak上为1.2%和0.0%，低于MAS-Guard的11.0%和5.0%，作者称这两个基准达到效用参照；其overall ASR为8.2%，高于4.8%，overall Utility低于参照（Table 3的†）。附录C称FIDES在三个骨干的这两个基准上ASR都更低，但每种设置的overall Utility都低于参照。Grok-4.3的ASB上，ToolSafe的ASR为1.0%、Utility为49.1%，MAS-Guard为13.8%和65.2%（附录C）。
   • 另外两个智能体（Table 7、8）：Muse-Glimmer-30B的overall ASR从30.6%到4.2%，六个里五个下降，OmniLeak保持0.1%；OverThink从36.6%到0.0%，ACIArena从40.0%到7.9%。Grok-4.3从30.9%到8.8%，OverThink在无护栏时已是0.0%且未变化；ASB从70.8%到13.8%，OmniLeak从16.3%到0.1%。残余ASR在ACIArena为26.6%、AgentLeak为17.0%，高于Muse的7.9%和3.8%。无护栏时GPT与Muse的OmniLeak均为0.1%。

   组件消融

   Table 4只使用GPT-5.6-Terra。确定性检查覆盖路由、格式和能力；语义检查覆盖消息主题策略。

   • A-Guard：单独使用时，ASB从44.6%到15.0%，OverThink从34.5%到0.0%，overall从27.1%到7.8%。作者称本地检查在宽泛任务或角色策略认不出的攻击上更清楚。
   • 语义检查：加到A-Guard上后，overall从7.8%到5.1%；ACIArena从23.8%到12.0%，AgentLeak从10.2%到4.4%，TAMAS从5.9%到2.3%。附录F举例：A-Guard放行把单名学生任务扩成全体学生记录的请求，结构性检查通过，语义章程拦截。作者也称语义检查会overreach：一个良性AgentLeak请求被仅语义配置和完整系统拦截，论文未给发生率。
   • 确定性检查：仅确定性时overall从27.1%到26.4%。作者称许多攻击走已允许的路由并使用合法格式或可用工具；ASB与OverThink是单智能体基准，这类约束用得少。

   个案轨迹

   • 附录D从GPT-5.6-Terra的匹配轨迹中选两则对抗例和两则良性例。对抗例要求无护栏时攻击成功，且方法之间结论不一致；良性例要求无护栏和MAS-Guard都完成，且至少一种对照没有完成。Table 12给出二元结果和pass、block、reflect。
   • 作者称相同ASR可以对应不同轨迹：一则ASB对抗例里几种护栏都得到ASR = 0，但有的停在注入输入，有的停在后续工具边界，有的仍执行了部分良性工具。
   • 两则良性例中MAS-Guard的Utility为1。作者称已授权的多智能体通知若在智能体边界被挡住，最终工具仍执行也不等于任务完成；无攻击检索若在搜索调用处被判不安全，Utility为0。

   其他消融与分析

   • A-Guard + 确定性：overall ASR 7.7%；仅语义21.7%；确定性 + 语义（无A-Guard）22.0%；三者全开4.8%（Table 4，GPT-5.6-Terra）。
   • 把确定性检查加到A-Guard上，overall从7.8%到7.7%；加到A-Guard + 语义上，从5.1%到4.8%（附录F）。含A-Guard的变体在OverThink上均为0.0%。
   • ASB上仅A-Guard 15.0%，仅语义36.6%；fake-completion子集17.0%对63.2%（附录F）。
   • ACIArena的MetaGPT子集：仅A-Guard 28.7%，A-Guard + 语义0.0%（附录F）。
   • 主比较的资源估计：三智能体合计输入3,685M token、输出384M token、GPU-h 2,277、成本14.0千美元；含开发与消融约80,000美元（附录I）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者将编排层可信、章程质量，以及只在良性回合测Utility列为边界。

   作者指出的局限与后续方向

   • 考虑了部分智能体不透明的部署，但假设多智能体编排框架可观测、可插桩且可信。不透明智能体只保护外部输入输出；内部提示注入、记忆破坏、隐藏工具使用和其他未暴露动作可能检测不到。边界检查不能撤销已经发生的内部副作用，也不能保证恶意行为都会对外可见。（Limitations）
   • 操作系统、运行时或编排基础设施被攻破，以及绕过拦截的智能体间传输通道攻击，不在该威胁模型内。访问控制、工具权限、沙箱、认证、加密和网络安全仍是正交问题；路由和能力检查是补充，不是这些控制的替代，也不实现其安全保证。（Limitations）
   • 假设可信的应用所有者编写Agent Charter并配置Control Plane。合同需要对合法工作流、角色边界、数据敏感性和允许能力作判断。不完整或过宽的策略会留下不受约束的不安全行为，过严的策略会抑制合法任务。（Limitations）
   • 为便于比较，ASR被用作成功攻击率的伞形术语，不应解释成按严重性加权或对现实伤害的绝对度量。（Limitations）
   • Utility只在良性回合上测量；攻击条件下的合法任务完成留待后续研究。（Limitations）

   实验覆盖范围

   • 被测智能体为GPT-5.6-Terra、Muse-Glimmer-30B、Grok-4.3；基准为ACIArena、TAMAS、AgentLeak、OmniLeak、OverThink、ASB，对抗与良性样本量见Table 2。
   • 对照包括No-Guardrail、Sandwich、Delimiter、ACI-Sentinel、LlamaFirewall、ToolSafe、AgentDoG、AgentDoG-1.5、FIDES。overall为样本加权均值，并报告95%置信区间。
   • 组件消融Table 4与附录F的子集数字使用GPT-5.6-Terra；附录D的匹配轨迹也来自该模型，共四条，不是按基准抽样的比率。
   • AgentLeak集成测量最终输出、智能体间通信、工具输入和工具输出四个通道；共享记忆、日志和产物不在该集成内（附录G.4）。OverThink的防护来自A-Guard，不来自针对该基准的章程规则（附录G.6）。ASB关闭Charter feature checking（附录G.7）。
   • 论文未报告整套实验的重复次数，也未命名若干对照使用的共享推理模型。确认类干预未模拟交互式用户批准（附录H.5）。作者在Ethical Considerations写明不公开确切护栏提示词。

   收起这一问

6. 06总结一下论文的主要内容

   MAS-Guard用本地专家与章程统一干预，三智能体overall ASR为4.2%、4.8%、8.8%。

   MAS-Guard是面向单智能体与多智能体LLM应用的运行时护栏，用来把本地执行检查接到应用的角色、路由和能力策略上。

   • 问题：工具调用、检索内容和智能体间消息会把不安全动作、泄露和对抗指令带到执行边界。可插桩智能体与只暴露外部接口的不透明智能体混部时，作者认为现有防御在表面、范围和执法上彼此分开。
   • 做法：可插桩智能体上，A-Guard用Gemma-4-26B-A4B-IT上的任务专家检查用户输入、工具结果和非只读工具调用。系统层由开发者编写的Agent Charter与Control Plane做确定性结构检查和语义合规评估。多裁决取最严，干预为ALLOW、REFLECTION、CONFIRMATION、BLOCK。编排层被假设为可信且可插桩。
   • 主结果：三个智能体、六个基准上，无护栏overall ASR为27.1%、30.6%和30.9%，MAS-Guard为4.8%、4.2%和8.8%（Table 3、7、8）。作者报告相对降幅82.3%、86.3%、71.5%，且三个智能体都达到良性效用参照；附录C称Utility点估计下降1.6、0.5、0.6个百分点。
   • 例外：FIDES在ACIArena和AgentLeak上ASR更低，但overall Utility低于参照。Grok-4.3在ACIArena和AgentLeak上仍有26.6%和17.0%的残余ASR。消融里A-Guard和语义检查带来的下降更大；仅确定性检查时，GPT-5.6-Terra的overall ASR从27.1%到26.4%（Table 4）。
   • 作者的结论：作者认为这些结果支持把本地护栏和应用专用策略一起用来处理智能体风险，同时保留良性任务效用。作者同时把编排层可信、章程是否恰当，以及只在良性回合上测Utility，写成该方法的边界。

   收起这一问

相关论文