跳到正文
原文

从设计上保障多智能体系统安全

Securing Multi-Agent Systems by Design

arXiv· arXiv:2611.17883· Xilong Wang, Xiaoxing Chen, Neil GongDuke University本站收录· 4 天前· 原文发表防御· 扫描记录里的位置 →

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出针对多智能体系统的响应操纵攻击 ReMA 与安全聚合规则 SecMAS;作者称基线聚合规则在 ReMA 下 ASR 最高 1.00,SecMAS 将各攻击 ASR 降至接近 0.00。

威胁模型攻击者控制一个或多个恶意智能体,可任意操纵其发给 manager agent 的响应,多个恶意智能体可共谋;目标分 untargeted(偏离 ground-truth 最终解)与 targeted(产出攻击者指定的最终解)。

问题
多智能体系统中,被攻击者控制的恶意智能体可通过精心构造的响应操纵 manager agent 的聚合结果,使最终解出错。作者认为现有攻击缺乏针对聚合规则的优化,现有聚合规则也缺乏理论安全保证。
方法
作者提出 ReMA:把 untargeted/targeted 攻击形式化为优化问题,用 response generator、surrogate manager agent、attack critic 三个 LLM 组件迭代优化恶意响应;并提出 SecMAS:按响应间语义相似度选出与足够大子集最一致的响应作为聚合解,并给出理论安全保证。
实验与结果
在五个应用场景、六种聚合规则、多种威胁模型下评测:基线聚合规则在 ReMA 下 ASR 最高 1.00;SecMAS 将所有攻击(含针对它的自适应攻击)的 ASR 降至接近 0.00,且与基线聚合规则的效用差异在 0.05 水平下无统计显著性。
局限与可以继续做的
作者指出理论保证依赖良性智能体响应嵌入集中于 ground-truth 附近的假设,假设不成立时保证可能失效;SecMAS 可能对更强的自适应攻击仍脆弱。实验仅覆盖每组 10 个智能体、2 个恶意智能体等设置,未报告人工评估与评审一致性。
实验设置Gemma-4-31B、Qwen-3.8-27B 等 · 作者用 GPT-5.6-Sol 生成的五场景(education、finance、healthcare、legal、news)用户任务集,每场景 100 个经 Claude Opus 5 验证的任务,共 500 个 · ASR、ASV 等
威胁模型
攻击者控制一个或多个恶意智能体,可任意操纵其发给 manager agent 的响应,多个恶意智能体可共谋;目标分 untargeted(偏离 ground-truth 最终解)与 targeted(产出攻击者指定的最终解)。攻击者对恶意智能体为 white-box;对良性智能体响应、聚合规则、manager agent 骨干 LLM 的知识分知道/不知道两档。受害系统为按 Figure 1 框架运行的多智能体系统。
被测模型
Gemma-4-31BQwen-3.8-27BLlama-4-Scout-17B-16EGPT-5.6-SolGPT-5.6-TerraGPT-5.6-Luna
基准
作者用 GPT-5.6-Sol 生成的五场景(education、finance、healthcare、legal、news)用户任务集,每场景 100 个经 Claude Opus 5 验证的任务,共 500 个
指标
ASRASVPNA
AI 导读研究者提出针对多智能体系统的响应操纵攻击 ReMA,并给出带理论安全保证的防御聚合规则 SecMAS。多智能体系统用聚合规则汇总各智能体响应,恶意智能体可借提交恶意响应操纵最终结果;ReMA 将无目标与有目标攻击形式化为优化问题,基于代理多智能体系统的反馈迭代改进恶意响应以最大化攻击效果。SecMAS 利用智能体响应间的语义相似度,选出与足够大的响应子集最一致的响应作为聚合结果。评估显示现有聚合规则均易受 ReMA 攻击,SecMAS 能抵御包括自适应变体在内的全部评估攻击,同时效用与现有聚合规则相当。

研究者提出针对多智能体系统的响应操纵攻击 ReMA,并给出带理论安全保证的防御聚合规则 SecMAS。多智能体系统用聚合规则汇总各智能体响应,恶意智能体可借提交恶意响应操纵最终结果;ReMA 将无目标与有目标攻击形式化为优化问题,基于代理多智能体系统的反馈迭代改进恶意响应以最大化攻击效果。SecMAS 利用智能体响应间的语义相似度,选出与足够大的响应子集最一致的响应作为聚合结果。评估显示现有聚合规则均易受 ReMA 攻击,SecMAS 能抵御包括自适应变体在内的全部评估攻击,同时效用与现有聚合规则相当。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    恶意智能体可操纵多智能体系统的聚合结果;论文提出 ReMA 攻击与 SecMAS 安全聚合规则。

    核心问题:多智能体系统中,攻击者控制的恶意智能体可以通过构造恶意响应操纵 manager agent 的聚合结果,使系统产出错误的最终解,而现有攻击与防御都没有系统地处理这一问题。

    • 问题场景:多智能体系统把用户任务分解为子任务、委派给智能体组、再用聚合规则合并响应。作者认为这种结构让恶意智能体可以间接向 manager agent 注入恶意内容。
    • 现有攻击的不足:作者称启发式攻击(TAMAS、MAST、AiTM)缺乏对恶意响应的系统优化;现有基于优化的攻击(如 ObliInjection)不显式考虑聚合规则,且常要求 white-box 访问目标 LLM,威胁模型设置有限,可能低估风险。
    • 现有防御的不足:作者称现有聚合规则多逐个评估响应、不考虑组内响应之间的关系,且缺乏针对恶意智能体的理论安全保证。
    • 论文的贡献:提出响应操纵攻击 ReMA(把 untargeted/targeted 攻击形式化为优化问题并迭代求解)和安全聚合规则 SecMAS(按语义一致性选响应),并给出理论安全保证与实验评测。
    • 威胁模型:
      • 目标:untargeted 攻击使最终解偏离 ground-truth;targeted 攻击使系统产出攻击者指定的最终解。
      • 能力:攻击者控制一个或多个恶意智能体,可任意操纵其发给 manager agent 的响应;多个恶意智能体可共谋。
      • 知识:对恶意智能体为 white-box(骨干 LLM、系统提示词、子任务);对良性智能体响应、聚合规则、manager agent 骨干 LLM 三项分别考虑知道/不知道两档。
      • 受害系统:按 Figure 1 三步框架(子任务委派、子任务求解、聚合)迭代运行的多智能体系统。
  2. 有哪些相关研究?

    相关工作分三类:多智能体恶意智能体攻击、安全聚合规则、联邦学习安全聚合;论文各指出其不足。

    多智能体系统中的恶意智能体攻击

    • 启发式攻击:TAMAS [9] 通过修改恶意智能体的系统提示词诱导恶意响应;MAST [24]、AiTM [7] 直接提示 LLM 生成恶意响应;Prompt Infection [11] 研究多智能体系统内的 LLM 间提示注入。论文指出这类攻击缺乏对恶意响应的系统优化,攻击效果受限。
    • 基于优化的攻击:ObliInjection [21] 用基于梯度的优化构造恶意响应,使 LLM 智能体产出攻击者期望的输出;[27]、[28] 也用优化方法攻击 LLM 智能体。论文指出这类攻击不显式考虑 manager agent 的聚合规则,且威胁模型设置有限(如 ObliInjection 要求 white-box 访问 manager agent 的骨干 LLM)。
    • 与提示注入的关系:作者把恶意智能体攻击与提示注入攻击 [13, 22] 类比:恶意智能体相当于间接向 manager agent 的输入注入恶意内容。

    安全聚合规则

    • CP-WBFT [30]:为每个响应赋予置信度分数,选分数最高者作为聚合解;分 PCP(智能体自报置信度)和 HCP(训练的置信度估计模型)两个变体。
    • DecentLLMs [8]:用多个评审 LLM 给响应打多维分数,取几何中位数后选最高分响应。
    • 论文指出这些规则多逐个评估响应、不考虑组内响应间关系,且缺乏理论安全保证;Summarization 这类简单机制在论文实验中被优化型攻击攻破。

    联邦学习与安全聚合

    • 联邦学习安全聚合:[2, 3, 26] 等防御恶意客户端发送的恶意模型更新 [5]。论文指出关键区别是联邦学习聚合的是数值向量,而多智能体系统聚合的是文本,这些规则不能直接套用;coordinate-wise 规则 [26] 也不适用于语义嵌入,因为单个嵌入维度没有独立语义。

    基线与基准:攻击基线为 TAMAS、MAST、AiTM、ObliInjection;聚合规则基线为 Summarization、CP-WBFT-PCP、CP-WBFT-HCP、DecentLLMs、DeSummary(用 DataSentinel [14] 做提示注入检测后摘要)。论文沿用 TAMAS [9] 的五个应用场景,但因 TAMAS 任务无 ground-truth,作者自行生成了 500 个带 ground-truth 的用户任务。

    本文定位:作者称 ReMA 是显式考虑聚合规则、支持多种现实威胁模型的优化型攻击;SecMAS 显式利用组内响应间关系,并提供针对恶意智能体的理论安全保证。

  3. 论文如何解决这个问题?

    ReMA 把攻击形式化为优化问题并用三组件迭代求解;SecMAS 按语义相似度选与多数一致的响应。

    整体思路分两部分:攻击侧提出 ReMA,把响应操纵形式化为优化问题,用 surrogate 多智能体系统的反馈迭代优化恶意响应;防御侧提出 SecMAS,利用良性多数响应语义一致的直觉选出聚合解,并给出理论保证。

    问题形式化(ReMA)

    • untargeted 攻击:求恶意响应集使 manager agent 产出 ground-truth 最终解的概率最小,即 min Pr(â(t, Gh) = y∗);等价地在每个恶意迭代中最小化聚合规则产出该子任务 ground-truth 解的概率。
    • targeted 攻击:求恶意响应集使产出攻击者指定最终解 y_tar 的概率最大;每个恶意迭代先由 GPT-5.6-Sol 推出该子任务的目标聚合解 y_i^tar,再最大化聚合规则产出它的概率。
    • 作者称该形式化适用于任何符合 Figure 1 框架的聚合规则,因此可用于构造针对新规则(包括 SecMAS)的自适应攻击。

    ReMA 的迭代求解

    • 三个组件:response generator(生成/改进恶意响应)、surrogate manager agent(模拟目标系统的聚合过程)、attack critic(评估 surrogate 聚合解并给出 0–10 分和反思反馈),均基于 LLM;实验中用 GPT-5.6-Sol 作为 response generator 和 attack critic 的骨干。
    • 每轮三步(Figure 2):生成 b=4 个候选恶意响应集 → 与良性响应合并后经 surrogate manager agent 聚合 → attack critic 打分并保留分数最高的 c=2 个候选,反馈进入下一轮;最多 omax=15 轮后取总分最高者。
    • 候选多样性:作者鼓励候选集探索不同策略,例如显式误导指令与看似合理的推理包装;附录 Figure 9、10 给出了 response generator 和 attack critic 的完整系统提示词。

    不同威胁模型下的扩展

    • 不知良性响应:用不同骨干 LLM、框架、随机种子生成 d=8 个 surrogate 良性响应代替真实良性响应。
    • 不知聚合规则:随机假设一个 surrogate 聚合规则,每 ∆=3 轮切换一次;最终用所有用过的 surrogate 规则评估候选,取平均分最高者。
    • 不知 manager 骨干 LLM:从六个骨干 LLM 中随机选三个组成 surrogate LLM 池,attack critic 联合评估各 surrogate 模型下的聚合解,避免对单一模型过拟合。

    SecMAS 聚合规则

    • 直觉:良性智能体占多数时,良性响应之间语义一致性高于与恶意响应的一致性。
    • 打分与选择:用嵌入模型(实验中为 Qwen3-Embedding-8B)把响应转为嵌入,计算两两余弦相似度;对每个响应取与其最相似的 m_i − f_i − 2 个响应为邻居,响应分数为与邻居的相似度之和 S(rik) = ∑l ∈ Nik sikl,选分数最高的响应作为聚合解。
    • 邻居数设计理由:取 m_i − f_i − 2 个邻居会留下 f_i + 1 个非邻居,其中至少一个是良性的,使良性响应的分数可以用良性响应间相似度下界约束;论文称这也支撑了理论保证。
    • 理论保证:在 Assumption 1(良性响应嵌入以高概率集中于 ground-truth 解嵌入附近,Figure 4 给出经验分布)下,Theorem 1 给出 untargeted 攻击下聚合解与 ground-truth 解余弦相似度的下界,Theorem 2 给出 targeted 攻击下聚合解与攻击者指定解相似度的上界,证明见附录 A、B。
    • 自适应攻击:攻击者知道聚合规则时,surrogate manager agent 配置同一规则并向 response generator 描述其机制;作者称实验中 SecMAS 对这类自适应攻击仍安全。
  4. 论文做了哪些实验?

    五场景 500 任务、六种聚合规则、多种威胁模型:基线规则被 ReMA 攻破,SecMAS 下各攻击 ASR 接近 0。

    实验设置

    • 多智能体系统:五个应用场景(education、finance、healthcare、legal、news)各一个系统,每个含一个 manager agent 和四个角色的智能体组,每组默认 10 个智能体;每个智能体随机组合两种框架(AutoGen、CrewAI)和六个骨干 LLM(Gemma-4-31B、Qwen-3.8-27B、Llama-4-Scout-17B-16E、GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna)。
    • 任务数据:用 GPT-5.6-Sol 生成带 ground-truth 的用户任务,Claude Opus 5 验证正确性,每场景保留 100 个,共 500 个;子任务的 ground-truth 聚合解也由 GPT-5.6-Sol 生成。
    • 攻击配置:每个用户任务随机选一组,指定其中 2 个智能体为恶意;ReMA 参数 omax=15、b=4、c=2;targeted 攻击的目标解由 GPT-5.6-Sol 生成。
    • 基线:攻击基线 TAMAS、MAST、AiTM、ObliInjection(不知骨干 LLM 或模型闭源时用五个 shadow LLM:Ministral-3-8B、Llama-3.1-8B、Qwen3-8B、Falcon-H1-7B-Instruct、Gemma-4-12B);聚合规则基线 Summarization、CP-WBFT-PCP、CP-WBFT-HCP、DecentLLMs、DeSummary(检测器为 DataSentinel)。
    • 指标与评审:ASR 由 GPT-5.6-Sol 判定最终解是否达成攻击目标(输出 Yes/No,提示词见附录 Figure 13);ASV 为基于余弦相似度的连续值(untargeted 为 (1−cos)/2,targeted 为 (1+cos)/2);PNA 衡量无攻击时的效用。SecMAS 设 f_i=2。
    • 重复次数:效用实验每个聚合规则在每场景跑 5 次,报告均值和标准差,并做双侧 Welch's t 检验;攻击实验的重复次数论文未报告。

    主结果

    据 Table 1、2,最强威胁模型(知道良性响应、聚合规则、骨干 LLM)下各聚合规则上 ReMA 的 ASR(untargeted/targeted,五场景范围):

    聚合规则untargeted ASRtargeted ASR
    Summarization0.93–0.990.80–0.91
    CP-WBFT-PCP1.001.00
    CP-WBFT-HCP0.84–0.970.75–0.87
    DecentLLMs0.83–0.940.74–0.85
    DeSummary0.89–0.940.72–0.90
    SecMAS0.00–0.020.00
    • 作者称基线聚合规则在各类攻击下 ASR、ASV 均高于无攻击基线,且 ReMA 在多数威胁模型设置下取得最高 ASR/ASV;最严威胁模型(三项均不知)下 ReMA 对 Summarization(News)的 untargeted/targeted ASR 仍为 0.61/0.49。
    • 作者称 SecMAS 在所有威胁模型和场景下对所有攻击(含以 SecMAS 为 surrogate 规则的自适应 ReMA)ASR/ASV 最低,与无攻击时相当;最强威胁模型下各攻击 ASR 降至接近 0.00(Table 2 中 SecMAS 行最高为 0.02)。
    • 作者解释 untargeted ASV 普遍低于 targeted ASV 是定义所致:嵌入正交时 untargeted ASV 仅 0.50,但最终解已可能明显偏离 ground-truth。

    效用对比

    • 测了什么:无攻击时各聚合规则的 PNA(Table 3),每规则每场景跑 5 次。
    • 结果:六种规则的 PNA 均值均在 0.88–0.91 之间;Table 4 的双侧 Welch's t 检验显示 SecMAS 与各基线的全部 p 值均大于 0.05(最小 0.130)。
    • 作者解读:在 0.05 显著性水平下未检测到统计显著差异,SecMAS 效用与基线相当。

    消融与参数分析

    • LLM 池规模(Figure 5,知道聚合规则与骨干 LLM、不知良性响应):池中骨干 LLM 从 2 增至 8 时 ASR/ASV 下降;作者认为增加骨干 LLM 多样性可提升系统安全性。
    • 组内智能体数(Figure 6,同威胁模型):组内仅 1 个智能体时 ReMA 的 untargeted/targeted ASR 均为 1.00(单点失效);智能体数增至 5–20 时 ASR/ASV 小幅下降。
    • 恶意智能体数(Figure 7,同威胁模型):恶意智能体增多时 ASR/ASV 上升;作者称 30% 智能体为恶意时 SecMAS 仍保持很低的 ASR/ASV。
    • 跨聚合规则迁移(Table 5,知道良性响应与骨干 LLM、不知聚合规则,固定单一 surrogate 规则):ASR/ASV 普遍比切换 surrogate 规则时略降,但仍高于全部基线攻击;设计相似的规则间迁移更强,例如以 DeSummary 为 surrogate 攻击 Summarization 时 untargeted ASR/ASV 为 0.92/0.34,高于 Table 1 同威胁模型下的 0.77/0.28。
    • f_i 的影响(Figure 8,恶意智能体固定为 2):f_i=1(小于实际恶意数)时 SecMAS 被 ReMA 攻破;f_i≥2 时防御有效,且 PNA 几乎不随 f_i 变化;作者建议开发者在未知恶意智能体数时保守取 f_i = m_i/2 − 1。
  5. 有什么可以进一步探索的点?

    作者承认理论保证依赖良性响应质量假设、强自适应攻击可能仍有效;实验覆盖五场景与固定规模配置。

    作者指出的局限与后续方向

    • 理论假设可能不成立(Section 9):理论安全分析依赖良性智能体能正确求解子任务的假设,即其响应嵌入集中于 ground-truth 解嵌入附近;作者称该假设被违反时 SecMAS 的理论保证可能不成立(实验仅以 Figure 4 的分布提供经验支持)。
    • 更强的自适应攻击(Section 9):作者称 SecMAS 可能仍对更强的自适应攻击脆弱,尤其是在良性智能体响应质量差异较大、理论假设不成立的场景;探索这类自适应攻击是未来工作。

    实验覆盖范围

    • 被测系统配置:五个应用场景(education、finance、healthcare、legal、news),每系统一个 manager agent 加四个智能体组,默认每组 10 个智能体、其中 2 个恶意;骨干 LLM 为 Gemma-4-31B、Qwen-3.8-27B、Llama-4-Scout-17B-16E、GPT-5.6-Sol/Terra/Luna 六个,框架为 AutoGen、CrewAI 两种。
    • 攻击与防御覆盖:攻击基线 TAMAS、MAST、AiTM、ObliInjection;聚合规则 Summarization、CP-WBFT-PCP、CP-WBFT-HCP、DecentLLMs、DeSummary、SecMAS;威胁模型覆盖良性响应、聚合规则、骨干 LLM 三项知识的八种组合(部分规则不涉及骨干 LLM 项)。
    • 样本量:每场景 100 个用户任务,共 500 个;效用实验每规则每场景跑 5 次并做 t 检验;攻击实验的重复次数论文未报告。
    • 消融范围:LLM 池规模 2–8、组内智能体数 1–20、恶意智能体数 1–4、f_i 取 1–4、跨规则迁移;恶意智能体比例最高到 30%(Figure 7 相关表述)。
    • 评审方式:ASR 由 GPT-5.6-Sol 判定,任务正确性由 Claude Opus 5 验证;论文未报告人工评估或评审模型与人工的一致性。
  6. 总结一下论文的主要内容

    ReMA 攻击攻破现有聚合规则,SecMAS 按语义一致性聚合并在实验与理论上抵御所测攻击。

    一篇同时提出攻击与防御的多智能体系统安全论文:攻击侧 ReMA 暴露现有聚合规则的脆弱性,防御侧 SecMAS 提供带理论保证的安全聚合。

    • 问题:攻击者控制少数恶意智能体,通过构造响应操纵 manager agent 的聚合结果,使系统产出偏离 ground-truth(untargeted)或攻击者指定(targeted)的最终解。
    • ReMA:把两类攻击形式化为优化问题,用 response generator、surrogate manager agent、attack critic 三个 LLM 组件迭代优化恶意响应(omax=15 轮),并扩展到不知道良性响应、聚合规则或骨干 LLM 的威胁模型。
    • SecMAS:用嵌入模型计算响应间余弦相似度,每个响应取 m_i − f_i − 2 个最相似邻居求和打分,选最高分响应为聚合解;在良性响应嵌入集中于 ground-truth 附近的假设下,Theorem 1、2 分别给出抗 untargeted/targeted 攻击的理论保证。
    • 攻击效果:最强威胁模型下 ReMA 对 CP-WBFT-PCP 的 untargeted/targeted ASR 达 1.00,对其余基线规则 untargeted ASR 0.83–0.99(Table 1、2);最严威胁模型下对 Summarization(News)仍有 0.61/0.49。
    • 防御效果:SecMAS 在所有威胁模型与场景下把包括自适应 ReMA 在内的各攻击 ASR 降至 0.00–0.02(Table 2);无攻击时效用与基线无统计显著差异(t 检验 p 值最小 0.130,Table 4)。
    • 作者的结论与边界:作者称恶意智能体占少数时,选与足够大子集最一致的响应可防御此类操纵;同时承认理论保证依赖良性响应质量假设,且更强自适应攻击仍可能威胁 SecMAS。
阅读原文arxiv.org