跳到正文
原文

Illusion:通过行为保持混淆保护 LLM 多智能体系统的拓扑机密性

Illusion: Safeguarding Topology Confidentiality in LLM Multi-Agent Systems via Behavior-Preserving Obfuscation

arXiv· arXiv:2611.00923· Yiu-Fai Cheung, Hongzhi Guo, Miao Pan, Irwin King, Hao WangThe Chinese University of Hong Kong; University of Nebraska-Lincoln; University of Houston; Stevens Institute of Technology本站收录· 16 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 Illusion,向 LLM 多智能体系统注入假边与假消息以混淆通信拓扑,作者称可将拓扑推断的边级 F1 从 0.87 以上降至 0.62。

威胁模型攻击者目标是推断目标 LLM-MAS 的通信拓扑;对 MAS 无先验知识(拓扑、agent 配置均未知),black-box 设定下经公开接口查询,但假设已获得智能体间消息内容(如经越狱、内存泄漏等绕过整形层的渠道),从有序消息序列重建拓扑。

问题
LLM 多智能体系统的通信拓扑是重要知识产权,且可被拓扑推断攻击从智能体输出中窃取,泄露后还会助长针对关键智能体的攻击;作者称现有防御只做检测与缓解,不主动隐藏拓扑本身。
方法
提出 Illusion:向 MAS 注入假边并发送由生成式提示词产生的假消息,使攻击者看到欺骗性拓扑;通过候选生成、基于探针的候选排序和带验证的迭代注入三阶段,保证输出分布等价与任务准确率非劣。
实验与结果
在 MMLU、GSM8K、GPQA 上以 Llama-3.1-8B 和 Qwen-3.5-9B 为骨干评测:作者报告 CIA 攻击的 F1 从 0.87 以上降至 0.62、GSim 从 0.94 以上降至 0.71;18 种设置下输出分布等价性全部通过;相似度与 LLM-judge 过滤器及自适应剪枝均无法有效剔除假消息。
局限与可以继续做的
作者在 Limitations 一节指出:评测仅覆盖三个数据集、两个开源骨干模型和三种代表性拓扑,新架构、动态拓扑等场景下的有效性尚待验证;后续方向包括动态 LLM-MAS、资源感知注入和更强自适应攻击者。
实验设置Llama-3.1-8B、Qwen-3.5-9B · MMLU、GSM8K 等 · edge-level F1、GSim 等
被测模型
Llama-3.1-8BQwen-3.5-9B
基准
MMLUGSM8KGPQAHumanEvalMetaGPT
指标
edge-level F1GSimtask accuracyJSD
AI 导读Illusion 是 LLM 多智能体系统的主动拓扑混淆防御:注入假边与假消息向攻击者呈现欺骗性拓扑,并保持输出分布等价与任务精度不降。实验显示,拓扑重建攻击的边级 F1 从 0.87 以上降至 0.62,图相似度从 0.94 以上降至 0.71。假边在黑盒观测下与真实消息难以区分,可抵御相似度和 LLM-judge 过滤及自适应剪枝。

Illusion 是 LLM 多智能体系统的主动拓扑混淆防御:注入假边与假消息向攻击者呈现欺骗性拓扑,并保持输出分布等价与任务精度不降。实验显示,拓扑重建攻击的边级 F1 从 0.87 以上降至 0.62,图相似度从 0.94 以上降至 0.71。假边在黑盒观测下与真实消息难以区分,可抵御相似度和 LLM-judge 过滤及自适应剪枝。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    如何主动隐藏 LLM 多智能体系统的通信拓扑,使其不被拓扑推断攻击重建。

    核心问题:如何在不改变系统行为的前提下,主动隐藏 LLM 多智能体系统(LLM-MAS)的通信拓扑,使拓扑推断攻击无法重建它。

    • 问题场景与重要性:通信拓扑决定信息在智能体间的传播方式,编码了领域工作流和专家设计知识。作者认为它是有价值的知识产权,且对系统效用与安全起决定性作用。
    • 风险来源:作者引用已有工作称,拓扑可经直接身份查询、越狱,或仅从智能体输出的语义线索中被隐蔽地推断出来;拓扑泄露还会助长针对高权限或关键聚合智能体的拓扑感知攻击。
    • 现有方法的不足:作者称现有 MAS 防御侧重攻击检测与缓解,没有主动隐藏拓扑本身;并行工作 MIRAGE 假设防御方能改写并抑制消息、使攻击者看不到真实记录,作者认为该假设在消息经越狱、内存泄漏等旁路渠道泄露时失效。
    • 论文方案:提出 Illusion,一个主动拓扑混淆防御框架:注入假边并发送假消息,向攻击者呈现欺骗性拓扑,同时选择低影响候选以保持输出分布等价和任务准确率非劣,并使假边在 black-box 观察下与真实消息不可区分。
    • 威胁模型(§3.2):
      • 目标:推断目标 LLM-MAS 的通信拓扑。
      • 知识:对 MAS 无先验知识,包括拓扑、agent 配置与角色。
      • 能力:black-box 设定,只能经公开接口提交查询并观察最终输出;但遵循已有拓扑推断工作的假设,攻击者已获得智能体间消息内容(经越狱、内存泄漏等渠道),观察有序消息序列并重建拓扑。
      • 受害系统:以开源 LLM 为骨干的 LLM-MAS,拓扑表示为有向无环图。
  2. 有哪些相关研究?

    相关研究覆盖 LLM-MAS 拓扑设计、MAS 安全与拓扑推断攻击、传统网络拓扑混淆三类。

    LLM-MAS 拓扑

    • Li et al. (2024)——LLM 多智能体系统综述,作者借此说明 MAS 相比单个 LLM 的表现优势。
    • Zhang et al. (2025)、Leong et al. (2025)——拓扑设计从手工设计演进到动态与生成式方法,以优化性能与效率。
    • Yang et al. (2025)、Cemri et al. (2025)、Yu et al. (2025b)、Shen et al. (2025)——研究拓扑对任务性能、效率、安全与鲁棒性的影响。

    LLM-MAS 安全与拓扑推断攻击

    • Wang et al. (2025a)、Liang et al. (2026)——经直接身份查询与越狱提取拓扑;Liang et al. (2026) 还提出拓扑引导的对抗传播攻击。
    • Xiong et al. (2026)、Wu et al. (2026)——不显式暴露身份,仅从智能体输出的语义与上下文线索隐蔽推断拓扑(WebWeaver、CIA)。
    • Liang et al. (2026)、Wang et al. (2025b)——现有 MAS 防御,论文指出它们侧重攻击检测与缓解,不主动隐藏拓扑本身。
    • MIRAGE(He et al., 2026)——并行工作,通过将语义线索整形向幻影拓扑来隐藏拓扑;论文指出其假设防御方能改写并抑制真实消息记录,而该假设在消息经旁路渠道泄露时不成立。其代码未公开,故未作为防御基线(论文脚注 1)。

    传统网络拓扑混淆

    • Liu et al. (2022)、Hou et al. (2020)、Meier et al. (2018)、Liu et al. (2021)、Zhu et al. (2025)——传统网络中通过改变或延迟路由度量生成欺骗性拓扑,平衡图相似度、诊断效用与关键节点保护。论文指出 LLM-MAS 的不同在于:拓扑是从输出语义而非数据包级度量推断的,且效用保持要求更严格。

    基线与基准:防御评测的攻击基线为 CIA(Wu et al., 2026,报告其 oracle 性能)和基于 LLM 的推断(采用并修改 CIA 的提示词,用 GPT-5.4 评测);数据集为 MMLU、GSM8K、GPQA,案例研究用 MetaGPT 与 HumanEval。

    作者定位:作者称本文研究一个基本未被探索的安全问题,与 MIRAGE 的区别在于假设更强的攻击者——攻击者能拿到绕过任何整形层的智能体间原始消息。

  3. 论文如何解决这个问题?

    Illusion 分候选生成、候选选择、注入循环三阶段注入假边,并用统计检验验证无害性与不可区分性。

    Illusion 的整体思路:向 LLM-MAS 注入假边并发送假消息,让攻击者从消息记录中重建出欺骗性拓扑;假消息不是固定字符串,而是由生成式提示词按查询动态产生。流程分候选生成、候选选择、注入循环三阶段(Figure 2)。

    问题设定与设计目标

    • 系统模型:LLM-MAS 表示为有向无环图 G = (V, E),节点为带角色配置的 LLM 智能体,边表示有向通信链路(§3.1)。
    • 三个设计目标(§4.2):有效性(降低拓扑推断的边级 F1 与 GSim)、无害性(保持输出分布与任务性能)、不可区分性(black-box 攻击者仅凭消息内容无法滤除假消息)。

    无害性验证(§4.3.1)

    • 分布等价检验:每个任务在无假边和有假边下各运行 k 次,把输出嵌入后比较条件内与跨条件的成对余弦相似度分布,以 Jensen–Shannon 散度度量差异,并用置换中心化处理有限样本偏差,得到偏差校正效应 ωi。
    • 等价性判定:以 TOST(two one-sided tests)在 α = 0.05 下检验 H0: |θ| ≥ δ 对 H1: |θ| < δ,即检验注入假边前后输出分布的平均效应是否在等价界内;当 90% 置信区间落在 (−δ, δ) 内时判定等价,评测取 δ = 0.05。
    • 准确率非劣检验:对配对准确率差做 bootstrap,95% CI 下界超过 −δ 即判定非劣(附录 E.2)。

    不可区分性验证(§4.3.2)

    • 攻击者类别:black-box 攻击者仅观察有序消息序列,用过滤器 f 将消息分类为真或假。
    • 两类过滤器:相似度过滤器按 Sim(message, task) 排序并滤除低相似度消息;LLM-judge 过滤器用 LLM 的自然语言理解识别可疑消息。
    • 自适应攻击者:先剪枝可疑消息,再用保留的消息做拓扑推断。

    注入流程(§4.4)

    • 候选生成:用 LLM 离线生成假消息提示词模板,输入 MAS 配置与真实执行轨迹,要求保持接收方行为与最终答案、与真实消息不可区分、符合发送方角色与格式;每条候选边生成 Kp = 2 个变体(附录 F 给出完整提示词)。
    • 候选选择:在 ndev = 30 条开发查询上运行无防御系统(每条 k = 10 次),候选边集为所有保持图无环的边;用仅含接收方的探针按接收方响应的跨条件相似度偏移打分,并对使某接收方假消息占比过半的候选加惩罚。
    • 注入循环:按预算 B = 3 累积注入,每步在开发集上以 δdev = 0.10 验证无害性,验证失败则回退到上一轮假边集;最终在 100 条留出测试查询上以 δ = 0.05 确认等价与非劣。温度 0.7,嵌入模型为 all-MiniLM-L6-v2(附录 A,Table 4)。
  4. 论文做了哪些实验?

    在三个数据集、两个骨干模型、三种拓扑上评测有效性、无害性与不可区分性,并做成本权衡与 MetaGPT 案例研究。

    实验设置

    • 被测模型:Llama-3.1-8B 与 Qwen-3.5-9B,作为 MAS 智能体的骨干模型。
    • 数据集:MMLU(通用推理)、GSM8K(数学推理)、GPQA(科学推理);每个数据集 100 条测试、30 条开发。案例研究用 MetaGPT(编码 MAS)与 HumanEval。
    • 拓扑:Chain、Tree、Star 三种。
    • 攻击基线:CIA(报告 oracle 性能,作为最强攻击)和基于 LLM 的推断(采用并修改 CIA 的提示词,用 GPT-5.4 评测)。
    • 指标:边级 F1、GSim(基于图编辑距离)、输出分布等价性(δ = 0.05)、任务准确率非劣(δ = 0.05)。
    • 重复次数:每个任务每条件运行 k = 10 次(Table 4)。

    主结果

    Figure 3 给出两个攻击在三个数据集上的 F1 与 GSim(无防御 vs Illusion,论文未按骨干模型分列):

    表格较宽,可左右滑动

    数据集攻击F1 无防御F1 IllusionGSim 无防御GSim Illusion
    MMLUCIA0.870.620.940.71
    MMLUGPT-5.40.660.360.860.66
    GSM8KCIA0.890.620.950.71
    GSM8KGPT-5.40.730.380.900.65
    GPQACIA0.870.620.940.71
    GPQAGPT-5.40.620.300.820.63

    (据 Figure 3 中标注的数值)

    • 作者称两个攻击在注入假边后推断性能均下降,且在三个数据集和两个骨干模型上一致。
    • 无害性:Table 1 报告全部 18 种模型 × 拓扑 × 数据集组合下,输出分布等价检验的 90% CI 均落在 (−0.05, 0.05) 内,效应接近零。
    • 任务准确率(Table 2):多数设置下非劣性成立;例外是 Star 拓扑 + GPQA,两个骨干模型均未通过非劣检验——Llama-3.1-8B 下降 0.0198(95% CI [−0.0567, 0.0168]),Qwen-3.5-9B 下降 0.0215(95% CI [−0.0645, 0.0189])(附录 E)。

    不可区分性与自适应攻击

    • 过滤器分类表现(Figure 4):LLM-judge 过滤器的 F1 为 0.39,仅略高于随机基线 0.38;相似度过滤器在假设攻击者知道假边确切数量并恰好删除该数量消息的有利设定下,F1 为 0.53。
    • 自适应攻击者(Figure 5):Illusion 下不过滤时 F1 为 0.63(CIA)和 0.35(GPT-5.4);加 LLM-judge 过滤后为 0.50(CIA)和 0.28(GPT-5.4),加相似度过滤后为 0.49(CIA)和 0.24(GPT-5.4),均低于不过滤。作者解释 GSim 上升是因为过滤把图剪得更小、与真实图规模更接近,但该指标不考虑节点身份。
    • 作者据此认为假边在基于内容的 black-box 过滤下基本不可区分,自适应攻击者无法有效滤除假消息。

    安全与成本权衡

    • Figure 6:假边从 0 增至 3 条时,CIA 的 F1 降低 30.1%、GSim 降低 24.8%,token 用量增加约 1000;从 3 增至 6 条仅再降 F1 16.0%、GSim 11.0%,token 再增约 1000。
    • 作者认为 2–3 条假边的预算在防御强度与成本间较均衡。

    MetaGPT 案例研究

    • Figure 7:在 MetaGPT 上以 Qwen-3.5-9B 评测,无防御时 CIA 的 F1 为 0.88、GSim 为 0.94;Illusion 下不过滤时 F1 降至 0.50(CIA)和 0.35(GPT-5.4),加过滤器后最低至 0.28(CIA + 相似度过滤)和 0.24(GPT-5.4 + 相似度过滤)。
    • Table 3:HumanEval 上输出分布等价(效应 0.0008,90% CI [−0.0075, 0.0097])与通过率非劣(73.40 → 73.30)均在 δ = 0.05 下成立。

    其他消融与分析

    • 等价界选择(附录 E.1):无防御对照下输出相似度效应 90% CI 端点最大绝对值为 0.040(Table 5),准确率差 95% CI 半宽最大 0.032(Table 6),据此取 δ = 0.05。
    • 开发阶段用更宽松的 δdev = 0.10,因开发集任务更少、CI 约宽 1.8 倍(附录 E.1)。
  5. 有什么可以进一步探索的点?

    作者指出评测范围有限并列出三个后续方向;实验覆盖三个数据集、两个骨干模型与三种拓扑。

    作者指出的局限与后续方向

    • 评测覆盖面(Limitations 一节):评测仅覆盖三个数据集、两个开源骨干模型和三种代表性拓扑;随着 LLM-MAS 演进,新架构、通信协议、动态拓扑和当前范围之外的应用可能限制结论的普遍性,Illusion 在这些设定下的有效性尚待验证。
    • 动态拓扑(Limitations 一节):后续工作包括将拓扑混淆扩展到动态 LLM-MAS。
    • 资源感知注入(Limitations 一节):后续工作包括设计资源感知的假边注入。
    • 更强自适应攻击者(Limitations 一节):后续工作包括针对更强的自适应攻击者做评测。

    实验覆盖范围

    • 被测骨干模型为 Llama-3.1-8B 与 Qwen-3.5-9B 两个开源模型,拓扑为 Chain、Tree、Star 三种(§5)。
    • 数据集为 MMLU、GSM8K、GPQA,各 100 条测试、30 条开发;案例研究为 MetaGPT + HumanEval(§5、附录 B、C)。
    • 攻击基线为 CIA(oracle 性能)与 GPT-5.4 的 LLM 推断两种;防御基线方面,论文注明 MIRAGE 代码未公开,未纳入对比(脚注 1)。
    • 每个任务每条件运行 k = 10 次,假边预算 B = 3,Kp = 2 个提示词变体,温度 0.7(Table 4)。
    • 论文未报告生成假消息提示词所用的具体 LLM,也未报告 LLM-judge 过滤器所用的具体模型。
  6. 总结一下论文的主要内容

    Illusion 通过注入假边与生成式假消息隐藏 LLM-MAS 拓扑,在保持系统行为的同时降低拓扑推断性能。

    一篇关于 LLM 多智能体系统拓扑保密的防御论文。通信拓扑编码领域工作流与专家设计,作者认为它是重要知识产权,且可被拓扑推断攻击从智能体输出的语义线索中窃取;现有防御只做检测与缓解,不主动隐藏拓扑。

    • 方法:Illusion 向 MAS 注入假边,发送由生成式提示词按查询动态产生的假消息,使攻击者看到欺骗性拓扑;流程分候选生成、基于接收方探针的候选选择、带统计验证的注入循环三阶段,以输出分布等价(TOST,δ = 0.05)和任务准确率非劣保证无害性。
    • 有效性:在 MMLU、GSM8K、GPQA 上,CIA 攻击的边级 F1 从 0.87 以上降至 0.62,GSim 从 0.94 以上降至 0.71;GPT-5.4 推断的 F1 降至 0.38 以下(Figure 3)。
    • 无害性:18 种模型 × 拓扑 × 数据集组合的输出分布等价检验全部通过(Table 1);任务准确率仅 Star + GPQA 下两个骨干模型未通过非劣检验(Table 2)。
    • 不可区分性:相似度与 LLM-judge 过滤器区分真假消息的 F1 分别为 0.53 和 0.39;自适应剪枝后推断性能反而更低(Figure 4、5)。
    • 成本权衡:假边从 0 增至 3 条使 CIA 的 F1 降 30.1%、token 增约 1000,作者认为 2–3 条较均衡(Figure 6)。
    • 作者结论:Illusion 能在基本保持系统行为的前提下降低拓扑推断性能并抵抗自适应剪枝,是保护 LLM-MAS 拓扑机密性的实用防御;作者同时指出评测仅覆盖三个数据集、两个骨干模型和三种拓扑,动态拓扑等场景尚待验证。

相关论文

共同使用 GSM8K
共同使用 MMLU
阅读原文arxiv.org