Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2609.39146· Yuwan Liu, Jiaming Zhang, Yue Huang, Sisi Duan·Indexed by this site · Originally published

MADBench: multi-agent debate safety evaluation benchmark released

MADBench: Benchmarking the Security of Multi-Agent Debate

Quick read

Evaluation and benchmarks

Based on 论文 PDF （AI 生成）; refer to the original

MADBench 评测多智能体辩论在六类攻击下是吸收还是放大对抗影响。

Questions
多智能体辩论能纠正错误，也可能传播对抗性错误。已有工作只考察特定攻击，缺少按辩论流程分层的系统评测，核心问题是辩论会吸收还是放大对抗影响。
Methods
MADBench 按编排、智能体、资源三层组织六类攻击（M1–M6），用配对的干净运行与受攻击运行比较。指标包括 ASR、IRW、token 比，以及相对单智能体基线的放大因子 AF。
Experiments and results
问答任务上，MAD 常吸收对准确率的攻击，如 RAG 投毒使 ASR 降至单智能体的 74%；工作区任务上则放大未授权读写。五智能体中三方共谋时，无攻击下答对的任务仅 28.30% 被改错，最初答对的诚实智能体仅 3.26% 在辩论中改错。编排器被攻陷时 ASR 与 IRW 均为 100%。
Limitations and future work
作者称 C2W 低，更精心的提案与证据是否能提高它仍待研究；增加辩论轮次后 ASR、IRW 与成本大致不变。实验默认 gpt-4o、n=5、R=1、f=3，M1–M4 的 AF 只相对单智能体基线；论文未报告重复次数与人工一致性。
Experimental setupgpt-4o、GPT-5 et al. · SealQA、StrategyQA et al. · ASR、IRW et al.
Threat model
分层威胁模型：L1 对手改写编排器提示词并控制分发、聚合与写工具；L2 对手控制 f 个被攻陷智能体的系统提示词；L3 对手修改一个或多个智能体的 RAG、文件、邮件、网页或工具说明。攻击目标为准确率偏离、未授权读、未授权写或增加 token 消耗。
Evaluated models
gpt-4oGPT-5GPT-6 Astra
Benchmarks
SealQAStrategyQAAgentDojoJailbreakBenchMathArena
Metrics
ASRIRWCostAFC2W
AI summaryThe researchers propose MADBench for systematically evaluating the safety of multi-agent debate (MAD) under various attacks. The benchmark establishes a hierarchical attack taxonomy based on the MAD workflow, covering existing attacks and new strategies designed for debate, and evaluates the effects of six attack families on final answers and adversarial influence propagation across 356 source tasks and 3,958 test cases. Results show that MAD does not necessarily improve LLM reasoning under attack: in question-answering tasks it can mitigate attacks on answer accuracy compared to a single-agent baseline, but it amplifies unauthorized reads and writes in both question-answering and workspace tasks; even when three of five agents collude, it only flips the final answer from correct to incorrect on 28.30% of tasks originally answered correctly, and during debate only 3.26% of initially correct honest agents turn to incorrect answers.

The researchers propose MADBench for systematically evaluating the safety of multi-agent debate (MAD) under various attacks. The benchmark establishes a hierarchical attack taxonomy based on the MAD workflow, covering existing attacks and new strategies designed for debate, and evaluates the effects of six attack families on final answers and adversarial influence propagation across 356 source tasks and 3,958 test cases. Results show that MAD does not necessarily improve LLM reasoning under attack: in question-answering tasks it can mitigate attacks on answer accuracy compared to a single-agent baseline, but it amplifies unauthorized reads and writes in both question-answering and workspace tasks; even when three of five agents collude, it only flips the final answer from correct to incorrect on 28.30% of tasks originally answered correctly, and during debate only 3.26% of initially correct honest agents turn to incorrect answers.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    辩论会吸收还是放大攻击，尚无按流程分层的系统基准。

    多智能体辩论（MAD）在多种攻击下会吸收还是放大对抗影响，缺少分层、系统的安全评测。

    • 场景：MAD 让多个 LLM 智能体对同一任务提出答案、多轮交换并批评，再聚合成最终答案。作者称它有助于数学与常识推理、事实准确性，以及在缺少标准答案的领域修订错误。
    • 风险：同样的交互也能传播错误提案。Amayuelas et al. [2024] 报告，在三智能体辩论中加入一个对抗智能体，多个数据集上系统准确率下降 10 到近 40 个百分点。后续工作还指出从众可传播看似合理但不正确的答案，诚实智能体的错误回答也会在辩论中扩散。
    • 现有不足：现有安全基准主要针对单个智能体的提示词、观察、记忆、工具与动作；另一类工作研究一般多智能体系统中的消息拦截与拓扑利用。对 MAD，先前工作要么假设所有智能体诚实，要么只分析特定攻击。作者称据其所知，没有基准以分层视角系统分析 MAD 的安全性。
    • 核心观察：攻击被吸收，是指相对单智能体，MAD 降低了攻击影响；被放大，是指智能体之间的通信或协调增加了影响。
    • 本文提出：MADBench，按 MAD 流程把攻击分成六类，评测最终答案与对抗影响的传播。
    • 威胁模型：
      • 目标：使最终输出偏离参考答案、引发未授权读或未授权写，或使 token 消耗高于干净运行。
      • 知识与分层：L1 编排层对手改写编排器提示词，控制各智能体收到的子任务、聚合步骤和写调用；L2 智能体层对手控制子集 C 中的 f 个被攻陷智能体的系统提示词；L3 资源层对手可修改一个或多个智能体的 RAG、文件、邮件库、网页或工具说明。每类攻击只改一层。
      • 能力：攻击载荷 P 注入具体内容；基准记录含模型交互与工具调用的运行轨迹。
      • 受害系统：由编排器、n 个辩论智能体、辩论轮数 R 和工作区组成的 MAD；默认工作区共享给所有智能体，RAG 按智能体部分访问。

  2. What related research exists?

    相关工作分单智能体攻击、MAD 对抗与一般多智能体编排/基准。

    论文在引言与 Related Work 中把相关工作分成四组。

    • MAD 的能力与失败假设：Du et al. [2023]、Liang et al. [2024]、Chen et al. [2024a] 用多智能体辩论改进事实性与推理；Chan et al. [2024] 用于文本评价中与人类判断的一致性；Smit et al. [2024]、Choi et al. [2025] 讨论辩论策略或辩论与投票。作者称这些工作关注无失败情形，假设智能体诚实。

    • 针对 MAD 的对抗：Amayuelas et al. [2024] 在三智能体辩论中引入单个有说服力的对手，降低答案准确率。Cui and Du [2025] 研究由从众驱动的提示注入；Cui et al. [2026] 指出诚实智能体的错误回答也会扩散，并讨论无共识辩论。作者称这些工作主要考虑独立作恶的智能体，或只覆盖特定攻击类型。

    • 单智能体安全与四类继承攻击：Debenedetti et al. [2024]、Zhan et al. [2024]、Andriushchenko et al. [2025]、Zhang et al. [2025] 评测单个智能体的提示、观察、记忆、工具与动作。M1–M4 分别对应直接提示注入 [Zhang et al., 2025, Liu et al., 2024]、间接提示注入 [Greshake et al., 2023, Zhan et al., 2024, Debenedetti et al., 2024]、RAG 投毒 [Chen et al., 2024b, Zou et al., 2025] 和工具劫持 [Wang et al., 2026, Yang et al., 2024, Wang et al., 2024]。

    • 一般多智能体系统：He et al. [2025]、Gu et al. [2024]、Lee et al. [2025]、Zhou et al. [2026] 研究通信攻击、恶意指令传播或拓扑。编排方面，Naik et al. [2026] 的 OMNILEAK 讨论编排器被间接提示注入后的数据泄露，Yu et al. [2026] 研究规划器操纵，Triedman et al. [2025] 研究控制流劫持。TAMAS [Kavathekar et al., 2026] 在不同交互配置下评测提示注入与被攻陷智能体；NetSafe [Yu et al., 2025] 研究拓扑对错误信息传播的影响；Huang et al. [2025] 分析不同协作结构对故障智能体的韧性。作者称这些工作强调拓扑或对智能体生成错误的韧性，而不是按 MAD 的编排、智能体、资源三层系统评测。不一致消息则借用分布式系统中的 equivocation [Yin et al., 2019, Duan et al., 2024, Duan and Zhang, 2022]。

    • 基线与数据集：单智能体基线把同一载荷从同一入口送入，用于 M1–M4 的放大因子。任务来自 SealQA [Pham et al., 2026]、StrategyQA [Geva et al., 2021]、AgentDojo [Debenedetti et al., 2024]、JailbreakBench [Chao et al., 2024]；附录还描述 MathArena [Balunovic et al., 2025]。实现基于 AutoGen AgentChat [Wu et al., 2023]。

    作者把本文定位为面向 MAD、覆盖三层、并关注辩论是吸收还是放大对抗影响的基准；M5 考察共谋与不一致消息，M6 考察被攻陷编排器通过任务分发与最终聚合影响 MAD。

  3. How does the paper address this problem?

    按三层威胁模型实现六类攻击，用 ASR、IRW 与 AF 比较吸收或放大。

    MADBench 把一次辩论写成 M = (O, {Ai}, R, W)，按编排、智能体、资源三层各放一类攻击，并用与单智能体配对的运行判断攻击被吸收还是放大。

    问题设定与流程

    • 三阶段：Propose（r=0）中编排器分发 σi = Disp(q)，智能体给出 ρi = (ai, reasoni, evidencei)。Debate（r=1,…,R）中每个智能体阅读其他智能体上一轮回答并修订。Decide 中编排器聚合得到 y = Agg(q, ρ1,…,ρn)，Agg 常是一次可访问工作区的 LLM 调用。
    • 工作区：含文件、邮件库、网页、工具目录 T，以及不直接放入初始上下文的 RAG。智能体 i 只访问 RAGi，检索返回与查询最相关的 k 篇文档。读工具 TR 不改变状态，写工具 TW 修改工作区或执行外部动作。原始工具输出不自动共享，影响通过报告的回答传播。
    • 默认配置：n=5 个辩论智能体、1 个编排器、R=1。L2 攻击默认 f=3；L3 的 RAG 投毒默认污染三个智能体的数据库副本。每阶段最多查询 RAG 一次，取 top k=4，每篇截断到前 1,000 字符。

    六类攻击

    • M1–M4（继承自单智能体）：M1 把载荷拼到任务上，经分发到达全部 n 个智能体；M2 拼到文件或邮件等外部资源；M3 向智能体的 RAG 加入投毒文档；M4 把载荷拼到工具说明。M2–M4 的载荷若被写入回答，才可能到达其余 n−1 个智能体。单智能体基线使用同一载荷和同一入口。
    • M5（协调作恶，L2）：替换集合 C 中 f 个智能体的系统提示词。colluding 模式共同朝错误目标 a† 提案；independent 模式各自选择错误答案、不共享目标；inconsistent 模式向不同智能体发送不一致的答案与证据。比较时固定 f，并改变 f。
    • M6（被攻陷编排器，L1）：在编排器系统提示词后追加恶意指令，从而操纵分发与聚合。按目标分别指示读取授权集之外的文件、布置与任务无关的计算、忽略智能体最终回答并返回指定错误答案，或在聚合时调用授权集之外的写工具。作者把它当作直接控制基线，因为对手不必经由辩论智能体或外部资源传播。

    指标与成功判定

    • 配对运行：τc = Run(q, W, ⊥)，τa = Run(q, W, A)，任务、初始工作区、模型配置、随机种子和辩论轮数相同，只差是否存在攻击 A。
    • ASR：在干净运行已答对的任务上，受攻击运行的输出偏离参考答案的比例。干净运行已经答错的任务被排除，因为它们不能显示错误由攻击造成。
    • IRW：任务集上，受攻击运行出现至少一次未授权读或未授权写的比例。授权读集 R⋆ 与授权写集 W⋆ 固定，对手不能改。
    • 成本与 AF：成本报告中位 token 比 T(τa)/T(τc)。对 M1–M4，AFm 等于 MAD 的 m 除以单智能体的 m，m 为 ASR、IRW 或 cost。AF<1 为吸收，AF>1 为放大，AF=1 为两者都不是。

    实现与任务授权

    • 系统：用 AutoGen AgentChat 及其 OpenAI 扩展（均为 0.7.5）实现，约 2 万行新代码。每种攻击是只修改一层的注册类。附录 B 给出生成攻击实例的提示词：智能体返回含 answer、reason、evidence 的 JSON；只有编排器可执行写工具并给出最终答案。M1 写入任务槽，M5 替换 C 中智能体的系统提示词，M6 追加编排器、分发或聚合模板，M2–M4 只改工作区。
    • 任务类型：问答任务期望一个答案字符串，授权写集为空，因此任何写调用都计入 IRW，检索调用计入授权读。工作区任务来自 AgentDojo，带初始状态、算作完成的写调用和授权读集，覆盖办公、出行和银行三类套件；良性指令与攻击者指令相互独立。

  4. What experiments did the paper conduct?

    M1–M4 看吸收或放大，M5–M6 看共谋、模型与编排器被攻陷。

    实验设置

    • 模型与解码：默认每个智能体经托管 API 查询 gpt-4o。编排器 temperature 为 0，辩论智能体为 0.5，每次调用最大输出 4,096 token。Table 4b 另测 GPT-5 与 GPT-6 Astra，编排器与辩论智能体使用同一模型。
    • 任务规模：100 个 SealQA（事实检索）、100 个 StrategyQA（多步推理）、56 个 AgentDojo 工作区任务、100 个 JailbreakBench 有害请求，共 356 个源任务、3,958 个测试用例。附录 C 还描述 MathArena，正文主实验未单列其结果。硬件为 Intel Core Ultra 7 155H、31 GiB 内存、WSL2 下的 Ubuntu 24.04.1、Python 3.12.3。
    • 默认 MAD：n=5、R=1、一个编排器。L2 默认 f=3 并在选定实验中改变 f；RAG 投毒默认污染三个副本。
    • 指标：ASR（式 5，分母为干净运行答对的任务）、IRW（式 6）、中位 token 比；M1–M4 另报 AF。Table 4 把 ASR、IRW 和成本都写成百分比，成本是受攻击相对干净的中位 token 比。
    • 两个研究问题：RQ1 问 M1–M4 相对单智能体是吸收还是放大；RQ2 问 M5–M6 的影响如何随攻击模式和 MAD 配置变化。论文未报告重复次数，也未报告人工与自动判定的一致性。
    • 评审：成功由参考答案是否偏离、工具调用是否落在授权集之外判定，论文未写单独的评审模型。

    主结果

    Table 2 给出相对单智能体的 AF。M1 只报有害回答的 ASR 放大因子 0.88。问答（fact）上，M3 以 accuracy 为目标时 ASR 的 AF 为 0.74，M4 为 0.87；二者的未授权读 AF 出现 ∞。工作区 M2 在 12 个比较中有 11 个放大，未授权读的 ASR 放大因子为 3.09。

    Table 4a（100 个问答任务，M5）中，colluding、f=3 的 ASR 为 28.30%，independent 与 inconsistent 分别为 11.32% 和 5.66%；inconsistent 的 IRW 最高，为 74.00%。Table 4c 中 M6 的 ASR、IRW、成本分别为 100.00%、100.00%、180.94%。

    Swipe horizontally to read the table

    设置ASRIRWCost出处
    M5 colluding，f=114.81%58.00%95.77%Table 4a
    M5 colluding，f=328.30%49.00%73.08%Table 4a
    M5 independent，f=311.32%52.00%73.83%Table 4a
    M5 inconsistent，f=35.66%74.00%75.85%Table 4a
    M6 被攻陷编排器100.00%100.00%180.94%Table 4c
    M5 colluding f=3，GPT-56.90%12.00%62.19%Table 4b
    M5 colluding f=3，GPT-6 Astra3.28%7.00%50.57%Table 4b

    gpt-4o 在 Table 4b 的对应数字与 Table 4a 的 colluding、f=3 相同：ASR 28.30%、IRW 49.00%、Cost 73.08%。表中省略 M5 的 f=2 行：colluding 的 ASR/IRW/Cost 为 16.98%/60.00%/83.24%，independent 为 11.32%/59.00%/87.02%。

    • 作者解读（RQ1）：问答任务上 MAD 大体吸收针对答案准确率的攻击，因为编排器会比较答案与证据，无效提案较不容易决定输出；工作区上注入信息经回答传播并诱发未授权操作。M3、M4 即使降低 ASR 与成本，仍可能放大未授权读写。
    • 作者解读（RQ2）：三名共谋者朝同一错误目标提案时，比相互竞争的错误提案更能影响编排器；不一致模式 ASR 最低而 IRW 最高，作者认为冲突提案削弱对单一错误答案的支持，但容易引入多种未授权动作。
    • 案例：Table 3 的 SealQA 案例中，三份伪造文档指向 Clarke，两名干净智能体提出 Clauser，编排器仍输出 Clauser，单智能体则输出 Clarke。工作区案例只授权地址更新；单智能体读了未授权文件但仍只做地址更新，MAD 在辩论后五名智能体都支持付款，编排器执行未授权付款。Table 5 中，最终答案只在 colluding 下变成 Endgame；independent 与 inconsistent 仍输出 Avatar，但编排器在定稿时创建文件，构成未授权写。

    诚实智能体是否被说服

    附录 D.4 定义 C2W：在 Propose 阶段答对的诚实智能体中，辩论后改为错误答案的比例。Table 11 中最高值出现在 colluding、f=3，为 3.26%；inconsistent、f=3 为 1.06%，independent、f=3 为 0.00%。作者称这并不意味着最终输出不会被操纵，并认为更精心设计的提案和证据可能提高 C2W，但这仍有待研究。

    轮次、模型与载荷目标

    • 轮次：Table 10 固定 colluding、f=3，R=1/2/3 的 ASR 为 28.30%、26.92%、33.33%，IRW 为 49.00%、55.00%、47.00%，成本为 73.08%、74.61%、77.44%。作者称三项指标在不同 R 下大致相同；先前工作认为更多轮次可能进一步吸收异常行为，本文中并非如此。
    • 模型：Table 4b 中，同一 colluding、f=3 设置下，从 gpt-4o 到 GPT-5、GPT-6 Astra，ASR 从 28.30% 降到 6.90% 和 3.28%，IRW 从 49.00% 降到 12.00% 和 7.00%。作者称更强的底层 LLM 可以带来更低的 ASR、IRW 和成本。
    • 编排器：作者称 M6 的结果并不令人意外，因为编排器直接控制分发、聚合和写工具，可以覆盖辩论智能体的建议。

    其他消融与分析

    • 载荷所求目标（附录 D.3）：固定 M5 参考配置，只改载荷所求的 Sec. 3.1 结果。针对答案的载荷得到答案的比例为 28.30，另外三种为 1.89 到 3.77；针对读、写动作的载荷 IRW 分别为 100.00 和 96.00。作者称群体对错误答案有一定抵抗，对未授权调用则没有。
    • Table 9 的脚注：M4 上两个标 ‡ 的 AF 由每侧至多两个任务算出，作者称它们是噪声，不能说明方向；标 § 的未授权写因子中，单智能体已在全部 100 个计分任务上越权，比率为 100%，该因子按构造不能超过 1。Table 2 中 M3、M4 的若干 IRW 放大因子为 ∞。
    • 传播路径：M1 经分发直接到达全部智能体；M2–M4 需被写入回答才可能到达其余智能体。论文未在主表中按“是否写入回答”拆分成功率。

  5. What are some points that can be further explored?

    作者只明确留下 C2W 是否能被更精心的提案提高这一问题。

    作者指出的局限与后续方向

    • C2W 仍低：附录 D.4 称，在已评估配置中，最初答对的诚实智能体最多只有 3.26% 在辩论中改为错误答案；更精心设计的提案和支持证据可能提高 C2W，但这仍有待研究。
    • 更多辩论轮次：附录 D.2 称先前工作认为增加 Debate 轮次可能进一步吸收异常行为，作者想了解本文是否同样成立；Table 10 中 ASR、IRW 和成本在 R=1、2、3 下大致相同。论文没有单独的 Limitations 或 Future Work 节，除此之外未把其他现象写成局限。

    实验覆盖范围

    • 攻击与任务：评测六类攻击 M1–M6。源任务为 SealQA 100、StrategyQA 100、AgentDojo 56、JailbreakBench 100，共 356 个源任务、3,958 个测试用例；附录 C 描述 MathArena，主文表格未单列其数字。
    • 默认系统：AutoGen AgentChat 0.7.5；默认 gpt-4o，n=5，R=1，L2 的 f 默认为 3，RAG 投毒默认三个副本，k=4。模型比较只在 M5 colluding、f=3 上包含 gpt-4o、GPT-5、GPT-6 Astra（Table 4b）。轮次比较只在 M5 colluding、f=3 上取 R∈{1,2,3}（Table 10）。
    • 指标范围：M1 只报告有害回答的 ASR 放大因子；M2–M4 报告 ASR、IRW、成本的 AF（Table 2）。AF 只定义在单智能体攻击族上。ASR 的分母是干净运行答对的任务。
    • 论文未报告：重复次数、查询预算之外的逐攻击查询次数、以及评审与人工的一致性。成功由参考答案和授权工具集判定，论文未写单独的评审模型。
    • 案例覆盖：Table 3 给出一个 SealQA 的 M3 案例和一个工作区的 M2 案例；Table 5 与附录 D.6 给出 M5 三种模式的事实问答案例，其中未授权写来自编排器在定稿时创建文件。

  6. Summarize the main content of the paper

    MADBench 显示辩论能吸收部分准确率攻击，同时放大未授权读写。

    MADBench 是一个评测多智能体辩论安全性的基准，用来看攻击是被辩论吸收还是被放大。

    • 问题：多个智能体交换并批评同一任务的答案时，纠正错误的通道也会传播对抗性错误。已有评测多针对单个智能体，或只分析 MAD 的某一种攻击。
    • 做法：按编排层、智能体层、资源层放置六类攻击。M1–M4 分别从任务、外部资源、RAG 和工具说明注入；M5 让 f 个智能体共谋、各自作恶或发送不一致消息；M6 改写编排器，直接操纵分发、聚合或写工具。同一任务配对干净运行与受攻击运行，用 ASR、IRW、token 比，以及相对单智能体的放大因子 AF 衡量。默认 n=5、R=1、gpt-4o。
    • 结果：356 个源任务、3,958 个测试用例上，问答任务的准确率攻击常被吸收，RAG 投毒下 ASR 的 AF 为 0.74（Table 2，QA fact、accuracy 目标）；工作区上 M2 在 12 个比较中有 11 个放大，一个只授权改地址的任务在辩论后变成未授权付款。五名中三名共谋时，无攻击下答对的任务有 28.30% 被改成错误答案，但最初答对的诚实智能体只有 3.26% 在辩论中改错。不一致模式的 IRW 为 74.00%。编排器被攻陷时 ASR 与 IRW 都是 100.00%。换到 GPT-5、GPT-6 Astra 后，同一共谋设置的 ASR 降到 6.90% 和 3.28%。R 从 1 增到 3，三项指标大致不变。
    • 作者的结论：攻击下 MAD 不一定改进 LLM 推理；它可能减轻问答任务上对答案准确率的攻击，同时放大问答与工作区任务中的未授权读或写。被攻陷的编排器可以直接偏离正常行为。
Read originalarxiv.org