MASBench：部分可观测条件下的 LLM 多智能体协作基准

现有基准难以在部分可观测条件下比较协作机制本身。

• 场景：作者认为，多智能体收益并不只来自增加智能体数量，而取决于 memory、routing、protocol 如何组织。真实协作通常部分可观测，参与者因物理或隐私约束看不到全局状态（Figure 1）。
• 现有不足：作者称许多 LLM 智能体基准实际假设大致全局可观测，从而把协作困难简化掉。已有部分可观测工作仍主要看端到端成绩；不少评测还依赖 LLM-as-a-judge，作者引述其易受冗长偏差和评审版本影响。
• 作者的拆分：记忆维持跨轮关键信息，路由决定谁与谁、何时通信，协议用消息模式和交互规则组织通信。
• 本文提出：MASBench 用 Reasoning、Scheduling、Game 三类任务递进加压这三种机制，并用 performance score、communication cost、communication efficiency 做确定性量化。作者称可不依赖 LLM-as-a-judge，并为骨干与机制组合提供设计参考。

协作机制

• Memory：Packer et al. (2023) 的 MemGPT，以及 Park et al. (2023) 的 Generative Agents，用 memory stream 维持行为一致；Wang et al. (2024)、Zhong et al. (2024) 也被归入跨轮状态维护。
• Routing：Liu et al. (2023b) 的 DyLAN 按上下文动态优化交互图；Wu et al. (2024)、Zhuge et al. (2024)、Shen et al. (2025) 被归为决定信息流向。
• Protocol 与决策优化：Chen et al. (2025b) 的 OPTIMA 在同时奖励任务表现与 token 效率的轨迹上训练通信；Song et al. (2023)、Chen et al. (2025a)、Marro et al. (2024) 用阶段和消息模式规范交互。另有多智能体辩论（Liang et al., 2024）、Reflexion（Shinn et al., 2023）和投票（Wang et al., 2023）。

通用与协作基准

• 结果导向基准：作者把 AgentBench（Liu et al., 2023a）、GAIA（Mialon et al., 2023），以及 Qin et al. (2024)、Sun et al. (2025)，归为较松交互条件下、实际假设大致全局可观测的评测。
• 协作与部分可观测：Zhu et al. (2025)、Sun et al. (2025)、Zhou et al. (2023) 转向协作求解或仿真；Zhou et al. (2023)、Yu et al. (2024)、Zhu et al. (2025)、Ruan et al. (2025) 引入部分可观测。作者称这些基准主要评端到端能力，而不是受控分析不同机制的贡献。
• LLM 评审：作者称许多多智能体基准至少部分依赖 LLM-as-a-judge（Zheng et al., 2023; Shi et al., 2025），对提示敏感且易有系统偏差，影响可复现性。

领域基准与编排框架

• 领域流程：Dong et al. (2024)、Li et al. (2025)、Fan et al. (2025)、Long et al. (2024)、Gong et al. (2024) 模拟结构化角色交互。作者称它们与 MASBench 互补，但通常优先评单个智能体对特定环境的适应。
• 编排框架：附录 A 把 AgentVerse（Chen et al., 2024）和 AutoGen（Wu et al., 2024）归为通用编排；MetaGPT（Hong et al., 2023）、ChatDev（Qian et al., 2024）把软件开发拆成阶段子任务；SciAgents（Ghafarollahi and Buehler, 2025）用角色化智能体提出并批评科学假设。

基线与数据：实验对照是各任务的 Base，以及 Memory、Protocol、Routing（Random / Gate）组合；框架对照是 CAMEL（Li et al., 2023）和 AgentVerse。Reasoning 改编自 HotpotQA（Yang et al., 2018）；Scheduling 与 Game 为本基准构造的日程和地图。

作者把本文定位为机制级评测：任务递进加压 protocol、memory、routing，并报告确定性的任务表现、通信成本与通信效率。

系统写成目标、智能体集合与共享环境。部分可观测下，每个智能体只能看到局部视图并接收发给自己的消息。MASBench 按机制需求递进构造三类任务，再以规则指标同时记录成绩和通信开销。

问题设定

• 智能体：每个智能体包含观测函数、记忆、记忆更新、对环境的决策函数，以及与其他智能体通信的函数。全局状态由全体动作转移；系统输出通常取最后全局状态来匹配总目标。
• 三种机制：Memory 记录并摘要过去观测与交互；Routing 决定谁与谁、何时通信；Protocol 规定消息模式和交互规则。路由和协议主要约束通信函数，任务规则也可约束决策函数。

三类任务

• Reasoning（Protocol）：两名智能体各持证据链的一部分，都不能独立作答，经最多 10 轮对话给出答案。实例改编自 HotpotQA，按支撑事实数、上下文长度和答案长度分为 Simple / Complex，共 300 条（200/100，Table 1）。附录中的难度分只用于分层，不用于打分。
• Scheduling（Memory 与 Protocol）：5 名智能体只能看自己的日程，不能公开完整日历，以广播协商，不含 routing。日历按 10 分钟粒度生成，目标是连续 20 分钟且全体可行的窗口。可行窗口数为 4 或 5 时为 Simple，2 或 3 时为 Complex，共 200 条（100/100）。附录写明最多 5 轮。
• Game（三者都用）：合作的 Dec-POMDP 式网格世界，4–8 名智能体，100 张图（50/50）。Simple 为 15×15，Complex 为 18×18。智能体只看以自己为中心的局部窗口；每步先做移动或物品操作，再可点对点发消息，下轮初送达。同时只能携带一种资源。地图人工指定，附录中的回合上限为 50。

机制配置

• Base：Reasoning 为自由对话；Scheduling 依据私有日程和近期对话做自然语言协商；Game 关闭智能体间通信。
• Protocol：Reasoning 把公开内容收成索取信息、共享证据和最终答案，只有公开块传给对方。Scheduling 分成粗搜索、候选提议、投票等阶段，并改用分阶段结构化输出。Game 把消息收成状态、观测和当前计划等任务字段；附录还检查无依据的坐标或容量陈述。
• Memory：Scheduling 跨轮保留候选与被拒时段，完整配置还可预先抽出可用区间。附录 B.5 另设只保留协商状态、不做可用性预处理的变体。Game 保存已发现的世界状态和收到的消息。
• Routing：仅 Game。Random 从通信范围内的队友抽样接收者；Gate 先决定是否发送，再选择接收者。每轮最多一条点对点消息。附录 E 给出完整提示词。

判定与指标

• Score：实例平均，标度 [0, 100]。Reasoning 为词级 F1 乘 100。Scheduling 仅当窗口对所有人可行才成功，成功率乘 100。Game 用收集分除以地图相关的启发式参考分再乘 100；作者写明该参考分不是保证的全局最优，且 Complex 分数不一定更低，因为人数和资源也增加。
• Tok 与 Eff：Tok 只计智能体间消息 token，不含本地推理。Eff 是每 1,000 个通信 token 对应的 Score。

实验设置

• 骨干：Llama-3.1-8B-Instruct、GPT-5-nano、Gemini-2.5-Flash-Lite、Deepseek-v3.2（正文亦写作 DeepSeek-v3.2）、Qwen-Plus。作者称 Llama 在 Scheduling 与 Game 失败率高，故只进入 Reasoning。
• 规模：Table 1 为 Reasoning 300（200/100）、Scheduling 200（100/100）、Game 100（50/50）。
• 对照：任务内为 Base 及 Memory、Protocol、Random、Gate 的组合。框架级对照为 CAMEL 与 AgentVerse，参考系统是本文支架。
• 指标：Score、Tok、Eff，定义见第 3 问。Game 主结果为每张地图、每种配置 5 次的平均（Table 4）。
• 判定：主指标为规则计算，不是 LLM 打分。附录中 Scheduling 用提示词检测共识并抽取时段，成功与否仍由该时段是否全体可行决定。论文未说明该检测器是否另用模型。
• 未写明项：论文未报告 Reasoning、Scheduling 主实验的重复次数，也未报告主实验采样温度。

主结果

下表为 Overall。R 为 Reasoning（Table 2），S 为 Scheduling（Table 3），G 为 Game 的 Memory+Gate+Protocol（Table 4）。

Swipe horizontally to read the table

模型	R Protocol	R Base	S Memory+Protocol	S Base	G 该配置
Llama-3.1-8B-Instruct	33.45	26.06	未报告	未报告	未报告
GPT-5-nano	49.66	43.36	42	1	60.71
Gemini-2.5-Flash-Lite	55.53	50.92	62.5	17	30.41
Deepseek-v3.2	55.23	54.41	63	22.5	60.07
Qwen-Plus	59.24	55.81	63.5	13.5	62.05

• 骨干：作者称骨干能力对任务效用仍是决定因素，Qwen-Plus 在三类任务 Score 最高；更高 Score 不必然对应更高 Eff。Table 3 Overall 中，Deepseek-v3.2 的 Memory+Protocol Eff 为 69.64，高于 Qwen-Plus 的 60.82。
• Reasoning：作者称 Protocol 的 Overall Score 相对提升为 +1.5% 到 +28.4%，Tok 下降 45.0% 到 72.7%，Eff 为 2.0× 到 4.2×。例外是 Table 2 的 Simple：Gemini-2.5-Flash-Lite 的 Protocol Score 为 59.03，低于 Base 的 59.47。
• Game：作者称 Gate 比 Random 的 Score 高 2.35 到 6.57 分，Tok 少 28.0% 到 35.6%；Memory+Random+Protocol 的 Score 仍低于 Memory+Gate。Table 4 Overall 中，Qwen-Plus 的 Memory+Random 为 53.20，低于仅 Memory 的 53.39。

框架级评测

• 测了什么：CAMEL 与 AgentVerse 在分层 30% 子集上比较，抽样种子 42。子集为 Reasoning 90 条（60/30）、Scheduling 60 条（30/30）、Game 30 张图（15/15）。参考系统分别为 Protocol、Memory+Protocol、Memory+Gate+Protocol。四个骨干，不含 Llama（Table 5，附录 C）。
• 结果：Scheduling 上 Gemini-2.5-Flash-Lite 的 Score 为 Reference 66.67、AgentVerse 13.33、CAMEL 6.67；GPT-5-nano 为 41.67、16.67、6.67。Reasoning 上 Qwen-Plus 为 60.46、58.59、57.16。Game 上 Qwen-Plus 为 57.32、29.61、26.11。
• 作者解读：作者称差距在 Reasoning 上通常较小，在 Scheduling 和若干 Game 设置上更大。AgentVerse 在多数 Scheduling 设置更好且消息更紧，但 DeepSeek-v3.2 的 Scheduling Score 是 CAMEL 40.00、AgentVerse 38.33。作者称 CAMEL 在多数 Game 设置更强，但 Qwen-Plus 的 Game Score 是 AgentVerse 29.61、CAMEL 26.11。

跨轮记忆消融

• 测了什么：Scheduling 增加 Cross-round Memory：仍用 Base 的原始忙碌日历，只保留跨轮协商状态，不做可用区间预处理（Table 7，附录 B.5）。
• 结果：作者称它在全部 12 个骨干×划分比较中 Score 高于 Base。Overall 从 Base 到该变体：GPT-5-nano 为 1 到 2，Gemini-2.5-Flash-Lite 为 17 到 27，DeepSeek-v3.2 为 22.5 到 36.5，Qwen-Plus 为 13.5 到 39.5。完整 Memory 在 12 次中 9 次更高、1 次持平、2 次更低。
• 作者解读：作者称完整 Memory 的收益不能只归因于预计算的可用名单。该变体 Tok 在 12 次中都高于 Base，Eff 有 11 次更高；例外是 DeepSeek-v3.2 的 Simple，Eff 为 65.95，低于 Base 的 74.66。

失败样本

• 测了什么：每任务从各骨干、各设置的 Simple 与 Complex 底部 30% 合并后抽 40 条，人工标一个主错误类型。百分比是这 40 条内部的比例，不是全基准失败率（附录 B.1）。
• 结果：Reasoning 为不完整答案 16/40、错误答案 11/40、格式违规 11/40、偏离指令 2/40。Scheduling 为探索失败 17/40、误判 15/40、输出失败 4/40、记忆失败 4/40。Game 为低效率 19/40、低探索 11/40、导航失败 8/40、混合 2/40。
• 作者解读：作者没有把不完整答案直接归因于推理错误，而是认为应同时检查信息汇合与输出是否合规。附录案例说明：配对运行中 Protocol 在作答前取到对方证据；Memory+Protocol 在第 3 轮锁定可行时段，Base 与 Memory 用满 5 轮仍无时段。Game 一例把未见仓库位置传出后完成存放，另一例在更新的局部观测与较早消息冲突时存放未成功。

其他消融与分析

• Table 6 把 Game 的 Tok 改成消息阶段全部补全 token。Overall 上 GPT-5-nano 的 Memory+Gate 为 10016，高于 Memory+Random 的 8674；Deepseek-v3.2 为 4086 对 4059。作者称传输 token 更少不一定等于消息阶段生成成本更低。
• Figure 3a、4a：作者称 Protocol 或 Memory+Protocol 在 Simple 与 Complex 上都到达更高平台。文本未给出曲线端点。
• Figure 5a：作者称 Game 的 Base 低于带记忆的变体，Memory+Gate+Protocol 最好；文本未给出端点。
• Figure 3b–5b：作者称 Protocol 使单条消息更短、更稳；仅 Memory 在 Scheduling 上并不稳定缩短消息。文中写“significantly drops”，但未报告显著性检验。
• Figure 7 未给出熵的具体数值。作者称无 Protocol 时贡献更不均衡；Gate 比 Random 更稳；加入 Protocol 后归一化熵更高、分布更紧。
• 附录 B.3：作者称其余骨干的轮次曲线与正文中的 Qwen 分析一致，相关机制带来更快收敛；文本未给端点。

作者指出的局限与后续方向

• 正文：论文没有 Limitations 专节。Conclusion 只说实验结果可为未来多智能体设计提供经验指引，没有列出具体后续实验（Section 6）。
• 框架对比的因果范围（附录 C.5）：作者写明，该比较不能隔离“只替换框架库”的效应；差异还可能来自预处理、对话管理、交互控制和消息构造。
• Game 框架重复（附录 C.3）：作者写明只保留了五次重复的均值，无法恢复逐次标准差，因此不报告误差条，也不声称统计显著性。

实验覆盖范围

• 被测骨干为 Llama-3.1-8B-Instruct、GPT-5-nano、Gemini-2.5-Flash-Lite、Deepseek-v3.2、Qwen-Plus；前者只出现在 Reasoning（Section 5.1）。
• 任务规模见 Table 1：Reasoning 300、Scheduling 200、Game 100，各含 Simple 与 Complex。机制组合为 Base、Memory、Protocol，以及 Game 的 Random 与 Gate。
• Game 主结果为每张地图、每种配置 5 次后平均（Table 4）。框架评测为 CAMEL 与 AgentVerse，四个骨干、分层 30% 子集（Table 5，附录 C）。
• 主 Score 由词级 F1、全体可行窗口或相对启发式参考分计算。Scheduling 的共识检测使用了附录提示词，论文未说明检测器模型。
• 论文未报告 Reasoning 与 Scheduling 主实验的重复次数和采样温度。附录 C.4 写明 Tok 不计提示 token、私有推理和未发出的控制输出。

MASBench 用部分可观测任务比较 LLM 多智能体的协作机制，而不是只看端到端能否做完。

• 问题：作者认为真实协作常因物理或隐私约束看不到全局状态，而许多基准假设大致全局可观测，或只评端到端成绩，并依赖 LLM-as-a-judge。
• 做法：Reasoning 把证据分给两人，考察 Protocol；Scheduling 让五人按私有日程协商 20 分钟会议，考察 Memory 与 Protocol；Game 在局部观测网格中收集并运送资源，考察 Memory、Routing 与 Protocol。Score、Tok、Eff 分别记归一化成绩、智能体间消息 token 和每千 token 成绩。
• 主结果：Table 2–4 的 Overall 上，Qwen-Plus 的 Score 最高，分别为 Reasoning Protocol 59.24、Scheduling 的 Memory+Protocol 63.5、Game 的 Memory+Gate+Protocol 62.05。GPT-5-nano 在 Scheduling 的 Base Score 为 1，Memory+Protocol 为 42。
• 例外：作者称机制增益跨骨干出现，但 Table 2 的 Simple 中，Gemini-2.5-Flash-Lite 的 Protocol Score 59.03 低于 Base 59.47。作者称 Qwen-Plus 的高 Score 常伴随并不更高的 Eff。
• 框架：在 30% 子集上，Scheduling 的 Gemini-2.5-Flash-Lite Score 为参考系统 66.67、AgentVerse 13.33、CAMEL 6.67（Table 5）。作者称通用编排不会自动适应部分可观测下的信息不对称。
• 结论：作者认为骨干能力仍决定任务效用，机制设计应同时看成绩和通信开销；跨轮状态保留本身就有收益，不能只归因于可用时间的预处理。