当 Agent 遇上「猪队友」:谷歌开源 CLASHarness,实测前沿大模型如何应对多 Agent 冲突场景
当Agent遇上「猪队友」:谷歌开源CLASHarness,实测前沿大模型如何应对多Agent冲突场景
AI 导读
来自 Google 等多所高校的研究团队发布多智能体冲突基准 CLASHarness,覆盖 20 个真实领域、600 个多轮可执行冲突任务,代码与数据集已在 GitHub 开源(arXiv 2610.19128)。基准用三层八阶段生成管线保证任务 100% 可解,并把关键真值只渲染进 4K 截图,防止模型靠搜文本过关。对 15 个主流模型、9000 余条沙盒轨迹的评测显示,标准 20 步限制下 Claude Opus 5 与 GPT-5.6 Sol 通过率最高,分别仅 25.2% 和 24.5%,远低于顶尖模型 55%–67% 的单项步骤分;弱模型倾向盲信队友的文字汇报,强模型会主动看图核实,关掉视觉输入后所有模型通过率暴跌 87%–90%。
推荐理由
基准评测显示顶尖模型单项得分约六成但端到端通过率不足三成,部署多 Agent 协作的团队可据此检查验证与收尾环节。
相关论文