CLASHarness：用可控且可验证的生成流程评测电脑操作任务中的多智能体冲突

多智能体计算机使用需要在矛盾信息下核对环境并改写系统状态，但缺少可规模化且可验证的评测。

• 场景：作者称 VLM 正被部署到多智能体计算机使用流程。同伴或子智能体经常报告过时状态、发出矛盾指令，或争夺共享权限与文件；智能体要检查他人输出，并在运行环境中核对 ground truth。
• 现有不足：作者称现有计算机使用基准多假设一致、协作的单智能体环境，多智能体评测又多限于纯文本对话。手工编写难以扩展；无约束 LLM 生成会带来叙事漂移、答案泄露、无依据的视觉资产，以及使任务不可解的评分标准。
• 设计原则：作者提出分层分阶段合成、渲染前提交多模态 ground truth，以及从已执行参考轨迹编译混合检查器，使每个任务在构造上可解。
• 本文提出：可控生成框架 CLASHarness，以及 20 个操作域、600 个可执行冲突回合的基准，并在 15 个前沿模型上做诊断。
• 任务设定：一轮冲突包含初始工作区、不透露哪条主张为真的指令、类型化动作空间、决定性事实和混合评分套件。智能体被提醒存在矛盾，须调查多模态证据，并执行交接、配置修补或回滚。论文未使用 white-box、black-box 或 no-box。

作者按第 2 节把相关工作分成三组，并把本文放在显式事实与时间矛盾下的计算机使用评测，而不是一致协作环境或纯文本知识冲突。

计算机使用与多智能体基准

• 工具增强基准：论文列举 SWE-bench（Jimenez 等人，2024）、OSWorld（Xie 等人，2024b）、WebArena（Zhou 等人，2024）、GAIA（Mialon 等人，2024）、AgentBench（Liu 等人，2024）等，用于软件工程、操作系统执行和网页导航。
• 协作与失败：Du 等人（2023）、CAMEL（Li 等人，2023）、AutoGen（Wu 等人，2023）研究协作求解；Cemri 等人（2026）、CooperBench（Khatua 等人，2026）、Pappu 等人（2026）、Silo-bench（Zhang 等人，2026）等讨论协调失败。
• 作者的区分：作者认为这些基准多假设内部一致、协作的环境；CLASHarness 则在工具、文件、视觉证据和同伴对话上加入事实与时间矛盾。

知识冲突与多模态接地

• 纯文本冲突：ConflictBank（Su 等人，2024）、Xie 等人（2024a）、Wang 等人（2023；2025）等研究模型记忆与检索文本之间的矛盾。作者将这类工作放在纯文本问答中。
• 界面导航：Mind2Web（Deng 等人，2023）、VisualWebArena（Koh 等人，2024）评测图形界面导航。作者称其中没有冲突信号。
• 作者的区分：CLASHarness 在仪表盘、终端输出和系统图上预先提交视觉 ground truth，并加入过时证据与过期授权。

测试时计算与推理动态

• 形式任务：作者转述 Guo 等人（2025）、s1（Muennighoff 等人，2025）、Snell 等人（2025）：增加测试时推理计算能提高数学与形式任务表现。
• 动作循环：Chen 等人（2025）、Cuadron 等人（2025）讨论开放式智能体环境中的过度思考和重复动作。
• 本文用途：作者称 CLASHarness 用来观察推理力度如何影响操作冲突下的多轮执行。

基线与基准 论文没有把某个外部方法列为统一基线。比较发生在 CLASHarness 的 600 个回合上；难度按参考轨迹长度分为 Easy、Mid、Hard。生成器对照用同一批 20 个种子，分别由 Gemini 3.6 Flash 与 Claude Sonnet 5 合成。

作者认为，本文评测的是跨工具、文件、视觉证据和同伴对话的事实与时间矛盾，而不是一致协作环境或静态单模态问答。

CLASHarness 把多智能体冲突任务的生成拆成宏观规划、逐轮验证执行和生成后排他检查，避免一次提示同时编写剧情、工作区和评分器。

问题设定

• 回合定义：冲突回合由初始工作区 W0、指令 I、动作空间 T、决定性事实 v★ 和混合评分套件 Φ 组成。W0 含操作系统状态、文件树、异步通信记录和已渲染视觉证据。
• 智能体可见信息：推理时只给 W0、I 和 T，并提醒存在矛盾。I 框定同伴的竞争主张，但不指出哪条有事实依据。
• 完成方式：智能体要找出 v★，并执行会写入审计日志 Elog 的状态变更，例如协议交接、配置修补或回滚。评分同时看最终工作区和 Elog。
• 包结构：回合组成共享演化工作区的 10 回合包，由结构化 scenario seed 生成。

三层生成管线

• Tier 1（Stage 1–3）：先建一致的多智能体世界。Stage 1 写全局时间线和共享资源，Stage 2 定角色、信道与权限，Stage 3 初始化仓库、配置、日志和界面。论文写这一层为 8 次 LLM 调用。
• Tier 2（Stage 4–5）：每个包有 R=10 轮。每 3–4 轮（Ps 属于 [3, 4]）用一次调用展开阶段里程碑。每一轮再走八步：任务指令、同伴对话、文件更新、视觉资产、提交 v★ 并做泄露扫描、分步计划、沙箱执行参考轨迹、从轨迹编译检查且不再调用模型。
• 状态延续：第 r 轮的工作区修改带入第 r+1 轮。失败被限制在单个子步骤，用诊断反馈做有界重试，不整包丢弃。
• Tier 3（Stage 6–8）：Stage 6 核对指令、参考轨迹和评分；Stage 7 用 HTML/Canvas 规格嵌入 v★；Stage 8 在无头浏览器渲染截图，并检查需要视觉的任务中 v★ 不出现在文本捷径里。输出为 scenario.json。

可控性、插件与自修正

• 种子：冲突类型、交互协议、工具族和证据模态由声明式 seed 规定。附录 §B.4 写了用户可改参数并合成新域。
• 插件：领域机制拆成 23 个插件，其中 16 个冲突机制、7 个 challenge 插件（Table C1）。有效动作是其声明效果与插件效果交集非空的命令；新冲突只需注册效果，不改评分引擎。
• 两级修正：格式、语法和路径错误由确定性代码直接修，0 次模型调用。逻辑不一致只重试受影响子步骤。
• 调用量：论文把总调用数写成 8 + ceil(R/Ps) + K 乘 R + A，K 约为 7–8，A 为资产数；10 回合包平均 95 次（附录 §B.2）。

评分与视觉排他

• 检查来源：精确代码检查核对标识符，语义标准只覆盖规定范围内的文件修改。检查从已执行参考轨迹编译，作者称以此去掉不可达评分。
• 视觉事实：v★ 在子步骤 5.5、渲染之前提交。视觉资产以独立图像提供。600 回合中 346 个把打开视觉资产标为 required，并做文本泄露扫描。
• 参考预算：参考轨迹平均 10.28 步，告知的步数预算 b=20；长度范围为 7–18 步。附录 Table B1 列出 M1–M14 共 14 类生成缺陷及对应修复。

实验设置

• 被测模型：Table 1 的 15 个模型为 Claude Opus 5、Claude Opus 4.8、Claude Sonnet 5、GPT-6 Astra、GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna、Gemini 3.7 Flash、Gemini 3.6 Flash、Gemini 3.1 Pro、Gemini 3.5 Flash、Kimi K3、DeepSeek V4 Pro、GLM-5.2 FP8、DeepSeek V4 Flash。步数实验另含 Gemini 3.8 Flash。
• 预算与输入：十个 20-step API 模型有 Low/Medium/High；GPT-6 Astra 与四个开源模型仅 High。GPT-6 Astra 使用扩展预算，平均 26.1 步，附录亦写 40 步预算。带 † 的三个模型用视觉资产的 OCR 文本。多数 run 为 r01；Gemini 3.7 Flash 采用 r02。
• 数据：20 个种子、每种子 3 个变体、60 个包、600 个回合。检查 3,760 项，其中 required 3,284 项；视觉资产 7,970 个，346 个回合要求看图。
• 难度：按参考轨迹长度，Easy 为不超过 9 步，Mid 为 10–11 步，Hard 为至少 12 步。参考轨迹平均 10.28 步，中位数 10。
• 指标：Pass Rate 是满足全部 required 检查的任务比例；Mean Score 是每回合已满足检查的平均比例。Table 1 为均值 ± bootstrap 标准误，10,000 次按种子聚类重采样。
• 评审：3,284 项中 1,147 项（34.9%）为代码检查，2,137 项（65.1%）为语义检查，3 次采样多数投票，19,419 次判定中 97.5% 一致。正文 §4 未点名默认评审；附录 F.5 称语料标准评审为 Gemini 3.6 Flash，并用 Claude Sonnet 5、Claude Opus 5 重评。F3–F6 只用代码检查。

主结果

下表为 Table 1 的 High、All 与 Hard。Pass Rate 与 Mean Score 的单位是 %，± 为标准误。GPT-6 Astra 不是 20 步预算。

表格较宽，可左右滑动

模型	All Pass Rate	All Mean Score	Hard Pass Rate
GPT-6 Astra（扩展预算）	28.7±1.9	66.8±1.2	18.6±3.3
Claude Opus 5	25.2±1.8	64.2±1.2	13.6±2.9
GPT-5.6 Sol	24.5±1.7	63.3±1.2	13.6±2.9
Kimi K3	21.8±1.7	55.9±1.4	12.1±2.7
Gemini 3.6 Flash	18.5±1.6	58.6±1.3	3.6±1.6
GLM-5.2 FP8（OCR）	14.7±1.4	48.7±1.3	5.7±2.0
DeepSeek V4 Flash（OCR）	8.5±1.1	37.5±1.3	4.3±1.7
Gemini 3.5 Flash	3.0±0.7	25.9±1.1	2.1±1.2

省略的 High 行见 Table 1：Claude Opus 4.8、Claude Sonnet 5、Gemini 3.7 Flash、GPT-5.6 Terra、GPT-5.6 Luna、DeepSeek V4 Pro（OCR）、Gemini 3.1 Pro。

• 作者解读：作者称低通过率不等于单项检查全失败；前沿模型的单项检查在作者给出的 55%–67% 区间。GPT-6 Astra 触及执行上限的比例为 1.0%，但常提前停止，未释放共享锁或完成子智能体交接。
• 推理力度：作者称由 Low 到 High 收益变小或变差。Claude Opus 5 增加 1.7 个百分点，GPT-5.6 Luna 增加 0.3 个百分点。Gemini 3.6 Flash、Gemini 3.7 Flash 的峰值在 Medium，分别为 20.2% 和 21.5%。
• 负面例子：Gemini 3.5 Flash 的 Low Pass Rate 为 13.5%，High 降到表中的数值。作者称其内部思考循环挤占了步数预算内的工具动作。

失败模式与收尾协议

• 测了什么：§5.2 把 3,284 项检查分成视觉接地 F3、内容准确性（F1 消息、F2 文件、F4 证据引用）和协议合规（F5 收尾动作、F6 时间窗）。
• 结果：作者称强模型比弱基线高 31–65 个百分点，顶尖模型之间 F4 仍有 15.2 个百分点差距。F5 失败率为 58%–72%，F6 为 83%–97%；Figure D1 的分母分别是 515 和 30。GPT-6 Astra 与 Claude Opus 5 的收尾动作失败超过 58%。
• 作者解读：作者称协调协议是普遍瓶颈。冲突类别残差经 Bonferroni 校正后 p 不小于 0.094，作者认为没有领域专门化。

解决冲突与仅调查

• 测了什么：Table 3 在 High、15 个模型、9,000 回合上比较须改状态的 Resolve 与只调查的 Investigate。12 个种子为处理组，8 个种子的门控不生效，作为对照。
• 结果：处理组由 28.1% 降到 11.0%（-17.1 个百分点），对照由 19.3% 到 20.4%（+1.1 个百分点），DiD 为 -18.2 个百分点，95% CI [-29.1, -7.2]，exact p=.052。剂量反应为仅调查 28.1%、推进协议 12.3%、完成协议 4.4%（Table D5）。
• 作者解读：Mean Score 差距只有 -7.9 个百分点（p=.252）。作者称智能体容易发现不一致，但撤销、收回权限或交接锁会拉低任务成功。作者称 p=.052 处于该设计的统计显著性边界，且 DiD 偏保守：门控回合含已声明插件效果的比例为 41.7%，未门控为 25.7%。

预算、视觉与生成器

• 步数预算：Table F2 中，b 从 20 增到 40，Claude Opus 5 由 25.2% 到 27.0%，触顶率在 b=20 时为 0.5%。Gemini 3.5 Flash 由 3.0% 到 13.0%，b=20 时 89.2% 的回合触顶。Gemini 3.8 Flash 由 12.8%（20 步）到 29.2%（40 步），60 步为 30.7%；§6 在此后写下 p=.0098。
• 去掉图像：Table F2 中，Claude Opus 5 在全部 600 回合由 25.2% 降到 4.2%。在 254 个未强制图像检查的回合上，由 24.8% 降到 2.8%。作者称盲视智能体只保留有视觉时通过率的 11.1%–13.1%，最大 p=2.6×10 的 -12 次方这一量级（文中写 p<10^-11，校正后最大 p=2.6×10^-12）。
• 换生成器：同一 20 个种子由 Claude Sonnet 5 重生成。参考轨迹均值 12.48 步对 10.28 步，Pearson r=0.186（Table F1）。七个模型的排名 Spearman ρ=0.96；作者称没有自偏好。

其他消融与分析

• 易任务上 11/15 个模型的 co-failure lift 高于 1.0；Table 2 的 Hard lift 为 0.99–1.06，其中 GPT-6 Astra 为 1.01。附录 D.3 另写 GPT-6 Astra 为 0.92，与 Table 2 不一致。
• 推理 token 占输出的比例：Claude Opus 5 为 8.8%，Gemini 3.5 Flash 为 90.5%；与 20-step API 模型成功率的 ρ=-0.697（§5.5）。
• 每解出一题的成本：GPT-5.6 Luna 为 $0.72，Gemini 3.5 Flash 为 $39.54；作者称约 55 倍。十个 20-step API 模型 High 共 $11,737、87,493 次调用。
• 代码检查与语义检查的排名 ρ=+0.90；视觉定位与语义冲突解决 ρ=+0.02（§4）。
• 翻转 479 个分裂语义判定，Pass Rate 最多变化 2.33 个百分点，名次至多移动 1 位（§C.3）。十个 20-step 模型的 45 对中 21 对在 Bonferroni 校正后不同；GPT-6 Astra 相对 Claude Opus 5 的 +3.5 个百分点未过校正阈值（§D.2）。
• 14/15 个模型的通过率随参考轨迹变长而下降；例外是 DeepSeek V4 Flash，Mid 为 11.2%，Easy 为 8.5%（§C.2）。

作者指出的局限与后续方向

• 语义评审：语义检查依赖 LLM 评审，没有人工研究。作者称用 3 次投票和多评审交叉验证作缓解（§7）。
• 非实时交互：冲突解决通过日志和工作区轨迹评测，而不是实时对话。作者称这样保证可复现，并对应工单与审查流程（§7）。
• 没有无冲突基线：场景聚焦冲突回合，不含无冲突基线。作者称用消融门控隔离冲突处理（§7）。

实验覆盖范围

• 主结果是 15 个模型、每个 600 回合；十个 20-step API 模型有 Low、Medium、High，GPT-6 Astra 与四个开源模型只报 High（Table 1、Table G1）。
• 基准含 20 个种子、6 类冲突、23 个插件、3,284 项 required 检查和 7,970 个视觉资产；其中 346 个回合要求视觉证据（§4、Table C1）。
• 步数预算实验包含 Table F2 的六个模型（b=20、30、40）；Gemini 3.8 Flash 另有 b=60（§F.3）。去图像实验为 Claude Opus 5、Claude Sonnet 5、Gemini 3.6 Flash。
• 跨生成器对照是七个模型、每套 600 回合，生成器为 Gemini 3.6 Flash 与 Claude Sonnet 5（§6、Table F2）。附录 F.5 将 14 个 20-step 模型的 9,000 个 High 回合交给三个评审重放。
• 默认语义评审在附录 F.5 写为 Gemini 3.6 Flash；F3、F4、F5、F6 用确定性代码检查（§4）。论文写明没有人工研究（§7）。

CLASHarness 是面向计算机使用中多智能体冲突的生成框架和基准，用来检查智能体能否在矛盾报告、共享锁和视觉证据之间完成可评分的操作。

• 问题：同伴或子智能体可能给出过时或矛盾信息，并争夺文件与权限。作者认为手工任务难扩展，无约束生成又会泄露答案或写出无法满足的评分。
• 方法：生成分成共享世界、分阶段逐轮合成和生成后审计。决定性事实先于渲染提交；代码检查和语义检查从沙箱中已执行的参考轨迹编译。基准为 20 个域、600 个回合，回合之间延续工作区。
• 主结果：Table 1 的 High 设置下，GPT-6 Astra 的 Pass Rate 为 28.7%，Mean Score 为 66.8%；同表 Gemini 3.5 Flash 的 Pass Rate 为 3.0%。该模型使用扩展步数预算，不宜与 20 步模型直接并排理解。
• 门控：Table 3 中，15 个模型在须改状态时的通过率为 11.0%，仅调查时为 28.1%，DiD 为 -18.2 个百分点（exact p=.052）。作者称发现矛盾容易，修复状态更难。
• 另外两个瓶颈：作者称弱模型盲信误导文本，强模型会查看视觉证据；即便前沿模型，收尾动作失败也超过 58%，常见遗漏是释放共享锁和向子智能体交接。Gemini 3.5 Flash 的 Pass Rate 从 Low 的 13.5% 降到 High 的 3.0%。
• 作者结论：作者称三个瓶颈分别是视觉核对、状态修复和收尾协同。作者还称该插件化管线可作诊断台，并作为后训练下一代 VLM 的数据引擎。