阿里 MAI-UI 团队发布 OpenGCUA：面向通用计算机使用智能体的开放全栈

核心问题是：模型应如何在视觉接口与程序接口上自行决定观察、行动和组织方式，从而完成多样的计算机任务。

• 场景：作者认为焦点正从纯 GUI 交互，扩到在用户自己的计算机上用视觉和程序接口完成任务。共享控制、后台窗口和中途改需求，是基准未完全覆盖的情况。作者称 GPT-6 Astra 等前沿系统大体封闭，权重、完整提示词、真机 harness、设备 SDK 和轨迹不可得。
• 现有系统的固定项：作者称 GUI 智能体、CLI 智能体、多智能体混合，以及带批量动作的 GUI+CLI，都会预先固定“观察什么、如何行动、如何组织”中的至少一项。作者把此前的 Qwen-UI-Agent 写成受限特例：每步都截图，动作为无控制流的批量序列，工作状态由固定规则更新。
• 作者的定义：作者把 generalist computer-use agent（GCUA） 定义为通过视觉交互和程序访问完成多样计算机任务，并由模型按任务需要决定如何观察、行动和组织工作的系统。程序访问包括 shell、无障碍 API，以及可用的应用或服务 API。
• 本文给出的东西：作者提出 OpenGCUA，并称本报告是该项目的首次发布。内容是智能体设计与评测、八个前沿模型的轨迹，以及初步的真机 harness 和跨设备 SDK。作者写明其中还没有训练好的模型。

前沿计算机使用系统

• OpenAI（2026）：作者称 GPT-6 Astra 面向困难的端到端工作，并推荐用代码执行做计算机使用，同时保留结构化 computer tool。Codex Computer Use 可在 macOS 与 Windows 上查看并操作 GUI；macOS 上可跑限定范围的后台任务。作者称公开材料缺少关键实现细节和执行轨迹。
• Anthropic（2026）：Claude Cowork 与 Claude Code 提供计算机使用；作者称 Claude 会先用更精确的连接器，没有连接器时再直接控制浏览器、鼠标、键盘和屏幕。Dispatch 允许从手机派任务、在计算机上打开完成的工作。作者同样称细节和轨迹不可得。

计算机使用智能体

• GUI 向开放模型：UI-TARS 与 UI-TARS-2（Qin et al., 2025; Wang et al., 2025a）、OpenCUA（Wang et al., 2025b）、ScaleCUA（Liu et al., 2025）、EvoCUA（Huang et al., 2026）、Fara（Microsoft, 2026）。作者称这些开放模型大体仍以 GUI 为中心，并在相关基准上报告了强结果。
• GUI 与程序混合：CoAct-1、ComputerRL、UltraCUA、ToolCUA、StateAct 把 GUI 与代码、API、工具调用或程序状态结合起来（Song et al., 2026; Lai et al., 2025; Yang et al., 2026b; Hu et al., 2026; Yang et al., 2026a）。RecreationWorld 与 WeaveBench 分别提供环境和基准（Bai et al., 2026; Li et al., 2026）。Section 2 把多智能体混合写成：编排器按子任务选定接口，子智能体的观察和行动集合是固定的。
• Qwen-UI-Agent（Zhou et al., 2026）：作者自己的前作，统一 GUI 与 CLI 动作空间并支持批量动作，另有移动端真机运行时。作者在本文形式化里把它写成 GCUA 的特例，而不是另立一套定义。

开放基础设施

• cua（trycua, 2026）：跨平台桌面驱动和沙箱 SDK。本文 macOS 适配器使用其中未经修改的 Cua Driver。
• Agent S 系列（Agashe et al., 2025a;b; Gonzalez-Pumariega et al., 2026）：开放编排框架，含记忆、视觉定位，以及越来越多的基于代码的执行。
• Open Computer Use（iFurySt, 2026）：以 MCP 包装的桌面控制运行时，含通过 Accessibility 控制 macOS。作者称这些工作与本文互补。

基线与基准

• 基线：支持批量动作的 GUI-only；消融中还有单动作 GUI、批量 GUI+CLI，以及只开代码执行。基准是 OSWorld-v2 v2.1 的 82 任务离线子集（Yuan et al., 2026）。真机部分是作者自建的四项 macOS 任务，不是已发布基准。

作者用 Agents’ Last Exam 的系统分层作参照（Sun et al., 2026），但把 GCUA 定义成每步由模型做三个决定，而不是只看是否具备五层组件。作者把本文定位为开放全栈的进行中项目：本报告用现有模型检验设计，训练模型留到后续发布。

作者不训练新模型，而是用提示词、工具接口和执行运行时，让现有前沿模型表现出两种行为：代码执行，以及 harness-to-model decision transfer（把选定的观察与任务状态决策从固定 harness 规则交给模型）。

三决策与四接口

• 三个决定：每步策略联合采样 (q_t, p_t, m_t+1) ∼ π_θ(· ∣ m_t, o_t)。qt 是额外视图，pt 是程序，mt+1 是更新后的工作状态；m0 含任务指令。
• 观察与行动：qt 取自截图和 AX tree，可以为空；CLI/API 输出自动返回。pt 的语句调用 GUI、AX、CLI、API 四类原语，并可含循环、分支和变量。单次原语调用是最简单的程序。
• 四接口：GUI 看截图像素并在坐标上操作；AX tree 读窗口元素的角色、名称和值，可不把窗口置前、不移动用户指针；CLI 跑 shell；API 调用外部服务。作者称没有单一接口适合每一步。
• 特例：批量 GUI+CLI 被写成三个约束：每步都要截图，pt 是 GUI 与 CLI 原语的序列，工作状态由固定规则更新。GCUA 去掉这三项。

代码执行

• 实现：OSWorld-v2 配置用 PyAutoGUI 做桌面操作，用 bash() 跑 shell。真机提示词另描述 Playwright。每步一个 Python 程序；harness 抽取代码块、做语法检查后执行。附录 C 给出完整提示词。
• 反馈：返回标准输出、标准错误和执行状态。开启按需观察时，程序调用 screenshot() 才在下一步附上新截图。真机还可按模型请求返回 AX tree。
• 作者归纳的五种写法：跨接口组合、循环、按中间结果分支、为下一步整理观察、用断言检查应改和不应改的内容。例子来自 GPT-6 Astra 在 OSWorld-v2 上的轨迹，作者称它们说明用法，不是互斥类别，也不对应单项增益。
• 视觉反馈的界限：作者称只靠截图时，按钮是否可用、输入框是否含期望值，并不直接成为程序可读的值，检查它们可能要再调用一次模型。这是真机 harness 同时提供 AX tree 的理由。

把 harness 决策交给模型

• 按需截图：模型调用 screenshot() 才把新图放进下一步输入。环境仍每步抓图，改变的是模型收到什么，不是环境记录什么。
• 任务账本：todo.update() 与 todo.list() 记录进度、事实和未决问题。状态包括 pending、attempted、changed_unverified、claimed_verified、blocked。作者写明这些条目是模型自己的判断，不是对环境的独立核验。
• intent：每个程序执行前，模型用 intent 块写该步要做什么。作者称真机上可把这句话显示给用户。它不是 Python 操作，也不覆盖用户任务。
• 仍留在 harness 的规则：滚动截图缓冲按批删旧图，以限制视觉上下文并减少对提示词缓存的扰动。micro-compaction 对更早的文本工具输出做类似的滚动替换。附录 C 还写明：脚本按新进程执行，超时 300 秒，打印输出截断到 3200 字符。

真机 harness 与跨设备 SDK

• 与基准的差别：作者列出五项：与用户共享控制；屏幕持续变化；请求在执行中演变；观察和控制要指向明确目标；任务从已有用户环境开始。后台可观察不等于每个操作都能在后台完成。
• 五层：模型写出程序；持久解释器运行它并组装下一步输入；Device SDK 把观察和动作绑到设备、窗口或浏览器标签；Driver 译成无障碍动作或坐标输入，并返回可检测的类型化错误；应用和操作系统决定实际能力。作者称动作送达成功，不等于任务级效果已经发生。
• 少打扰的顺序：优先元素级无障碍动作，其次面向窗口的坐标输入，最后才是前台输入。前台输入前要与用户协调。ask_user 用于澄清、登录或授权。
• SDK：同一套操作词汇由平台适配器实现；macOS 适配器用未经修改的 Cua Driver。ui.ax 与 ui.vision 分开。程序可检查多个目标，再用 mu.emit 把选定内容交给模型。平台差异留在 .android、.macos、.browser 等命名空间。作者称一个任务内可以协调手机、计算机和浏览器，并给出示意流程，不是实测结果。

实验设置

• 基准：OSWorld-v2 v2.1 离线子集，82 个任务，排除 26 个需要外网的任务；本地网页应用和桌面任务保留。协议跟随 GPT-6 Astra 发布所用的评测协议。
• 模型：Claude Opus 5、GPT-6 Astra、Gemini 3.8 Flash、Qwen3.8-Max、Qwen3.8-Flash、Kimi K3、DeepSeek-V4.1-Flash、GLM-5.3-Flash。
• 对照：主对比基线是支持批量动作的 GUI-only，即 Table 2 的 GUI + batch。消融另含单动作 GUI、批量 GUI+CLI，以及只开代码执行。
• 指标：partial score 是 evaluator 部分分的任务均值，刻度为 0–100。success 是归一化分数大于 0.999999 的任务百分比。一步是一次模型调用。输出 token 含 reasoning；K 表示 1,000 token。费用按公开价格计算，含缓存折扣。
• 聚合：每个模型等权；相对降幅先在模型内计算再平均。每个 run 内保留有 evaluator 结果的最新一次尝试，不是最高分（附录 A）。
• 重复与真机：论文未报告 OSWorld-v2 主对比的独立重复次数，消融多处称为 selected runs。真机为四项 macOS 任务，最多三次记录；Table 5 用 run 1。Complete 是被判定完成的任务数，论文未说明判定者。论文写研究了七种真机配置，Table 5 只汇总五种，未给出另外两种的名称。

主结果

下表据 Table 2，OSWorld-v2 离线集。分为 partial score，步数为每任务平均模型调用次数。

表格较宽，可左右滑动

模型	GUI+batch 分	OpenGCUA 分	GUI+batch 步数	OpenGCUA 步数
Claude Opus 5	60.7	70.1	103.1	61.4
GPT-6 Astra	67.1	75.7	102.1	33.5
Gemini 3.8 Flash	50.1	67.0	166.8	101.2
Qwen3.8-Max	46.9	64.0	127.7	57.0
Qwen3.8-Flash	38.9	60.5	232.0	86.2
Kimi K3	40.7	59.2	160.1	81.9
DeepSeek-V4.1-Flash	28.0	57.7	167.3	84.9
GLM-5.3-Flash	29.6	64.9	190.8	75.5

• 汇总：Table 2 页脚写跨模型平均 partial score 从 45.3 到 64.9，即 +19.6；步数平均相对减少 53.0%，输出 token 平均相对减少 27.2%。success 在 GUI+batch 为 8.5%–36.6%，OpenGCUA 为 22.0%–46.3%，八个模型都更高。
• 作者的解读：作者称收益不限于低分模型，并称强弱模型的分数差距缩小一半以上。Table 2 括号内，GPT-6 Astra 步数降幅为 67.2%，GLM-5.3-Flash 与 DeepSeek-V4.1-Flash 的分数增益为 +35.2 与 +29.8。
• token 与步数分开：六模型的输出 token 下降，Claude Opus 5 从 378.3K 到 89.3K。GPT-6 Astra 从 30.8K 到 31.9K，Gemini 3.8 Flash 从 80.3K 到 82.0K。作者称步数减少不必减少输出 token，端到端延迟须单独测；主表未报告该延迟。

代码执行与 GUI+CLI

• 四配置：Figure 6 在 Qwen3.8-Max、DeepSeek-V4.1-Flash、GLM-5.3-Flash 上比较单动作 GUI、批量 GUI、批量 GUI+CLI 和代码执行。作者称选定运行中，代码执行的分数更高、步数更少。相对批量 GUI，作者报告分数提高 15.5 到 33.6，步数减少 55.3% 到 63.1%。
• 同一接口再加控制流：引言称，相对 GUI+CLI 基线，代码执行使平均 partial score 增加 6.1 分、步数减少 14.8%。正文给出 Qwen3.8-Max 步数从 66.1 到 54.9（称减少 17.0%），GLM-5.3-Flash 分数从 55.8 到 63.2（称 +7.4）。Section 3.1 另写 Qwen3.8-Max 的代码执行相对混合基线 +5.2 分；Table 4 的代码执行基线分数为 62.4。
• 完整 GCUA：Table 3 在相同 GUI 与 CLI 下比较批量 GUI+CLI 和完整 OpenGCUA，多了代码执行和模型发起的流程控制。作者称四模型分数提高 4.4 到 9.1，报告步数更少。Claude Opus 5 为 65.7 对 70.1，步数 61.6 对 61.4。

决策转移消融

• 设置：Table 4 以代码执行为基线，对 Qwen3.8-Max 与 DeepSeek-V4.1-Flash 分别加入 screenshot、todo、intent、micro-compaction、滚动截图缓冲，再全部合上。作者称除 todo 外，这些机制主要不是为了提高任务分数。
• 按需截图：cache hit 从 75.6% 到 86.1%，以及从 61.9% 到 76.3%；分数从 62.4 到 64.3，以及从 56.7 到 58.1。作者称未降低任务分数。步数同时从 54.9 到 63.0，以及从 74.5 到 90.0。
• 账本与 intent：todo 使分数到 64.0 与 58.5。intent 使分数到 61.5 与 53.3；作者称略降，其目标是让真机用户理解程序目的，而不是提高基准分数。

真机四任务

• Table 5：同一选定运行（run 1），费用和 Complete 都含未完成任务。GPT-6 Astra 为 34.5 步、12.9K 输出 token、估计 $18.290、4/4。Qwen3.8-Max 为 50.8 步、73.4K、$1.494、3/4。作者称后者步数为 1.5 倍、输出 token 为 5.7 倍；reasoning 平均 2.6K 对 50.2K。
• 其余三行：Claude Opus 5 为 3/4、$17.117、42.3K；Gemini 3.8 Flash 为 2/4、$0.662、31.9K；Qwen3.8-Flash 为 2/4、$0.120、75.7K。作者称 token 用量和美元费用的排序不必相同。DeepSeek 缺少 hotel 轨迹，汇总未给出。
• 任务内差距与案例：workbook 选定运行中两者都满足评测标准；GPT-6 Astra 为 22 步、8,783 输出 token（reasoning 1,487），Qwen3.8-Max 为 37 步、120,831（reasoning 92,974）。PDF 输出 token 为 10,013 对 28,268。Figure 11 中前者填满 125 个 Level 答案格，后者填 85 个、空 40 个。Figure 10 的一次截图步骤，reasoning tokens 为 11 对 2,030。作者称差距来自简单操作的推理开销、真机观察目标，以及用代码覆盖全部任务并检查遗漏。作者称四任务、每模型一次，不能建立一般排名；案例来自更早的 low-effort 轨迹，与 Table 5 分开。

其他消融与分析

• 全部机制合上（Table 4 末行）：Qwen3.8-Max 为 64.0 分、57.0 步、cache hit 84.1%；DeepSeek-V4.1-Flash 为 57.7 分、84.9 步、70.5%。
• 滚动截图缓冲：cache hit 到 91.6% 与 75.3%；作者称提高 16.0 与 13.4 个百分点，这两次比较中任务分数未降。
• micro-compaction：cache hit 从 75.6% 到 68.6%，以及从 61.9% 到 58.9%；作者称任务分数未降。
• 单动作 GUI 对批量 GUI（Figure 6 分数）：50.9 对 46.9、29.5 对 28.0、37.6 对 29.6，顺序为 Qwen3.8-Max、DeepSeek-V4.1-Flash、GLM-5.3-Flash。论文未解释为何批量更低。
• Figure 6 单动作步数：175.0、227.1、187.1；批量 GUI 步数为 127.7、167.3、190.8。GLM-5.3-Flash 的批量步数高于单动作。
• 支出与时间（Figure 7）：约 $0.38/任务时 Qwen3.8-Flash 为 60.5；约 $15.26/任务时 GPT-6 Astra 为 75.7。作者称随预算增加，最高分模型从 Qwen3.8-Flash 换到 GLM-5.3-Flash、Gemini 3.8 Flash，最后到 GPT-6 Astra。时间曲线被作者称为探索性：带宽、并发环境数、排队和工具延迟未跨模型控制。

作者指出的局限与后续方向

• 没有新训练模型：Section 5.1 写明，本报告的模型侧贡献是用现有模型验证设计，而不是新训练的模型。Section 7 同样写明未引入新训练模型。
• harness 与 SDK 为初步版：Section 5.1 称本次一并发布的真机 harness 和跨设备 SDK 是 preliminary versions。
• 下一版的模型：作者计划发布 GCUA 模型，统一计算机与浏览器使用，把代码协调视觉和程序操作、按需请求观察、在执行中维护任务状态变成习得能力，并加强真机场景（Section 5.1）。
• 推理与执行效率：作者计划让常规操作的推理更短、缓解 overthinking，并改进代码执行、上下文管理和基础设施，同时探索其他系统级方案（Section 5.2）。
• 用户设备上的工作：作者计划把 harness 和 SDK 扩到跨计算机、浏览器，以及可能的移动设备。优先事项包括目标选择、执行失败后的恢复、用户打断或改变请求后的任务连续性，以及还有哪些工作流决策应从固定规则移到模型（Section 5.2）。
• 真机基准与时间表：作者计划做真机评测环境和基准，特别是 macOS，覆盖更多应用、用户交互和变化中的设备状态，并同时度量时间和资源。Section 5.3 写明这些优先级不固定交付时间表。

实验覆盖范围

• 离线基准：主对比是八个模型、OSWorld-v2 v2.1 离线子集 82 任务；该子集排除 26 个需要外网的任务（Section 3.3.1，附录 A）。
• 消融范围：代码执行四配置比较三个模型（Figure 6）；批量 GUI+CLI 对完整 GCUA 比较四个模型（Table 3）；决策转移与上下文策略比较两个模型（Table 4）。
• 真机：四项 macOS 任务，附录 B 给出任务说明。论文写研究了七种配置，Table 5 汇总五种并用 run 1；每种配置最多三次记录。另有与 Table 5 分开的 low-effort 案例。
• 判定与重复：success 由 OSWorld evaluator 的归一化分数是否大于 0.999999 决定。论文未报告主对比的独立重复次数，也未报告真机 Complete 的评审者。
• 资源曲线：Section 3.3.6 写明金钱曲线按公开 API 价格、对每条轨迹回顾性施加支出上限，并计入未成功尝试。时间比较中的 API 带宽、并发环境数、提供方排队和工具延迟未跨模型控制。

OpenGCUA 是进行中的开放计算机使用项目；本报告用现有模型检验设计，不发布新训练的模型。

• 问题：作者要把计算机使用从“模型会不会点 GUI”扩成“系统能否用视觉和程序接口完成真实计算机上的任务”。GCUA 的定义是模型每步决定观察什么、如何行动、如何组织。
• 做法：harness 执行模型写出的 Python 程序，使 GUI 操作和 shell 共享循环、分支和中间结果。模型决定是否要新截图、如何用 todo 记进度，并在执行前写 intent；历史截图和旧工具输出仍由 harness 按批管理。真机侧是五层 harness，以及把操作绑到明确设备、窗口或标签的跨设备 SDK。
• 离线主结果：OSWorld-v2 离线 82 任务、八个模型，相对批量 GUI-only，平均 partial score +19.6，步数平均少 53.0%（Table 2）。GPT-6 Astra 为 75.7 分、33.5 步；GLM-5.3-Flash 的分数增益为 +35.2。success 八个模型都更高。输出 token 有两例上升。
• 设计拆分：作者称在相同 GUI 与 shell 下，写成带控制流的程序仍比批量 GUI+CLI 更高分、更少步。按需截图把两个模型的 cache hit 提高到 86.1% 与 76.3%，同时步数增加。intent 在 Table 4 中分数下降。
• 真机：四项 macOS 任务、同一 harness 的 run 1 中，GPT-6 Astra 完成 4/4，Qwen3.8-Max 完成 3/4；后者 reasoning tokens 为 50.2K，前者为 2.6K，作者给出 19.4 倍。估计费用分别为 $18.290 与 $1.494。
• 作者的收束：作者认为执行方式不只是有没有某个接口的问题，并把后续发布放在 GCUA 模型、更短的推理，以及真机环境和基准上。