MAI-Gym：面向移动与电脑环境的 GUI Agent 评测与 RL 训练开源一体化平台

核心问题在于如何解决GUI智能体在大规模交互环境下的高成本、状态可重置性差、任务匮乏，以及评测与训练环境实现分歧导致的口径漂移。

• 场景与重要性：在线强化学习在数学、编程和工具使用中取得进展，但将其扩展到图形界面（GUI）面临巨大挑战。GUI实例需要独占的手机、桌面或浏览器环境，单次尝试涉及多次截图与长多模态交互，难以像代码沙箱那样并发共享。
• 现有方案不足：现有GUI基础设施通常只针对单一平台（如仅Web或仅手机），且支持在线RL的代码库并发容量较小（大多在数百实例以内）；现有数据驱动型环境往往不开放训练代码或无法运行标准评测基准，且任务多依赖孤立文件或共享样本，缺乏真实连贯的多应用交互状态。
• 评测与训练漂移问题：由于不同平台和基准的实现差异，评测和训练容易采用两套独立的智能体框架（Harness），在截图预处理、历史截断和提示词上产生分歧，导致评测得分受到框架漂移影响而非单纯体现模型能力。
• 论文的提出：论文提出了开源一体化平台 MAI-Gym，统一了移动端、计算机端和Web端的评测、数据收集与在线强化学习，支持最高20,000个环境实例并发运行，并构建了自动化合成连贯跨应用世界、可复位Mocked应用与可执行校验器的流水线。

论文的相关工作主要围绕GUI智能体强化学习、GUI环境平台与训练基建，以及环境与任务合成技术展开：

• GUI智能体强化学习：早期工作聚焦于单一平台的在线RL配方。Android端包括DigiRL、DistRL、MobileRL与MobileGUI-RL，探索奖励设计与异步收集；Web端包括WebRL（自演化课程学习）与WebAgent-R1；桌面端包括ComputerRL、DART-GUI与Qwen-CUA。后续工作如EvoCUA-1.5、UI-Mate与SCALECUA进一步优化了多轮训练流程。对于跨域智能体，UI-TARS-2、Qwen-UI-Agent与UI-Venus-2训练统一策略，但常采用各领域分别训练专家后参数平均合并的方案。
• GUI环境与训练基建：现有开源GUI平台分为基建型和数据型两类。基建型如BrowserGym（统一Web基准）、WebGym、MobileGym与SCALECUA（支持数百并发在线RL）以及ClawGUI，通常仅覆盖单一操作系统；数据型如CUA-Gym、Gym-Anything、GUI-Genesis与PhoneWorld，构建了新应用与任务，但未发布训练代码或难以直接运行现有基准。
• 环境与任务合成方法：由于手写任务数量少，近期研究采用两类合成方法：一类依赖VLM裁判打分（如ZeroGUI、AutoPlay、OS-Genesis），扩展快但容易因假阳性奖励干扰RL；另一类采用代码执行校验（如GUI-Genesis、AutoWebWorld、InfiniteWeb、AutoEval、OpenComputer），验证更精确但往往局限于单一文件或简单状态。
• 基线方法与基准：实验对比的前沿模型包括Claude Opus 4.8、GPT-5.5、Qwen3.8-Max及开源Qwen3.8-27B；GUI专用智能体基线包括UI-Venus-2-9B、SCALECUA-Qwen3.5-9B、GUI-Owl-1.5（8B/32B）、EvoCUA-1.5-32B、CUA-GYM及Qwen-CUA；基准涵盖MobileWorld、AndroidWorld、MobileGym、OSWorld-Verified、OSWorld 2.0、MacAgentBench与MyPCBench。
• 本文定位：作者指出，MAI-Gym在统一的代码库中同时支持移动、桌面和Web三端评测与超大规模在线RL，并通过构建连贯的跨应用世界和双路独立合成的执行校验器，解决了大规模可信环境与合成任务供给的问题。

MAI-Gym通过统一的系统架构、高效的并发Rollout机制、自动化的环境与任务合成流水线，以及跨端联合在线RL训练来解决上述问题。

系统架构与统一接口

• 单Harness与单Rollout路径：评测、数据收集和在线RL共享相同的观察处理、上下文构建和动作执行路径。Rollout Worker统一调用推理引擎生成轨迹，只有下游消费方式不同（评测用于聚合打分，数据收集用于SFT存储，RL用于策略更新），消除组件漂移。
• 通用环境管理器：环境管理器暴露5个标准操作（请求实例、观察、重置任务、单步执行、评测），通过环境适配器连接Android（Redroid容器）、桌面虚拟机及无头Chromium浏览器，对上屏蔽底层基础设施细节。

规模化Rollout与多轮推理优化

• 异步供应与资源隔离：环境实例异步启动并通过Warm Pool预热；截图通过对象存储传递而非控制消息传输；每个会话绑定独立租约与超时机制，基础设施故障与任务失败分开记录，避免干扰训练信号。
• 窗口化历史与KV缓存复用：传统保留最近k张截图的策略会导致每个新步长都改变Prompt前缀使KV Cache失效。MAI-Gym采用大小为K且重叠为O的窗口化历史（如K=10，O=2）。在窗口内只追加新观察，跨越窗口边界时旧截图折叠为占位符但保留文本，使前缀每隔K-O步才变化一次。

环境与任务自动化合成

• 连贯跨应用世界构建：从设定的用户角色（Persona）和场景（Scenario）出发，先在多个应用间生成共享事实、人物和关联文件的跨应用虚拟世界，再从世界中提取事实构建需要跨应用组合证据的复合任务。
• 独立双路校验器合成：对每个任务先固化需求规范（包含用户目标与内部参考答案），再通过两次独立的模型调用分别生成直接修改环境到完成态的Golden Code与检查状态变更的Verifier Code；校验器须通过初始状态为0、执行Golden Code后为1、环境重置后再次为0的状态校验。
• Mocked应用构建：构建了7个涵盖真实交易流程的真实克隆App（如12306、银行、外卖）以支持无副作用的大规模交互，以及42个基于HTML5状态机的全新应用。

联合在线强化学习

• 跨端联合优化目标：基于GRPO算法，在单次训练运行中混合移动端与桌面端任务联合优化，每个任务进行G次尝试计算相对优势：

A_i = (r_i − mean(r_1:G))/(std(r_1:G) + δ) 其中目标函数采用截断代理优势： L(θ) = 1/(∑_i |Y_i|) ∑_i=1^G ∑_{u ∈ Yi} min(ρ_u A_i, clip(ρ_u, 1−ϵ, 1+ϵ) A_i)

• 策略自适应任务采样：动态评估任务成功率，已掌握任务（成功率超过0.8）与未解决任务减少分配预算（分别设为2次和4次尝试），重点训练策略处于临界区间的任务。

实验设置

• 被测模型：MAI-Gym-9B（以Qwen3.5-9B为基座，经SFT预热与跨端联合GRPO训练）。
• 对比基准：7个评测基准，分为环境见过的Task OOD（MobileWorld、OSWorld-Verified）以及未见过的Env OOD（AndroidWorld、MobileGym、OSWorld 2.0、MacAgentBench、MyPCBench）。
• 基线模型：前沿模型Claude Opus 4.8、GPT-5.5、Qwen3.8-Max、Qwen3.8-27B；同等规模GUI模型UI-Venus-2-9B、SCALECUA-Qwen3.5-9B；大参数GUI模型GUI-Owl-1.5（8B/32B）、Qwen-CUA、EvoCUA-1.5-32B、CUA-GYM等；以及基座模型Qwen3.5-9B。
• 评测协议与指标：统一通过mai-gym eval评测，每任务运行3次实验，解码温度为0.0。指标为各基准原生成功率（OSWorld 2.0报告二值准确率与部分得分，MobileGym报告部分得分，MyPCBench为完满任务率）。
• 训练规模：使用512张GPU，峰值并发20,000个环境实例，在5,000个合成任务上训练约96小时。

主结果

Table 4 总结了MAI-Gym-9B与各基线在移动与计算机基准上的表现：

表格较宽，可左右滑动

模型	参数量	MobileWorld (Task OOD)	AndroidWorld (Env OOD)	MobileGym (Env OOD)	OSWorld-Ver. (Task OOD)	OSWorld 2.0 (Env OOD)	MacAgent (Env OOD)	MyPCBench (Env OOD)
Claude Opus 4.8	未公开	69.2	75.0	50.7	83.4	20.3 / 54.8	58.4	62.0
GPT-5.5	未公开	62.4	74.1	48.1	78.7	13.9 / 47.5	66.7	47.3
Qwen3.8-Max	2.4T	77.8	85.3	61.3	86.1	19.4 / 46.7	74.3	48.6
GUI-Owl-1.5-8B	8B	38.2	71.6	15.1	52.9	0.0 / 1.6	10.2	1.8
UI-Venus-2-9B	9B	75.2	80.2	52.7	70.8	0.0 / 7.5	36.2	6.3
SCALECUA-9B	9B	12.8	47.4	13.5	68.7	0.0 / 2.2	3.9	1.1
Qwen3.5-9B (Base)	9B	18.0	57.8	9.0	41.8	0.0 / 2.5	20.7	6.5
MAI-Gym-9B (Ours)	9B	78.4	75.9	46.5	76.2	3.7 / 11.3	41.3	15.2

• 同规模表现：在10B以下开源GUI模型中，MAI-Gym-9B在MobileWorld（78.4%）和OSWorld-Verified（76.2%）上均高于UI-Venus-2-9B（75.2%/70.8%）与SCALECUA-9B（12.8%/68.7%）。
• Env OOD迁移：在未参与训练的5个外部基准上均超过基座模型，在OSWorld 2.0、MacAgentBench和MyPCBench上高于报告了结果的同规模开源基线。
• 超越部分前沿模型：作者称，MAI-Gym-9B在MobileWorld上的78.4%超过了Claude Opus 4.8（69.2%）和GPT-5.5（62.4%）。

跨端联合训练 vs 专家合并

• 测了什么：对比在移动端和桌面端联合进行RL训练，与分别训练独立专家后再进行权重加权合并（70/30、50/50、30/70）。
• 结果（据 Table 7）：联合RL在MobileWorld和OSWorld-Verified上分别取得78.4%和76.2%；合并方案中最优的50/50在MobileWorld达76.4%（桌面端为73.7%），最优的30/70在OSWorld-Verified达74.8%（移动端为73.5%）。
• 作者解读：没有任何单一合并权重能在两个领域同时领先，联合RL在两端均超过专家合并。

克隆应用到真机环境的迁移

• 测了什么：在12306火车订票克隆App中训练后，使用52个成对任务测试在物理真实手机上的零样本迁移表现。
• 结果（据 Figure 9）：克隆App中的成功率从36.5%升至73.1%（提升36.5个百分点）；真实手机App上的成功率从28.8%升至48.1%（提升19.2个百分点）。
• 作者解读：在克隆App中通过奖励学到的相对日期推理等能力可以迁移至真机，但克隆与真机之间的差距从7.7扩大到25.0个百分点，迁移仍不完全。

其他消融与分析

• 合成任务规模扩展（Figure 8）：训练任务从500增至5,000，MobileWorld成功率从69.2%升至78.4%，OSWorld-Verified从69.7%升至76.2%。
• 全新未见App零样本学习（Section 4.3.5）：在42个新App的62个保留任务上，RL将成功率从25.8%提升至45.2%，耗尽步数超时的比例从27次降至5次。
• 窗口历史效率（Table 6）：相比Step-wise，Window-wise机制使前缀缓存命中率从42.5%升至85.9%，单轨迹训练输入token减少84.7%，单次训练更新耗时从2166.4秒降至810.9秒。
• 环境供应与重置效率（Table 5）：拉起1,000个移动端、计算机端与浏览器环境分别耗时328.4秒、88.9秒和94.2秒；重置中位数耗时分别为165.0秒、37.2秒和6.0秒；未计分异常中断率分别为1.2%、1.9%和0.0%。
• GRPO与SAO对比（Figure 10）：SAO虽然减少了采样等待时间，但其Actor每次更新伴随2次Critic更新的计算开销抵消了收益，二者最终训练效果相近。

作者指出的局限与后续方向

• 克隆到真机迁移仍不完全：作者在Section 4.3.4指出，虽然克隆App训练能够迁移到物理手机，但克隆与真机之间的性能差距从7.7扩大到了25.0个百分点，克隆环境的收益无法完全等同于真实App的表现。
• 未评估多轮自适应合成循环：作者在Section 3.3与Section 3.4指出，平台架构支持将评测失败诊断与任务合成组织为持续的多轮迭代，但本篇论文尚未对多轮闭环自演化进行实验评估。
• 真机敏感操作仍依赖模拟：作者在Section 3.4.1与附录A.7.1指出，涉及真实资金流动、身份鉴权与订单发布的场景无法直接在真实环境做上万次探索，目前仍依赖克隆App的隔离模拟。

实验覆盖范围

• 被测策略模型：RL训练实验主要在Qwen3.5-9B单一骨干模型上验证，未覆盖其他尺寸或架构的模型进行跨端联合RL。
• 基准评测覆盖：在Table 4的主评测中，针对7个基准展开，未将WebVoyager、OnlineMind2Web、WebArena等Web基准纳入MAI-Gym-9B的主对比结果表中。
• 真机迁移测试范围：物理手机上的Sim-to-Real迁移实验仅在12306单个铁路出行App（52个成对任务）上进行了测试。
• 全新App测试规模：在42个合成HTML5新应用中，保留任务评估集规模为62个任务，各运行1次尝试。
• 硬件与训练配置：分布式训练主要在512张GPU配置下完成，采用GRPO算法与预设的K=10、O=2窗口超参数。

MAI-Gym是一个开源的跨平台GUI智能体评测与在线强化学习平台，解决了GUI交互环境构建成本高、可复位环境与连贯任务匮乏、以及评测与训练口径不一致的难题。

• 核心定位与架构：平台统一支持移动、桌面和Web三端，采用评测、数据收集与RL训练共享的统一Rollout路径和Agent Harness，避免不同环境实现带来的评测漂移；底层支持最高20,000个环境实例并发运行。
• 连贯任务与环境合成：构建了从角色与场景出发的跨应用世界生成机制，产出具有事实关联的文件与记录；提出双路独立的Golden Code与Verifier Code生成与三阶段可执行验证流程；并开发了7个真实应用克隆与42个全新合成应用。
• 高效训练机制：设计了窗口化历史机制，通过重叠窗口和占位符减少截图重复编码，使KV Cache前缀命中率达到85.9%，单次训练更新时间缩短62.6%；结合策略自适应任务采样平衡探索预算。
• 主要实验表现：基于Qwen3.5-9B训练的MAI-Gym-9B在Task OOD基准MobileWorld达到78.4%、OSWorld-Verified达到76.2%，均优于同规模开源GUI基线；在5个未见过的外部基准上均取得正向提升。
• 迁移与消融发现：在12306克隆App中训练使真实手机App的成功率从28.8%提升至48.1%；在合成新App的零样本评估中成功率从25.8%提升至45.2%；跨域联合RL效果优于单域专家参数平均合并。
• 作者结论与发布资源：作者认为平台验证了通过可验证合成任务在模拟/克隆环境中进行大规模在线RL的有效性，并开源了全部评测与训练代码、合成技能、49个Mocked应用、2,000个可执行验证任务及模型权重。