OSWorld-Pro 发布：面向 Computer-Use Agent 的过程式评测基准

终态交付物评测无法区分计算机使用智能体在长程任务中走到哪一步、因何失败。

• 场景：作者认为人靠中间里程碑跟踪相互依赖的长程任务。CUA可达数百步；Fig. 1里，停在第一或第九个子目标都没有交付物，终态分都为零。
• 现有不足：作者指出终态验证分不出交付物出现前的进度，也不给单步贡献。作者还举reward hacking：智能体为终态分入侵服务器取答案（OpenAI, 2026b）。摘要称键盘失误与点击失误需要不同补救。
• 核心观察：作者认为CUA路径不唯一，故把总目标拆成可二值判定、且必须按序完成的子目标，以区别于可独立满足的rubric。
• 提出内容：OSWorld-Pro：305个任务、2814个递进子目标、67264条步骤级人工标注，用LLM-Judge判定每步针对的子目标及其可行性、进展与完成。
• 作者定位：结论称OSWorld-Pro是首个CUA过程评测基准，用来补充OSWorld一类终态评测，并标出点击失误和子目标无关动作。

终态能力评测

• GSM8K（Cobbe et al., 2021）与AIME 25（White et al., 2025）用最终答案评数学；LiveCodeBench（Jain et al., 2024）用单元测试评代码。
• GPQA（Rein et al., 2023）、MMLU-Pro（Wang et al., 2024）和HLE（Phan et al., 2025）评科学问答。引言只把这些当作终态评测先例，未逐篇对比。

计算机使用的终态基准

• OSWorld（Xie et al., 2024）用功能验证器核对最终交付物。正文称369个任务，Figure 3标注n=366；任务大多单一子目标，平均1.34个应用，环境为Ubuntu Jammy与GNOME。作者引用XLANG-Lab (2025)：顶尖Opus在OSWorld上为83.4%。
• OSUniverse（Davydova et al., 2025）有160个任务，同样按终态评测。AndroidWorld（Rawles et al., 2025）面向Android GUI，OSWorld-MCP（Jia et al., 2025）评MCP工具调用；论文称为相邻工作，未做直接对比。
• ChainWorld（Siu et al., 2026）串联联系松散的OSWorld任务。作者指出这不能反映真实长程任务里子目标相互依赖。

过程评测与rubric

• PRM-800k（Lightman et al., 2023）和ProcessBench（Zheng et al., 2025）把数学推理拆成步骤，并定位错误首次出现处。作者认为CUA往往有多条路径，因此只借鉴拆步。
• Gunjal et al. (2025)的Rubrics as Rewards、HealthBench（Arora et al., 2025）和ProfBench（Wang et al., 2026）用可逐条判定的rubric。作者指出rubric通常可独立满足，而许多CUA子目标必须先完成前项。

任务来源与对比设置

• 任务按ProCUA-SFT（Jung et al., 2026）生成。复核参考ProfBench，并按HelpSteer3（Wang et al., 2025b）改为评审先独立标注。
• 基线：没有单独的方法基线。§5在OSWorld-Pro上比较有公开harness的视觉语言模型，并引用OSWorld排行榜数字，未在本文重跑OSWorld。

作者把OSWorld-Pro定位为补充终态基准的过程评测：子目标顺序依赖，并覆盖更多应用与Linux/图形界面。结论称其为首个CUA过程评测基准。

OSWorld-Pro把长程目标拆成必须按序完成的原子子目标，先在预生成轨迹上做步骤级人工标注，再用一次请求的LLM-Judge代理人工，报告任务是否完成全部可行子目标。

数据与类别

305个任务、2814个递进子目标、67264条步骤级标签。Diversity 117个，覆盖较少被基准测到的应用；Coordination 109个，要求至少四个应用协同；Robustness 79个，测跨Linux发行版和图形界面的泛化。

平均9.2个顺序依赖子目标（附录B：标准差4.7，最少2、最多27），平均3.45个不同应用。Figure 3：应用31种对OSWorld的13种；19个Linux发行版加13种图形界面，对照为Ubuntu Jammy与GNOME。只保留前项完成后才能做后项的任务；不可行子目标按OSWorld保留。供应商去掉目标不清、规格不足或有安全顾虑的任务。

生成与分解

Diversity选取作者认为现有基准中代表性不足的应用，正文举例Videos、Archive Manager、LibreOffice Draw。Coordination要求至少四个应用；作者称OSWorld任务最多涉及四个。Robustness在非默认Ubuntu/GNOME环境生成，正文举例Fedora、Alpine、AlmaLinux以及bspwm、Xfce、LXQt。脚注写Robustness生成用2026年5月可用的Kimi-K2.6，而不是Kimi-K2.5。

子目标由DeepSeek-V4-Pro分解：输入总目标与相关应用，要求每个子目标只含一个目标、只用一个应用、可二值判定完成。附录E给出完整提示词。分解结果再经人工检查和修正。

人工标注

标注员须学士及以上，且有至少6个月CUA标注经验，并通过英语、Linux和两个黄金样例测试。305个任务由5国25名标注员与评审完成，作者称超过5000人时。涉及VS Code或终端编码的任务分给技术池。论文未说明预生成轨迹来自哪个模型。

标注员为每步标出针对的子目标（不足2%的步骤针对两个及以上）、当前是否可行、若可行是否有进展、是否在该步完成。不得使用LLM。评审先独立标注，平台标出差异后再反馈。附录D为完整指南。评审初始标注相对标注员的Cohen's κ：针对子目标0.987、可行性0.847、进展0.869、完成0.940。

LLM-Judge与计分

Judge要识别每步针对哪些子目标、是否可行、是否有进展、是否完成。最终把整条轨迹放进一次API请求，作者称载荷可达数百张截图、500MB。顺序约束是：只计入与上一步重叠、或紧接上一步最后一个子目标的子目标。作者称Claude、Gemini和开放模型因载荷、图像数量或上下文窗口报错，只有GPT-5.6系列可用。附录F给出各阶段提示词。

与ProfBench、PaperBench一样用Macro-F1。后一字段仅在前一字段判对时计入：可行性要求子目标集合正确，进展要求可行性正确，完成要求进展正确。步骤级是四项Macro-F1的均值。子目标级看全轨迹最终完成状态是否判对；至少一步标为完成即算完成。任务级用已完成子目标百分比的MAE，再报告1-MAE，越高越好。

智能体评测协议

设定沿用Xie et al. (2024)与Jung et al. (2026)：给定目标，以及可通过截图观察的Linux图形界面，使用OSWorld harness的视觉语言模型生成轨迹。完成与否由§4中作者称为表现最高的GPT-5.6-Sol Max判定。主指标是：各类别中，完成人类标为可行的全部子目标的任务比例。作者称该评审子目标级与人工一致94.1%，独立评审为95.6%（Table 1），且给自己的分数低于另外4个模型。

温度、top-p、上下文和系统提示用OSWorld公开harness。最大回合250，OSWorld为100。每个模型一次运行，取该模型可用的最高reasoning effort。只评测该仓库有公开harness的视觉语言模型。

实验设置

• 智能体：Claude Opus 5/4.8/4.7 Max、Claude Sonnet 5 Max、GPT-5.6-Sol/Terra/Luna Max、Gemini-3.8-Flash High；Kimi K3 Max (2.8T)、Minimax M3 Xhigh (428B)、Qwen 3.8 Flash Next Xhigh (125B)、Qwen 3.5 122B Xhigh、Qwen 3.8 27B Xhigh、Qwen 3.6 27B Xhigh。均为最高reasoning effort，各1次，最大回合250（§G）。
• 评审：GPT-5.6-Sol、Terra、Luna，推理档为max、xhigh、high、medium、low、none。早期三次运行的平均Macro-F1相差不超过0.6%，故每档只跑一次。主评测用Sol Max。
• 数据：OSWorld-Pro，305任务、2814子目标；类别117/109/79。附录B中标注轨迹平均55.1步（5–149）。截图1920×1080，代码动作以半透明叠层画在截图上。
• 任务分：完成人类判定为可行的全部子目标的任务比例，分Overall与三类。效率为步数、输出token、token费用，越低越好；Table 2的费用是每任务。
• 评审分：四字段Macro-F1、步骤均值、子目标完成状态一致比例、任务级1-MAE。人工对照为评审看到标注员结果之前的初始标注。
• 动作分析：只统计至少针对一个子目标且该子目标可行的步骤，算有进展的比例。观察少于5次的类别排除，Table 3中对应格为“-”。

主结果

下表为完成全部可行子目标的任务比例（%），据Table 2。效率列未放入表内。

表格较宽，可左右滑动

模型	Overall	Diversity	Coordination	Robustness
Claude Opus 4.8 Max	77.7%	78.6%	83.5%	68.4%
Claude Opus 4.7 Max	76.7%	78.6%	80.7%	68.4%
Claude Sonnet 5 Max	76.4%	82.1%	81.7%	60.8%
Claude Opus 5 Max	75.7%	81.2%	70.6%	74.7%
GPT-5.6-Sol Max	74.8%	76.1%	70.6%	78.5%
Qwen 3.8 Flash Next Xhigh (125B)	55.1%	66.7%	58.7%	32.9%
Minimax M3 Xhigh (428B)	28.9%	40.2%	30.3%	10.1%
Qwen 3.6 27B Xhigh	10.2%	20.5%	6.4%	0.0%

省略行的Overall：GPT-5.6-Luna Max 74.4%，GPT-5.6-Terra Max 70.8%，Gemini-3.8-Flash High 59.0%，Kimi K3 Max 39.3%，Qwen 3.8 27B Xhigh 32.1%，Qwen 3.5 122B Xhigh 16.7%。表中最低是Qwen 3.6 27B Xhigh。

• 与OSWorld对照：作者称OSWorld-Pro更难。表中最高行仍低于作者引用的OSWorld顶尖Opus 83.4%（XLANG-Lab, 2025）。摘要用Claude Opus 5一行做同样对照，不是表中最高行。
• 开源权重顺序：六行均为Diversity高于Coordination、再高于Robustness。闭源并不都如此，例如表中GPT-5.6-Sol Max的Robustness高于Diversity。作者对开源权重的一种可能解释是，训练数据里Ubuntu/GNOME更常见（引用Wang et al., 2025a; Jung et al., 2026）。
• 爬坡对象：作者称同模型Minimax M3在OSWorld上为75.2%，并称开源权重模型在OSWorld上超过80%（均引自XLANG-Lab, 2025，非本文重测）。作者认为OSWorld-Pro可作为开源权重模型的爬坡对象，并称没有饱和，也并非难到看不出改进。

评审能否对齐人工

• 接近与落后：GPT-5.6-Sol Max的针对子目标Macro-F1为97.0，人工行98.4；完成94.3对97.6；子目标级94.1对95.6；任务级1-MAE 93.0对96.0。可行性61.9对91.6，进展74.7对94.1（Table 1）。作者称完成状态与人工相差在3.3个百分点以内，指的是完成相关三项，不是四项均值。
• 作者的解释：作者认为可行性与进展更主观。独立标注的Cohen's κ在这两项为0.847与0.869，针对子目标0.987、完成0.940。作者举例：未展开的菜单可能让可行任务看起来不可行；引入功能但带来bug的一步，进展可判是或否。
• 规模与推理：Max档步骤均值从Luna 75.7到Terra 80.9，再到Sol 82.0。作者称费用约束下，提高小模型推理强度常优于降低大模型推理强度：Terra Max费用列155.04，Sol Medium为198.52，作者称低22%；Luna Max 15.45相对Terra Low 97.74，作者称约六分之一。Sol预测feasibility=No的比例从None的9.7%降到Max的5.1%，人工为15.3%；作者认为更高推理强度会高估可行性。

动作失败与子目标效率

• 点击：作者称多数模型点击较好，Minimax M3与Kimi K3除外，Click进展率39.0%与41.9%，并称更强模型为72.4%–92.5%（Table 3）。该区间不含表中Qwen 3.5 122B的29.6%和Qwen 3.6 27B的65.9%。Figure 4文字显示Minimax M3的点击被判为有针对、可行但无进展。
• 其他动作：Claude的Keyboard至少89.2%、Scroll至少84.1%；作者称其他被测模型在这两类都未到80%，与Table 3一致。Opus 4.8相对4.7，Click从86.3%到92.5%，Drag+Move从41.0%到74.3%。作者认为这像是针对指针行为的有意训练。作者还称Qwen 3.8相对同尺寸前代和更大的Kimi、Minimax更突出，并认为可能有针对GUI操作的训练。Qwen 3.8 27B的All进展率为80.0%，其Table 2 Overall为32.1%。
• 步数：Successful Effort上，GPT-5.6-Sol为4.9步/子目标，Kimi K3为5.1，Sonnet 5为9.9，Minimax M3为21.2。Infeasible Persistence上，Opus 5为9.5，GPT-5.6-Terra为12.1，Sonnet 5为39.8。Figure 5文字：Opus 5 Max有一次连续59步子目标无关动作，随后进度恢复。引言另称它有时在完成全部子目标后仍做无关动作，有时超过50步。

其他消融与分析

• 推理强度：Sol完成Macro-F1从none的67.8到max的94.3；步骤均值从74.8到82.0（Table 1）。可行性并不随推理强度单调上升。
• 无推理有时高于low：Terra的任务级1-MAE在none为91.3、low为89.8。作者猜测过少思考token会截断显式思考，无推理模型则不受影响。
• 步数与正文：Table 2中Luna 60.2步、Sol 53.3步、Sonnet 5 108.7步、Opus 5 76.0步。正文写“Sol为54.9步”，该数与Terra行相同，不以正文覆盖表。
• 参数量：作者称看不到参数量单独带来更高Overall。Sonnet 5高于Opus 5，但低于Opus 4.7与4.8；Luna高于Terra、低于Sol。同量级上，Qwen 3.8 27B为32.1%，Qwen 3.6 27B为10.2%；125B的Flash Next为55.1%，Qwen 3.5 122B为16.7%。作者认为训练配方的影响可能大于参数量，并称125B对27B可能被Dense与MoE差异混淆。闭源参数量未公开，作者用同系列API价格代理规模。
• 费用与token：Table 2中GPT-5.6-Luna每任务0.51美元，Sol为9.56美元；作者称相近表现下费用可差约20倍。Kimi K3为42.2步、125870.7输出token。作者给出的一种可能解释是pyautogui允许一步多个动作。
• 标注集描述（附录B，不是§5被测模型）：84.7%被针对子目标标为可行；全轨迹中65.3%子目标最终完成。完成子目标平均6.2步，尝试但不可行平均18.8步。

作者指出的局限与后续方向

• 后续用途：结论写，用harness优化或强化学习中的过程奖励信号来提升CUA的表现与效率，留作后续工作（Conclusion）。
• 评审模型范围：附录F写，整轨迹单次请求只有GPT-5.6系列成功；Claude、Gemini和开放模型因载荷大小、图像数量或上下文窗口报错。作者称这是LLM-Judge评测中常见的限制，并写到其他模型的服务基础设施改善后，该方法可直接用到那些模型上（附录F）。

实验覆盖范围

• 数据为305个任务、2814个子目标、67264条步骤标签；Diversity 117、Coordination 109、Robustness 79（§2）。Figure 3给出相对OSWorld的应用数、每任务应用数和环境数。
• §5评测14个有OSWorld公开harness的视觉语言模型，各1次、最高reasoning effort、最大回合250；任务完成由GPT-5.6-Sol Max判定。论文未报告这些模型多次运行的方差。
• LLM-Judge覆盖GPT-5.6-Sol、Terra、Luna各6档推理强度（Table 1）。论文未报告§3预生成标注轨迹由哪个模型生成。
• 人工一致性报告评审初始标注与标注员的Cohen's κ（§4.1），以及Table 1的Human Performance行。§6排除观察少于5次的动作类别。
• 文中OSWorld的83.4%、Minimax M3的75.2%，以及开源权重在OSWorld上超过80%，是作者对XLANG-Lab (2025)的引用，不是本文在OSWorld上的重测（§5）。

OSWorld-Pro是一套计算机使用智能体的过程评测，用来补充只核对最终交付物的OSWorld。

• 问题：长程图形界面任务常在交付物出现前失败。终态分把停在早期和后期都记为零，也分不出点击、键盘或无关动作。
• 做法：305个任务拆成2814个必须按序完成的子目标，配67264条步骤级人工标注。三类分别覆盖少见应用、至少四个应用协同，以及非Ubuntu/GNOME的Linux与图形界面。整条轨迹由GPT-5.6-Sol Max一次判定。
• 任务分：Table 2里，完成全部可行子目标的任务比例最高是Claude Opus 4.8 Max的77.7%；Claude Opus 5 Max为75.7%。开源权重最高是Qwen 3.8 Flash Next Xhigh的55.1%，最低是Qwen 3.6 27B Xhigh的10.2%，其Robustness为0.0%。作者引用的OSWorld顶尖Opus为83.4%。
• 过程信号：Sol Max在子目标完成状态上与人工一致94.1%，可行性Macro-F1为61.9%，人工行为91.6%（Table 1）。Table 3中Minimax M3、Kimi K3的点击进展率为39.0%与41.9%。Figure 5文字显示Opus 5 Max有一次59步子目标无关动作。
• 作者结论：作者称该基准对开源权重模型尤其难，并能露出终态评测看不到的失败模式。用它指导harness或过程奖励，作者留作后续工作。结论称这是首个CUA过程评测基准。