OSWorld-Science：面向科学软件学习与使用的计算机操作智能体基准

如何系统评测计算机使用智能体在专业科学软件上完成可核验研究工作流的能力，以及成绩有多少来自模型、有多少来自 harness。

• 场景：作者认为研究者依赖仿真、可视化、数据分析与实验控制等专业软件，界面陡、数据模态异构。科学智能体（ChemCrow、Coscientist、PaperQA、The AI Scientist）能检索文献、调用工具并自动化部分研究循环，但操作专业软件不同于用 LLM 回答科学问题：需要理解领域界面、维持长流程状态并产出科学上有效的产物。
• 现有评测的不足：作者称通用 CUA 基准缺少对科学挑战的专门考虑；ScienceBoard 评测专业科学应用中的人工策划流程，Terminal-Bench-Science 侧重专家贡献的终端研究流程与产物级验证，LogicVista 评测 VLM 的科学推理。作者认为这些工作仍不能同时做到：围绕科学家自己认为重要且困难的问题建基准、在统一框架下评测分子结构、图和统计结果等异构输出，以及区分成绩来自 backbone 还是 agent harness。作者还引用 OSWorld-MCP，称混合 GUI 与工具接口会实质改变计算机使用表现。
• 核心观察：作者把科学计算机使用写成目标条件下的部分可观察马尔可夫决策过程，奖励由任务专用评测器根据环境状态与产物给出 0 到 1 的部分分。
• 本文提出：OSWorld-Science，包含重要性驱动的任务集、面向异构产物的执行评测器，以及适配更多 VLM 的 harness（循环控制、VLM 适配器、用户交互平台）。作者称在前沿开源与闭源模型上，最强智能体平均成功率约 70%，最难集合约 40%。

相关工作按论文第 2 节分成三组。

• 计算机使用智能体与基准

  • WebArena（Zhou et al., 2024）与 VisualWebArena（Koh et al., 2024）——可复现网站与功能评测，以及需要图像–文本联合理解的视觉落地任务。
  • OSWorld（Xie et al., 2024）——把评测从浏览器扩到完整操作系统，用基于执行的评分器覆盖桌面应用、文件操作与跨应用流程；Windows Agent Arena（Bonatti et al., 2024）与 AndroidWorld（Rawles et al., 2024）分别覆盖真实 Windows 与动态生成的移动任务。
  • OSWorld-MCP（Jia et al., 2025）——研究智能体在 GUI 动作与结构化工具之间选择；作者称交互层和 harness 本身是重要实验变量。论文用这一点对照本文对专业科学软件与领域密集型流程 harness 的关注。

• 科学发现智能体

  • PaperQA（Lála et al., 2023）从全文文献检索并综合证据；ChemCrow（Bran et al., 2024）接入化学工具做合成、药物发现与材料任务；Coscientist（Boiko et al., 2023）把语言模型与文档检索、代码执行和实验室自动化耦合；The AI Scientist（Lu et al., 2026a）探索想法生成、实验、分析与论文写作的开放自动化。
  • 作者称这些系统体现了领域知识与外部工具的价值，但评测通常绑定特定智能体架构、领域或工具集合。

• 科学研究智能体基准

  • ScienceBoard（Sun et al., 2025）提供带专业科学应用和人工策划流程的多模态桌面环境；Terminal-Bench-Science（Terminal-Bench-Science Team, 2026）用可复现的产物测试评测命令行智能体；SciAgentArena（Liu et al., 2026b）为跨领域多步挑战设定评测标准。
  • 作者把 OSWorld-Science 定位为互补：任务收集以在职科学家对重要性和难度的判断为中心，支持多样的视觉与结构化输出评测，并把 agent harness 当作可控分析与优化的对象。引言还提到 LogicVista（Xiao et al., 2024）评测 VLM 的科学推理，以及通用 CUA 基准（Xie et al., 2024; Yuan et al., 2026; Zhou et al., 2024; He et al., 2024）未专门考虑科学挑战。

• 基线方法与基准：主实验中除 Kimi K3 外，所有 VLM 使用同一套改写后的 OSWorld 根智能体 mmagent（消息构造与提示词不变）；Kimi K3 因工具适配要求采用官方设计。评测环境为 OSWorld-Science 的 146 个任务；消融子集为医学领域 23 个 QuPath 任务（文中称 QuPath-Bench）。评分是任务专用、归一化到 0–1 的 pass rate，VOID 记 0，并含部分分。

作者把 OSWorld-Science 做成任务、环境与 harness 三部分：专家与人机共设计产生科学任务，Ubuntu 虚拟机安装领域软件，同一根智能体驱动各 VLM，最后用执行评测器对产物打 0–1 分。

问题设定与形式化

• POMDP：科学计算机使用任务写成 M=(S,O,A,T,Ω,r,γ,ρ₀,G,p_g)。S 含操作系统、应用内部状态、已加载科学数据和可能不可见的产物；O 含指令、截图、可访问性树和可见数值；奖励 r:S× A× G→[0,1] 衡量科学状态与产物满足目标的程度。
• 交互：每步智能体看到目标 g 与部分观测 o_t，输出动作 a_t。动作包括点击、键盘、拖拽、菜单和快捷键，也可在能定位并调用时使用 CLI。交互直到 DONE、FAIL，或达到步数上限且无有效结果（VOID）。
• 最终得分：R(τ, g)=E_g(s_T, F_T)∈[0,1]。1 表示全部科学要求满足，0 到 1 为按任务标准的部分完成，0 表示未达到所需结果。附录给出任务专用评测器。

任务生成与环境

• 范围：当前版本覆盖 biology、medicine、chemistry、physics、geographic information、linguistics、neuroscience 七个领域，以及 English、Chinese、Japanese 三种语言。入选标准是科学价值：科学家关心、且需要软件才能解决的问题，既包含当前模型能解的，也包含不能解的，以形成难度梯度。
• 两条设计路径：专家提案——招募所选领域具 PhD 级知识的研究者，按算法团队模板设计任务，再按任务多样性与软件多样性删减。Co-worker 设计——以软件教程等锚点任务为起点，与 OpenAI Co-worker 迭代，把它当作 Co-Scientist 共同细化问题。作者称后一路径仍能做出高质量任务。
• 环境：基础镜像为 Ubuntu，每个领域单独做任务专用镜像并安装所需软件，避免软件冲突。作者称基准共考虑 17 个软件，含开源（如 QuPath）与闭源（如 SAS）；闭源软件事先取得许可，并承诺不把轨迹用于智能体训练。默认分辨率写为 1920×1680；harness 一节写智能体收到的截图为 1920×1080。

Harness 与交互协议

• 统一根智能体：闭源模型包括 GPT-5.6 Luna、Terra、Sol，GPT-6 Astra，Claude Sonnet 5、Opus 5、Fable 5.1，Qwen3.7-Plus，Gemini 3.1 Pro Preview；开源权重包括 MiniMax-M3、Kimi K3、Qwen-CUA。除附录 A 所述 Kimi K3 采用官方设计外，各模型由 OSWorld 基线的 multimodal PromptAgent（mmagent）驱动，消息构造与提示词不改。
• 每步输入与输出：当前 1920×1080 截图加上最近五组（截图，回复）。系统提示词说明任务、坐标对应的屏幕分辨率和机器控制。模型回复短反思和一段 pyautogui 代码，或特殊 token <WAIT>、<DONE>、<FAIL>。代码在客户虚拟机中执行，从而直接控制键盘、鼠标和终端。
• 时序与预算：执行后等待 1 秒再截图；<WAIT> 暂停 2 秒；无法解析的回复视为 <WAIT>。每任务步数上限对多数任务为 100，回复上限 16k token，采样用提供商默认设置。回合在 <DONE>、<FAIL>、步数上限或空回复时结束。评分只看回合结束后从虚拟机收集的文件和应用状态。
• 日志与可靠性：每步记录请求、回复、token、已执行代码及其返回码和 stderr，用于成本与失败分析，不回喂模型。开发中把调用最多重试四次，截断时退避并把 token 上限加倍，失败预测回滚以保持历史一致。单条回复最多执行 10 个动作；自托管的 Qwen-CUA 使用最大等待时间以取得回复。

评分方式

• 两类问题：单一确定解（如画出分子结构、数地图上的飞机）按精确匹配计分，不同题目可对步骤给部分分，最终 pass rate 作为平均指标。计算仿真类（如统计回归参数、天体物理模型）按生成参数与真实参数的差异计分，误差落在某一范围内即视为成功。论文未在正文给出该误差范围的统一数值。
• 主指标：问题决定评分并归一化到 0–1。主结果报告含部分分的任务平均分，VOID 记 0。作者强调该分数不是二值任务完成率（Figure 9 图注）。

实验设置

• 被测模型：Claude Fable 5.1、Claude Opus 5、Claude Sonnet 5、GPT-6 Astra、GPT-5.6 sol、GPT-5.6 terra、GPT-5.6 luna、Kimi K3、Gemini 3.1 Pro、Qwen3.7-Plus、Qwen-CUA、MiniMax M3，共 12 个。默认 reasoning effort；除 Kimi K3 用官方适配外，其余用同一 mmagent。
• 任务规模：146 个任务、七个领域、14 种有记录的软件配置（Figure 2）。化学 43（29.5%），物理 31（21.2%），医学 26（17.8%），统计 20（13.7%），生物 18（12.3%），地理信息 6（4.1%），语言学 2（1.4%）。QuPath 23（15.8%），ChemDraw 与 ASKCOS 各 21（各 14.4%），SAS/R 20（13.7%），这四类合计 85（58.2%）。其余 61 个跨 OpenFOAM、ANSYS、EEGLAB、PyMOL/MNOVA、QGIS、CIAO+DS9、Weasis、Praat、3D Slicer、PDFViewer。
• 交互需求：146 个任务都要求基于截图观察应用状态；操作标注中显式截图 21（14.4%），点击 124（84.9%），文本输入 101（69.2%），绘图 21（14.4%），计数非互斥。122 个任务（83.6%）支持 CLI，24 个（16.4%）在所记录配置下仅为 GUI。
• 指标与协议：任务加权平均分，含部分分，VOID 记 0；同时报告每任务平均 API 费用（美元）和输出 token。附录 B 称这些计数对应作图结果，输出 token 均值只用有记录的任务，覆盖可以与分数不同。模型使用提供商默认采样；主结果步数上限多为 100。
• 消融：医学 23 个 QuPath 任务，骨干为 Claude Opus 5 与 Sonnet 5，每格每任务单次运行（n=1）。默认格为 medium effort、历史窗口 w=5、英文提示，对应主结果中 Opus 5 的 44.1% 与 Sonnet 5 的 15.7%。
• 轨迹：作者称对约 1500 次已发布运行按产物标注；Figure 4 写明 1,530 次。标签为满分、错误内容、无效产物、无交付物，或由 harness/环境结束。

主结果

据 Figure 3(b)、Figure 8 与 Figure 9（146 任务，VOID 记 0，含部分分）。费用两处不完全相同：正文写 Fable 5.1 为 $6.5、Opus 5 为 $6.7、Astra 为 $7.7、sol 为 $2.79、terra 为 $2.0、luna 为 $0.23、Sonnet 5 为 $3.6、Kimi K3 为 $11.7；Figure 8 标注为 $6.49、$6.41、$7.13、$2.85、$2.01、$0.23、$3.65、$10.09。下表费用取 Figure 8，分数取 Figure 9。

模型	平均分	每任务 API 费用
Claude Fable 5.1	73.7%	$6.49
Claude Opus 5	57.9%	$6.41
GPT-6 Astra	57.4%	$7.13
GPT-5.6 sol	50.1%	$2.85
GPT-5.6 terra	31.8%	$2.01
Kimi K3	30.2%	$10.09
Claude Sonnet 5	26.3%	$3.65
GPT-5.6 luna	22.6%	$0.23
Gemini 3.1 Pro	17.2%	$3.34
Qwen-CUA	15.8%	$0.44
Qwen3.7-Plus	15.2%	$0.45
MiniMax M3	13.0%	$0.38

• 作者解读：闭源强模型占据分数上层，但仍不能完美解决全部问题。luna 的 22.6% 接近 Sonnet 5（26.3%）和 Kimi K3（30.2%），后两者费用分别约为 luna 的 16 倍和 51 倍（正文相对 $3.6 与 $11.7）。
• 领域差异（Figure 10，作者给出的是约数）：统计约 66%–97%，luna 约 88% 且约 $0.06/任务。化学更难：Fable 5.1 与 Opus 5 约 44% 与 39%，sol 约 20%，八个模型约 6% 或更低。EEG 上 Fable 5.1 达 89%，Astra 54%，Opus 5 33%，其余 15% 或更低。Astra 在医学影像与地球科学各约 69%；Fable 5.1 在生物约 96%。排名随领域变化：Astra 在化学约 6%，在两个语言学任务上为 100%。
• 引言中的概括：作者称最强智能体平均成功率约 70%，最难集合约 40%。Figure 9 的最高平均分为 73.7%，且该分含部分分，不是二值完成率。

轨迹与失败形态

• 测了什么：1,530 次已发布运行按评分产物归类（Figure 4）。满分 402 次（26.3%）。其余约 1,100 次中，排除 20 次 harness 结束和 8 次未解析后，667 次（60.6%）没有被评分产物，400 次内容错误，33 次产物无效；667 次中有 613 次耗尽预算。
• 结果：Fable 5.1、Opus 5、Astra、sol 在 1–25% 的运行中没有任何交付；Sonnet 5、Gemini 3.1 Pro、Qwen3.7-Plus、Qwen-CUA、MiniMax M3 为 60–78%。GPT 系列产生 84 个仅占位产物中的 78 个，其中 77 个在化学。预算耗尽很少是字面循环：无交付且耗尽预算的运行中，只有 15% 至少重复 30% 的回复，其中 84% 来自两个 Qwen 模型。
• 作者解读：叙述与思考是模型特征而不是成功的预测因子。GUI 步占比主要随软件变化（OpenFOAM 29%，Praat 90%）。各模型的叙述与思考跨软件较稳定（平均秩相关 0.74 与 0.69，GUI 占比为 0.14）。GPT 叙述低于回复的 5%，Qwen-CUA 为 91%；Gemini 3.1 Pro 把 87% 的输出 token 用于思考，MiniMax M3 为 11%。同一任务内，满分运行的 CLI 步占比中位数高 11 个百分点（86 个任务中的 83%），且叙述、思考和重复更少；同一模型、同一领域内这些差异消失，95% 区间都包含 0。固定模型与任务效应后，经 Bonferroni 校正没有指标预测满分。作者认为关联反映的是哪些模型成功，而不是给定模型如何交互。

QuPath 消融

• Reasoning effort：从 low 到 max，Opus 5 每任务平均输出 token 约增至十倍（6k 到 59k），Sonnet 5 约五倍（19k 到 98k）。Opus 5 从 medium 的 44.1% 升到 max 的 59.7%；完全解出的二值率在 low、medium、xhigh 为 34.8%，high 为 43.5%，max 为 52.2%。medium 到 max：8 个任务变好，5 个变差，10 个不变，其中 8 个在所有 effort 上分数相同。Sonnet 5 非单调，最高 22.0% 出现在 high 而不是 max（max 为 18.3%）。相对 low，max 的输出 token 约为五到十倍，Opus 5 增加 17.0 个百分点，Sonnet 5 只增加 3.3 个百分点。Figure 5：22 个非默认格经配对符号翻转检验、Bonferroni 校正后，没有一格与默认格有统计显著差异（最小未校正 p=0.04，为 Opus 5 的法文提示）。
• 历史窗口（Opus 5，medium）：平均轨迹从 w=1 的 52 步降到 w=10 的 22 步，输出 token 从 25k 降到 11k，分数从 35.2% 升到 57.0%。w=10 起 VOID 消失；未解决运行从 w=1 的 62 步缩到 w=10 的 23 步。w=15 与 w=10 输出 token 相同但分数更低。
• 任务语言：中文、日文提示不改变脚本策略和轨迹长度；西班牙文、法文、泰文使 Opus 5 更偏向 GUI，轨迹从 27 步增到 36–44 步。Opus 5 用提示语言写正文回复的比例：中文 89%、日文 65%、西班牙文 43%，法文和泰文则用英文；Sonnet 5 无论提示语言都用英文。两个骨干都在日文提示上分数最高，中文低于英文。Sonnet 5 在每种语言的轨迹中位数都是 100 步。

化学个案

• 对照：两条 Opus 5 化学轨迹步数接近、结果相反（Figure 6）。Lenacapavir SAR：70 步后评测器认定 17 行全部正确，得分 1.0。Archangiumide：68 步后分子图和分子式正确，但立体化学与 InChIKey 错误，二值得分 0.0。
• 作者解读：成功更取决于是否保住任务的语义结构，并用独立于自身重建的证据验证不确定决定。失败轨迹的回环检查只证明内部一致，并不独立于最初的楔形键到构型解释。作者认为，对立体化学重的流程，应在每个立体中心保持显式不确定性，并在规范化之前把楔形/哈希几何和 CIP 标记与源或独立参考对照。

其他消融与分析

• OpenFOAM 14 个任务、每格一次、步数上限 100（Table 25）：Fable 5.1 为 14/14、均分 100.0；GPT-6-Astra 13/14、93.8；GPT-5.6-sol 11/14、82.1；Opus 5 10/14、72.3；Kimi-K3 7/14、50.9；Gemini 3.1 Pro 6/14、43.8；GPT-5.6-terra 5/14、42.0；Sonnet 5 5/14、35.7；Qwen3.7-plus 3/14、21.9；Qwen-CUA 2/14、14.7；GPT-5.6-luna 1/14、10.7；MiniMax-M3 0/14、0.0；合计 77/168、均分 47.3。
• 失败阶段（Table 24，与 Table 25 的 A–I 对应）：包括发散或收敛到另一解、未完成求解、收敛解未导出、有损导出等；论文按运行列出主因，未在正文给出跨全部 146 任务的同一分类。
• 附录 B 的输出 token 与分数是分开的效率度量（Figure 7）；图中可见 Fable 5.1 73.7%、Opus 5 57.9%、Astra 57.4%，以及 MiniMax M3 13.0%、Qwen3.7-Plus 15.2%、Qwen-CUA 15.8%、Gemini 3.1 Pro 17.2%。
• 生物子集在 Figure 10 图题中写为 Bio · 8 tasks，与正文生物学 18 个任务的计数不同；图中标注 Fable 5.1 约 96%、Astra 约 84%。论文未说明 8 与 18 的对应关系。
• 主结果费用：正文与 Figure 8 的美元数不完全一致（见主结果表注）。
• 开发期修复（重试、回滚、动作上限）写在 harness 设置中，论文未把它们作为单独消融报告前后分数。

作者指出的局限与后续方向

• 结论（第 5 节）：作者称基于当前先进 VLM 的 CUA 在科学问题上仍有改进空间，尤其是问题理解和学习如何操作软件。
• 结论（第 5 节）：深入分析显示智能体操作错误背后有许多共性问题，难以用常规方法解决，例如增加 reasoning effort 或扩大上下文窗口。
• 结论（第 5 节）：因此后续研究应聚焦科学智能体的开发。
• 引言：作者称最强智能体平均约 70%、最难集合约 40%，这凸显了更强智能体和更好的科学计算机使用系统都需要。该句在引言而非 Limitations 专节；论文没有单独的 Limitations 节。
• 数据发布（第 6 节）：因部分软件需要许可证，作者不计划在本版本发布全部轨迹。数据集加入了 contamination watermark，以检测并避免把数据用于模型训练。
• 摘要：作者称还分析了多语言、reasoning effort、上下文长度等因素，并得出若干结论与方向以帮助后续开发；具体方向在正文中对应第 4 节消融与第 5 节上述表述。

实验覆盖范围

• 主评测为 12 个 VLM、146 个任务、七个领域和 14 种有记录软件配置；分数为含部分分的任务平均分，VOID 记 0（Figure 2、Figure 9）。
• QuPath 消融只使用 Opus 5 与 Sonnet 5，变量为 reasoning effort、历史窗口 w 和任务提示语言，每格每任务 n=1（Figure 5、Table 2）。22 个非默认格在 Bonferroni 校正后没有一格与默认格达到该检验下的显著差异。
• 轨迹分析覆盖 1,530 次已发布运行；交互度量包括 GUI/CLI 步占比、叙述、思考占比和重复回复（Figure 4、附录 D.1）。
• OpenFOAM 子结果为 14 个任务、12 个骨干、每格一次、步数上限 100，并按 Table 24 的 A–I 标注失败阶段（Table 25）。
• 论文报告了默认步数上限（多数任务 100）、回复 token 上限（16k）、历史窗口默认 5、等待 1 秒和提供商默认采样；未报告各主实验条件的重复次数。Kimi K3 使用官方适配，其余模型使用同一 mmagent。评分由任务专用执行评测器完成，论文未报告与人工评分的一致性。

OSWorld-Science 是面向科学软件的计算机使用基准与评测环境，用来看视觉语言模型智能体能否完成可核验的研究流程。

• 问题：通用桌面基准和已有科学流程基准，按作者说法，还不能同时围绕科学家认为重要且困难的问题、统一评测分子结构、分割掩膜、图和数值等异构产物，并单独考察 harness。
• 做法：146 个任务来自领域专家提案和与 Co-worker 的迭代共设计，覆盖七个领域与多种开源、闭源软件。环境为 Ubuntu 任务镜像。除 Kimi K3 外，各模型由同一 mmagent 驱动：每步看当前截图和最近五步，输出一段界面控制代码或结束标记，多数任务最多 100 步。任务专用评测器检查应用状态和产物，给出 0–1 部分分，VOID 记 0。
• 主结果：12 个 VLM 的平均分从 MiniMax M3 的 13.0% 到 Claude Fable 5.1 的 73.7%（每任务 API 费用在 Figure 8 中为 $0.38 与 $6.49）。Opus 5 为 57.9%，GPT-6 Astra 为 57.4%。化学明显更难（Fable 5.1 约 44%）；统计更高（图上约 66%–97%）。领域排名会换位，例如 Astra 在化学约 6%、在两个语言学任务上为 100%。
• 失败与消融：1,530 次运行里 402 次（26.3%）获满分；在其余可归类运行中，60.6% 没有可评分产物。作者称叙述和思考是模型特征，固定模型与任务后不再预测满分。在 23 个 QuPath 任务上，Opus 5 从 medium 的 44.1% 到 max effort 的 59.7%，历史窗口从 w=1 的 35.2% 到 w=10 的 57.0%，w=15 不再更高；这些非默认格在 Bonferroni 校正后与默认格无统计显著差异。14 个 OpenFOAM 任务上 Fable 5.1 为 14/14、均分 100.0，MiniMax-M3 为 0/14。
• 作者结论：当前先进 VLM 的计算机使用智能体在问题理解和软件操作上仍有改进空间；许多操作错误难以靠加大 reasoning effort 或加长上下文解决，后续应发展科学智能体。对立体化学重的例子，作者认为需要独立于自身重建的源对照验证，而不是只做自洽检查。