EngiWorld 基准发布：前沿 Agent 在专业工程环境中最高仅得 44.3 分

专业工程软件上的智能体能否走完设计闭环，现有基准测不准。

• 场景与重要性：作者认为 LLM、MLLM 及其智能体已能处理网页、办公和软件工程等通用计算机使用任务，但专业工业设计软件的潜力仍 largely unexplored。工程流程要在几何与物理约束、以及跨软件和设计阶段保持的依赖上推理，具有巨大的经济与社会价值。
• 现有方法的不足：作者指出三类缺口。OSWorld、Spider2-V、ScienceBoard 等用终态或参考解判定成功，无法核验工程制品的功能完整性；FEABench、BIM-Edit、CADTestBench 已开始验证制品质量，但各自限于单一软件和单一任务形式。交互深度不足：Text2CAD 以单轮生成为主，CADWorld 虽引入 GUI，步数预算上限仅一百步。反馈缺口：智能体往往只收到文本信号，GUI-EDA 甚至做离线单步预测而不执行动作，工程师则依赖渲染、仿真收敛曲线和设计规则报告迭代。作者认为真实工程是完整设计环，这些基准各自只覆盖其中一环。
• 核心观察：作者把设计环写成意图落地、工具选择、精确构建、规格达成、跨工具链交付、以及在空白环境中自举工具与流程；并认为验收应落在制品上，而不是动作轨迹或界面终态。定量设计还要区分“是否可行”和“达成规格的程度”。
• 本文提出什么：作者提出 EngiWorld，自称是围绕完整设计环组织的基准：1,301 个专家整理任务，覆盖 CAD、CAE、CAM、BIM、EDA、3D visualization 六个领域、26 个专业软件平台、GUI 与 CLI，以及从 software-selection 到 open-ended 的 6 类任务。配套 artifact-centric 评测：统一的 domain-verifier suite 程序化检查最终与中间制品的几何有效性、物理可行性与规则符合性；定量设计任务在可行性门控后按规格达成程度给连续分，而不是二元成败。作者在七个前沿模型上评测，并称这为衡量端到端操作专业工程软件的智能体提供了严谨基础。

论文在 Related Work 中把相关工作分成两组，并在引言和 Table 1 里对照覆盖范围。

计算机使用基准

• 软件工程、网页与桌面：SWE-bench（Jimenez et al., 2023）、InterCode（Yang et al., 2023）、MLAgentBench（Huang et al., 2024）评测软件工程；Mind2Web（Deng et al., 2023）、WebArena（Zhou et al., 2023）、VisualWebArena（Koh et al., 2024）评测网页交互；OSWorld（Xie et al., 2024）在真实桌面环境评测任务完成。这些设置把 GUI 或 CLI 交互与基于执行的结果检查结合在一起。
• 专业工作流与长程执行：Spider2-V（Cao et al., 2024）和 ScienceBoard（Sun et al., 2026a）把评测扩展到专业数据工程与科学工作流。OSWorld2（Yuan et al., 2026）研究更长的计算机使用任务；Agents’ Last Exam（ALE）（Sun et al., 2026b）评测跨行业、带可核验交付物的专业工作流，其中包括工程与 3D 应用。Table 1 中 ALE* 是 ALE 里 25 个工程与 3D 任务的子集。

工程智能体与工程基准

• 结构化制品生成与工具使用：DeepCAD（Wu et al., 2021）和 Text2CAD（Khan et al., 2024）生成参数化 CAD 构建序列；RTLCoder（Liu et al., 2024）生成硬件描述。VerilogEval（Liu et al., 2023）用仿真评估功能正确性；RTLLM（Lu et al., 2024）额外评估功耗、性能与面积目标。TOOLCAD、ChatEDA、MetaOpenFOAM、Foam-Agent 等把规划与执行反馈纳入 CAD、电子设计与数值仿真（Gong et al., 2026; Wu et al., 2024; Chen et al., 2024; Yue et al., 2025）。VideoCAD（Man et al., 2025）和 GUI-EDA（Li et al., 2025）提供学习与评测专业 GUI 交互和动作预测的数据。
• 按领域要求检查制品：CADWorld（Dong et al., 2026）评测基于 GUI 的 FreeCAD 工作流，覆盖建模、仿真与制造。CADTestBench（Mallis et al., 2026）用可执行测试检查几何与拓扑要求；CADEngBench（Singh et al., 2026）考察面向工程的 CAD 能力。FEABench（Mudur et al., 2025）在 COMSOL 中评测多物理问题求解；BIM-Edit（Nithyanantham et al., 2026）按几何、语义和拓扑标准评估 IFC 模型编辑；BlenderGym（Gu et al., 2025）用起止场景对评测图形编辑。作者称这些基准的评测从功能仿真、可执行约束检查到几何与视觉比较不等，反映工程制品要求不同。

基线方法与对照基准

• 对照而非攻击/方法基线：主实验没有另设外部方法基线，比较的是七个前沿模型在 EngiWorld 上的表现。Table 1 用 Cross、Loop、Choice、Objective 四列对照既有基准：Text2CAD、VerilogEval、RTLLM、OSWorld、Spider2-V、ScienceBoard、VideoCAD、CADWorld、CADTestBench、FEABench、GUI-EDA、BIM-Edit、BlenderGym、ALE*。按该表，同时标出跨软件工作流、执行反馈、软件选择和工程性能目标的只有 EngiWorld（1,301 tasks，26 platforms，GUI+CLI，六域）。

作者把 EngiWorld 定位为围绕完整设计环组织的基准，并把单域的制品级程序化核验扩展成覆盖六域的统一 domain-verifier suite；定量设计任务在可行性门控后报告连续质量分。

作者构建基准 EngiWorld：智能体在原生工程软件里按任务规格产出或修改制品，评测只看提交的制品是否满足工程约束。

问题设定与形式化

• 任务元组：每个任务写成 τi = (gi, xi, ei, Ai, Yi, Ci)。gi 是目标，xi 是参考媒体和初始文件等输入，ei 是软件环境与工作区状态，Ai 是可用界面动作，Yi 是要求的交付物，Ci 是验收标准。作者称这对应设计环：xi 与 ei 呈现意图和环境，Ai 管构建，Yi 与 Ci 编码规格和交付。
• 交互过程：交互建模为部分可观测序贯决策。智能体观察 ot（GUI 主要为渲染画面，可含无障碍信息；CLI 为终端输出、文件内容和执行日志），按 πθ(· | gi, ot, ht) 选动作，动作空间含 DONE 与 FAIL。环境按任务相关的转移 Pi 与观测 Ωi 更新。回合在智能体宣布 DONE 或 FAIL，或达到该任务的决策上限时结束。
• 成功判定：评测对象是终止时提交的制品 YT，而不是动作轨迹或最终界面状态。二值任务的成功为全部验收指示函数之积：Si(YT) = ∏ ϕik(YT)，缺文件、无效或不可读的交付物使对应标准失败。定量设计分两段：可行性 Fi(YT) = ∏ ψik(YT)；仅当 Fi = 1 时 Qi = qi(YT)，否则 Qi = 0。qi 度量任务相关的设计质量。

环境与交互接口

• 运行环境：任务在隔离的 Windows 或 Ubuntu 环境中运行，内含所需原生工程应用。每回合从任务相关的工作区快照开始。单软件任务指定一个应用；Multi-software 任务提供共享工作区，中间制品在应用之间传递并在后续阶段被检查。Software-selection 任务允许智能体在许可集合中、在任务规定的界面约束下选择应用。
• 两种接口、同一套评测：GUI 通过视觉观察和鼠标/键盘操作；CLI 通过终端命令和脚本，接收软件与操作系统的文本反馈。两种接口的观察和动作空间不同，但共用基于制品的评测协议。作者称因此成绩取决于工程交付物是否有效，而不是交互形态。

任务构建与覆盖

• 构建流程：专家校准、LLM 辅助。领域专家从软件文档、教程和其他工程资源中选取代表性工作流，写成可执行规格（说明、初始文件、参考制品、交付物、任务专用核验器）。专家抽查规格与执行的正确性、完整性、歧义和可评测性。每个最终任务都在指定软件环境中执行并复核。细节在 Appendix A。
• 规模与划分：1,301 个任务实例、6 个领域、26 个软件平台与工作台。CLI 691 个，GUI 610 个（Figure 3b）。因一个工作流可涉及多个应用，软件覆盖另用 task–software association 统计，共 1,723 条：Multi-software 每个参与应用计一条，Software-selection 计入全部许可候选。Figure 3a 给出各软件任务关联数，例如 CAD 侧 FreeCAD 155、SolidWorks 100、OpenSCAD 93、AutoCAD 88；CAE 侧 Abaqus 140、ANSYS 83；EDA 侧 OrCAD 103、KiCad 102；BIM 侧 ArchiCAD 100；3D 侧 Blender 130。
• 六类任务互斥划分：Single-software 931（71.6%），在指定应用内完成目标；Multi-software 60（4.6%），中间制品须跨应用传递并保持；Software-selection 140（10.8%），从许可工具中选择；Quantitative design 40（3.1%），同时评可行性与任务相关设计目标；Image-based modeling 120（9.2%），按视觉参考构建制品；Open-ended 10（0.8%），不预设软件和工作流，由智能体自选工具与策略。作者把六类依次对应设计环的意图落地、工具选择、精确构建、规格达成、跨工具链交付和环境自举。

制品中心评测

• 核验器做什么：每个核验器重新打开提交文件，抽取任务所需属性，对照结构要求或带容差的数值标准。检查覆盖几何尺寸与拓扑、仿真量、原理图连通性、建筑模型实体与关系、3D 场景结构。Multi-software 还检查中间制品及阶段间一致性。二值任务须全部标准通过才有 Si = 1；定量任务先查 Fi，只对可行输出计算 Qi，不可行提交 Qi = 0。
• 核验器本身的校验：用参考制品、另一种有效解和受控缺陷提交做测试，以确认核验器接受有效实现并检出与任务相关的违规。具体检查实现、数值容差和校验结果在 Appendix B.2 与 B.3。
• 汇总指标：EngiScore(D) = 100/|D| ×（二值任务的 Si 之和 + 定量任务的 Qi 之和），范围 0 到 100，每题等权。在仅含二值任务的集合上，它等价于以百分点计的成功率。实验还报告每任务平均交互步数、每步输出 token 数和每任务 API 成本，且包含未成功回合。

实验中的执行约束

• 决策预算：GUI 默认 200 轮，CLI 默认 100 轮；Multi-software 与 Open-ended 分别提高到 300 与 150 轮。两种接口都只保留最近 15 轮交互。GUI 通过 PyAutoGUI，截图 1920×1080；CLI 发终端命令和脚本，图像可通过 readimg 查看。每个模型以 zero-shot 接收相同的任务规格和工具说明。

实验设置

• 被测模型：七个前沿模型，zero-shot，同一任务规格与工具说明：GPT-5.6-Sol (XHigh)、Claude Opus 5 (Max)、Kimi K3 (Max)、Gemini 3.7 Flash (High)、Qwen 3.8 Max、Qwen 3.8 Flash (XHigh)、DeepSeek V4.1 Flash (Max)。三个为专有模型，四个为开源模型（正文未逐一标明哪三个是专有）。
• 评测子集：为控制成本，七个模型评测同一分层子集，共 300 题：CLI 152、GUI 148。子集对 73 个由软件与任务类别定义的层各分配四或五题，并覆盖全部六个工程领域。全基准为 1,301 题，主结果不在全量上报告。
• Table 2 的类别样本量：Single 175、Multi 24、Select. 28、Quant. 33、Image 36、Open 4。这是 300 题子集内的计数，与全基准的 931/60/140/40/120/10 不同。
• 执行：每回合从干净的 Windows 或 Ubuntu 虚拟机快照开始。GUI 用 PyAutoGUI 与 1920×1080 截图；CLI 用终端命令和脚本，图像可用 readimg。两种接口保留最近 15 轮。决策上限：GUI 200 轮、CLI 100 轮；Multi-software 与 Open-ended 分别为 300 与 150 轮。另有五小时运行时限（正文在失败分析中提到有运行达到该限制）。
• 指标与判定：任务专用核验器从提交制品重算工程属性。EngiScore 把二值成功 Si∈{0,1} 与定量质量 Qi∈[0,1]（不可行记 0）等权平均后乘 100。另报告全部 300 题（含失败）上的每任务平均步数、每步输出 token（千）和每任务 API 成本（美元）。论文未报告重复次数，也未使用 LLM 评审或人工打分作为主指标。

主结果

据 Table 2，EngiScore 按任务类别与接口划分；Steps、Tokens（每步输出 token，单位 K）、Cost（美元/任务）为 300 题均值。

Swipe horizontally to read the table

模型	Single (175)	Multi (24)	Select. (28)	Quant. (33)	Image (36)	Open (4)	CLI (152)	GUI (148)	总体 (300)
Claude Opus 5	50.3	8.3	25.0	32.8	66.7	25.0	47.9	40.5	44.3
GPT-5.6 Sol	44.6	4.2	17.9	36.4	50.0	0.0	47.1	28.6	38.0
Qwen3.8 Max	26.3	0.0	7.1	22.3	52.8	75.0	34.7	16.6	25.8
DeepSeek V4.1 Flash	30.3	8.3	7.1	16.2	30.6	75.0	48.3	2.0	25.5
Gemini 3.7 Flash	30.9	0.0	3.6	20.6	30.6	75.0	36.1	14.2	25.3
Kimi K3	30.3	0.0	3.6	21.9	27.8	25.0	31.3	16.7	24.1
Qwen3.8 Flash	20.0	4.2	7.1	9.9	19.4	0.0	30.8	1.0	16.1

• 总体与接口：作者报告 Claude Opus 5 总体 EngiScore 最高，为 44.3，其次 GPT-5.6 Sol 为 38.0。绝对分数仍然低：七个模型在 300 题中的 128 题上均为零分（Figure C.1）。Claude 与 GPT 在 CLI 上接近（47.9 与 47.1），Claude 在 GUI 上更高（40.5 对 28.6）。DeepSeek 的 CLI 为 48.3，为表中 CLI 最高，但 GUI 仅 2.0；作者称其只在三个 GUI 任务上成功，并认为强的命令行表现不会直接转到视觉交互。
• 任务类型：作者称需要跨应用协调时成绩下降。Claude 的 Single-software 为 50.3、Image-based 为 66.7，但全部模型的 Multi-software 尝试共 168 次只成功 6 次（摘要写 3.6%）。Software-selection 上 Claude 为 25.0。作者认为智能体执行单个阶段较容易，在阶段之间的衔接上会失败。Open-ended 一列基于子集中的 4 题：Qwen3.8 Max、DeepSeek、Gemini 为 75.0，Claude 与 Kimi 为 25.0，GPT 与 Qwen3.8 Flash 为 0.0。定量设计上 GPT 最高，为 36.4，Claude 为 32.8；作者称这两类的进一步结果在 Appendix C。
• 成本：平均步数 54.9–120.5。GPT 步数最少（54.9），Claude 为 70.2。DeepSeek 与 Gemini 总分都约为 25，DeepSeek 成本 0.81 美元低于 Gemini 的 2.11 美元；作者称差距来自定价而不是更省，因为 DeepSeek 每步输出 9.9K token，Gemini 为 0.7K。Claude 得分最高，API 成本 19.02 美元，作者称接近 GPT（9.73 美元）的两倍。Qwen3.8 Flash 成本最低，为 0.45 美元，总体 EngiScore 也最低，为 16.1。

领域差异与失败模式

• 领域：作者称 Figure 4 显示模型有领域特化。Claude 在 CAD、CAE、EDA、BIM 领先，并在 CAM 上与 GPT 并列；Qwen3.8 Max 在 3D visualization 最好。CAM 对每个模型都是最难的领域。作者称领域排序与任务类型排序不同：Qwen 总体分较低但在 3D 领先，Claude 在 Image-based modeling 上的优势并不在各领域均匀延续。Figure 4 为雷达图，正文未给出各领域的数值表，故这里不填写具体领域分数。跨领域任务计入每个相关领域。
• 失败分类：Figure 5 按终态把失败分成五类，并排除 missing-field 与 missing-file。F1 为宣布 DONE 但核验得零，F2 为达到决策轮次上限，F3 为明确宣布 FAIL，F4 为超出运行时限，F5 为桌面意外关闭。作者称主评测中前两类占失败的 94.1%。Claude 的保留失败 n=165，其中 F1 73.9%、F2 19.4%、F3 1.2%、F4 5.5%、F5 0.0%；GPT n=184，F1 87.0%、F2 13.0%，F3–F5 为 0。DeepSeek n=218，F1 24.3%、F2 62.4%、F4 12.8%。Qwen3.8 Flash n=251，F2 61.4%、F3 12.4%。作者把 F1 对应设计环的验证阶段失败，把决策轮次耗尽对应构建阶段失败。
• 完成声明与限额：宣布完成是 GPT 与 Claude 的主要失败方式（其保留失败中 DONE 占 87.0% 与 73.9%，Gemini 为 39.6%）。作者称这些回合给出终止信号但未通过制品检查，常见原因是几何错误或工作流阶段间一致性被破坏（Table D.3）。决策轮次耗尽在 Gemini、两个 Qwen 和 DeepSeek 上最常见，GUI 多于 CLI：占 GUI 失败的 55.3%、CLI 失败的 36.6%（Figure D.2）。运行时限失败集中在少数长运行：28 次 DeepSeek、9 次 Claude 达到五小时限制。Figure D.3 给出四个得零分的跨软件案例（三个 GUI、一个 CLI），包括单位/导入比例错误后未产出已求解热 ODB、画布误删后交付物缺结构、以及 CSV 字段名不在核验器接受的别名中因而未进入后续几何检查。

观察与历史消融

消融在 GPT-5.6 Sol、Gemini 3.7 Flash、Kimi K3 上改变参考图呈现、运行时图像访问、无障碍信息、截图分辨率和历史长度。任务级升降见 Appendix C.4。

• 初始图放在哪里（Table 3）：参考图放在任务消息中而不是仅放在环境里，三个模型的 GUI EngiScore 都上升，GPT 从 15.0 到 31.7，Gemini 从 3.3 到 10.0，Kimi 从 6.7 到 10.0。CLI 上变化更小，Kimi 从 40.0 降到 36.7。作者称总体提升并不意味着每题都受益：GPT 有五个原先成功的任务在呈现方式改变后失败。
• CLI 运行时能否看图（Table 4）：有初始图时，打开 readimg 使 GPT 从 66.7 到 68.3、Gemini 从 36.7 到 40.0，Kimi 从 41.7 降到 36.7。无初始图时，GPT 从 48.1 降到 41.5，Kimi 从 31.5 降到 26.5，Gemini 从 33.3 升到 36.6。作者认为视觉反馈既可能帮助检查和修正制品，也可能引发不必要的修改，效果取决于模型如何把它纳入执行策略。
• 无障碍树、分辨率与历史（Figure 6）：加入无障碍树后 Kimi 的 EngiScore 上升，GPT 变化小，Gemini 下降；三个模型决策轮次都变少，但 API 成本增加 50.7–147.9%。原生 1920×1080（尺度 1.0）对三个模型分数最高；降到 0.6× 使 GPT 成本降 30.8% 并保留其大部分分数，Kimi 下降更大。任务级上，提高分辨率使 Kimi 在 11 个任务上受益且无损失，GPT 则 10 个受益、10 个变差。历史长度：Gemini 从 5 轮延到 15 轮受益，GPT 在 10 轮后大体持平，Kimi 在 10 轮最好；Kimi 从 10 轮增到 15 轮时 EngiScore 下降、成本增加 53.0%。Figure 6 未在正文中给出各点的 EngiScore 数值。

其他消融与分析

• 七个模型在 128/300 个任务上 EngiScore 均为 0（Figure C.1）。
• Multi-software：全部模型 168 次尝试成功 6 次，作者在摘要中写为 3.6%；Table 2 中该列最高为 Claude 与 DeepSeek 的 8.3（子集 n=24）。
• 失败终态：F1+F2 占主评测失败的 94.1%（Figure 5）；GUI 失败中决策轮次耗尽占 55.3%，CLI 占 36.6%（Figure D.2）。
• 运行时限：28 次 DeepSeek、9 次 Claude 达到五小时限制。
• 无障碍信息使 API 成本增加 50.7–147.9%，同时三个模型的决策轮次减少（Figure 6a）。
• 定量设计与 Open-ended 的细分结果作者指向 Appendix C；正文 Table 2 已给出子集上的 EngiScore，附录中的逐项数字在所给文本里未完整列出。

作者指出的局限与后续方向

论文的 Conclusion、Discussion 与所给附录文本没有单独的 Limitations 或 Future Work 小节，也没有把某项设计写成“这是局限”。Conclusion 把 44.3 的最高 EngiScore、3.6% 的跨软件成功，以及失败集中在未满足的工程约束和完成前未核验的交付物，写成工具操作与可靠工程执行之间的差距，并把 EngiWorld 定位为后续研究工业智能体的基础。这些是结果陈述和定位，不是作者列出的局限清单。论文未专门讨论局限。

实验覆盖范围

• 任务与模型：全基准 1,301 题、6 域、26 个软件、6 类任务（Section 3.3，Figure 3）。主实验是七个模型在同一分层子集上的一次评测，子集 300 题、73 层、CLI 152 与 GUI 148（Section 4.1）。论文未报告重复次数。
• 子集内的任务类型计数：Table 2 为 Single 175、Multi 24、Select. 28、Quant. 33、Image 36、Open 4。Open-ended 的 75.0 或 0.0 来自这 4 题。
• 交互预算：默认保留最近 15 轮；GUI/CLI 决策上限 200/100 轮，Multi-software 与 Open-ended 为 300/150 轮（Section 4.1）。失败分析另记录五小时运行时限。
• 评测协议：分数来自重新打开制品的程序化核验器，二值任务要求全部标准通过，定量任务先可行性再给 Qi（Section 3.4，公式 (1)(2)(3)）。主指标不是 LLM 评审。核验器用参考制品、另一种有效解和受控缺陷提交做过测试，细节指向 Appendix B.2 与 B.3。
• 消融范围：观察与历史消融只在 GPT-5.6 Sol、Gemini 3.7 Flash、Kimi K3 上进行（Section 4.3，Table 3、Table 4、Figure 6）。领域分数在 Figure 4 中按雷达图呈现，正文未给出分领域数值表。

EngiWorld 是一个面向专业工程软件、按完整设计环组织的智能体基准，用程序化制品核验而不是界面终态判断做完没有。

• 问题：作者认为通用计算机使用进展很快，但工业设计要在长操作序列里维持参数逻辑、几何与物理约束，以及跨软件依赖。既有基准往往只覆盖设计环的一环，或只在单一软件、单一任务形式上检查制品，智能体也缺少工程师所用的原生工具反馈。
• 做法：1,301 个专家整理任务，分布在 CAD、CAE、CAM、BIM、EDA、3D visualization 和 26 个软件上，GUI 610 题、CLI 691 题。六类任务互斥：单软件 931、跨软件 60、软件选择 140、定量设计 40、基于图像的建模 120、开放式 10。智能体在隔离的 Windows 或 Ubuntu 环境中多轮操作，结束时提交 STEP、网表、G-code、IFC 等制品。二值任务须全部验收标准通过；定量任务先过可行性，再按规格达成程度得到 [0,1] 的质量分。EngiScore 对二者等权，换算到 0–100。
• 主结果：七个前沿模型在同一 300 题分层子集上评测。Claude Opus 5 总体 EngiScore 44.3（CLI 47.9，GUI 40.5），GPT-5.6 Sol 38.0，其余约 16.1–25.8。跨软件最难：168 次尝试成功 6 次。Claude 的单软件为 50.3、图像建模为 66.7、软件选择为 25.0。七个模型在 128 个任务上均为零分。CAM 在 Figure 4 中对每个模型都最难；Qwen3.8 Max 在 3D 可视化最好。
• 失败与消融：保留失败里，宣布 DONE 却得零分，以及用尽决策轮次，合计占 94.1%。GPT 与 Claude 以前者为主（87.0%、73.9%），多个开源模型以后者为主，且 GUI 上更常见。参考图放进任务消息能提高三个消融模型的 GUI 分，但 GPT 有五题由成功变为失败。运行时看图、无障碍树、分辨率和历史长度的收益随模型而变，并不一致提高制品分数。
• 作者的结论：作者认为当前智能体可以执行设计环的单个阶段，但在阶段衔接、精确约束和完成前核验交付物上失败，工具操作与可靠的工程执行之间存在根本差距。作者把 EngiWorld 定位为后续研究工业智能体的评测基础。