EngiWorld：前沿智能体在专业工程环境中能交付什么？
EngiWorld 评测智能体在专业工程环境中的表现：1,301 个任务、26 个软件平台、六个领域、GUI 与 CLI 两种界面，以及以工件为中心的评测方法。
概览
自主智能体在通用计算机操作上进展迅速，但可靠地自动化专业工业工程仍然遥不可及。工程工作流需要在几何与物理约束之上推理，还要让依赖关系在不同软件和不同设计阶段之间保持一致。
我们提出 EngiWorld：一个围绕真实工程项目所需能力设计的基准，覆盖从操作单个应用到端到端解决工程问题的完整范围。它包含 1,301 个由专家整理的任务，横跨六个工程领域（CAD、CAE、CAM、BIM、EDA 和 DCC）和 26 款专业软件，同时提供 GUI 和 CLI 两种界面。任务分为六种类型，分别对应真实工程项目所需的能力。
我们还提出一种以工件为中心的评测方法，建立在一套统一的领域验证器之上。验证器以程序方式检查最终工件和中间工件是否几何有效、物理可行，并符合设计规则。除了二元的成败，它们还会为优化后的设计满足规格的程度打分。对七个前沿模型的评测揭示了明显的能力差距：最强的模型只得到 44.7/100，而在需要跨软件协同的任务上，只有 3.6% 的运行取得成功。EngiWorld 为衡量“端到端操作专业工程软件的智能体”这一目标的进展，提供了严谨的基础。
基准
六种任务类型，检验真实工程项目所需的能力。
单软件执行
931在一个指定的应用中建模、修改或仿真一个工件。
软件选择
140从允许的软件集合中选择合适的软件，并完成任务。
视觉引导建模
120根据参考图纸和视觉要求构建工程模型。
设计优化
40在满足工程可行性约束的前提下，优化设计质量。
跨软件协同
60执行需要在多个应用之间传递依赖工件的工作流。
开放环境工程
10在空白环境中选择并安装软件，再端到端地解决工程问题。
数据集如何构建
由专家定义任务和验收标准；AI 协助编写规格说明并实现验证器。每个任务都在对应的软件环境中实际执行并经过复核。
评测
智能体通过 GUI 或 CLI 界面工作。领域专用的验证器会重新打开它们的交付物，检查那些真正重要的工程属性。
交互
从一个干净的、针对该任务的工作区开始。借助视觉观测和鼠标、键盘操作，或使用终端命令与脚本。
交付
提交原生模型、仿真输出、电路、建筑模型或 3D 场景；工作流需要时，也一并提交中间文件。
验证
依据任务特定的标准，重新计算几何、拓扑、物理量、规则合规性，以及各工作流阶段之间的一致性。
排行榜
七个前沿模型在同一套 306 个任务的主评测上的表现，其中 CLI 任务 158 个，GUI 任务 148 个。
每个点代表一个模型。轮次和成本为每任务均值，输出 tokens 为每轮均值。 悬停在点上，或在图例中选择模型，查看具体数值。精确结果见下表。
| # | 模型 | ||||||
|---|---|---|---|---|---|---|---|
| 01 |  Claude Opus 5 | 44.7 | 48.6 | 40.5 | 69.5 | 2.4 | 18.78 |
| 02 |  GPT-5.6 Sol | 38.6 | 47.9 | 28.6 | 54.2 | 1.0 | 9.57 |
| 03 |  Qwen3.8 Max | 26.3 | 35.3 | 16.6 | 107.3 | 2.7 | 6.44 |
| 04 |  Gemini 3.7 Flash | 26.1 | 37.2 | 14.2 | 110.0 | 0.7 | 2.08 |
| 05 |  DeepSeek V4.1 Flash | 25.9 | 48.3 | 2.0 | 115.3 | 9.8 | 0.80 |
| 06 |  Kimi K3 | 24.3 | 31.3 | 16.7 | 92.1 | 0.9 | 5.85 |
| 07 | Qwen3.8 Flash | 16.7 | 31.5 | 1.0 | 119.6 | 1.3 | 0.44 |
| # | 模型 | |||||||
|---|---|---|---|---|---|---|---|---|
| 01 | Claude Opus 5 | 44.7 | 50.3 | 25.0 | 66.7 | 32.8 | 8.3 | 50.0 |
| 02 | GPT-5.6 Sol | 38.6 | 44.6 | 17.9 | 50.0 | 36.4 | 4.2 | 40.0 |
| 03 | Qwen3.8 Max | 26.3 | 26.3 | 7.1 | 52.8 | 22.3 | 0.0 | 60.0 |
| 04 | Gemini 3.7 Flash | 26.1 | 30.9 | 3.6 | 30.6 | 20.6 | 0.0 | 70.0 |
| 05 | DeepSeek V4.1 Flash | 25.9 | 30.3 | 7.1 | 30.6 | 16.2 | 8.3 | 60.0 |
| 06 | Kimi K3 | 24.3 | 30.3 | 3.6 | 27.8 | 21.9 | 0.0 | 30.0 |
| 07 | Qwen3.8 Flash | 16.7 | 20.0 | 7.1 | 19.4 | 9.9 | 4.2 | 30.0 |
306 个任务：158 个 CLI，148 个 GUI。点击列标题排序。 EngiScore = 100 × 平均任务得分。二元任务要求所有标准全部通过；设计优化任务通过可行性检查后按 0–1 计分。不可行的输出得 0 分。
| 模型 | n | F1 | F2 | F3 | F4 | F5 |
|---|---|---|---|---|---|---|
| Claude Opus 5 | 167 | 74.3 | 19.2 | 1.2 | 5.4 | 0.0 |
| GPT-5.6 Sol | 186 | 87.1 | 12.9 | 0.0 | 0.0 | 0.0 |
| DeepSeek V4.1 Flash | 221 | 24.9 | 62.0 | 0.5 | 12.7 | 0.0 |
| Gemini 3.7 Flash | 224 | 40.2 | 59.4 | 0.0 | 0.0 | 0.4 |
| Qwen3.8 Max | 224 | 38.8 | 58.5 | 1.8 | 0.0 | 0.9 |
| Kimi K3 | 230 | 54.8 | 40.9 | 4.3 | 0.0 | 0.0 |
| Qwen3.8 Flash | 254 | 26.8 | 61.0 | 12.2 | 0.0 | 0.0 |
- F1
- 宣告完成
- F2
- 达到轮次上限
- F3
- 宣告失败
- F4
- 超出运行时限
- F5
- 桌面被关闭
共分析 1,506 次主评测失败；已排除 7 例评测端缺失输出或缺失条目的情况。
分析
受控消融实验分别改变视觉输入、可访问性信息、截图分辨率和交互历史。
在消息中提供参考图像
对 GPT-5.6 Sol 而言，当参考图纸直接出现在任务消息中时，GUI EngiScore 从 15.0 升至 31.7。更容易获取信息能帮助智能体找到它，但并不能保证它们正确地使用它。
更丰富的观测有得有失
可访问性树提升了 Kimi ，几乎没有改变 GPT ，却降低了 Gemini 的得分。尽管三个模型使用的轮次都减少了，API 成本仍上升了 51–148%。
历史长度的影响因模型而异
Gemini 在 15 轮的窗口下受益； GPT 在 10 轮之后基本趋于平稳。 Kimi 在 10 轮时表现最好，更长的窗口反而降低得分、增加成本。
初始图像的呈现方式
| 模型 | GUI | CLI | ||
|---|---|---|---|---|
| 环境中 | 消息中 | 环境中 | 消息中 | |
| GPT-5.6 Sol | 15.0 | 31.7 | 63.3 | 68.3 |
| Gemini 3.7 Flash | 3.3 | 10.0 | 38.3 | 40.0 |
| Kimi K3 | 6.7 | 10.0 | 40.0 | 36.7 |
CLI 中的运行时图像访问
| 模型 | 有初始图像 | 无初始图像 | ||
|---|---|---|---|---|
| 关闭 | 开启 | 关闭 | 开启 | |
| GPT-5.6 Sol | 66.7 | 68.3 | 48.1 | 41.5 |
| Gemini 3.7 Flash | 36.7 | 40.0 | 33.3 | 36.6 |
| Kimi K3 | 41.7 | 36.7 | 31.5 | 26.5 |
案例研究
论文中的四个单软件执行 GUI 工作流。每一个都通过了任务特定的工件检查，得分 1.0。
EDA / KiCad
连接数据总线，并保留原有电路
八条相互独立的数据网络建立了所需的 MCU–SRAM 映射。保存的原理图保留了原有电路，并以零电气规则错误通过检查。
CAD / AutoCAD
构建精确的错列孔阵
两个矩形阵列生成了 23 个管孔。导出的 DXF 保留了所需的坐标、半径、图元类型和图层分配。
CAD / SolidWorks
对齐零件，同时保持几何不变
滑块被定位到底座上。导出的 STEP 保留了两个独立实体及其原始尺寸。
DCC / Blender
交付带有打包 AO 烘焙的场景
烘焙出一张 512 × 512 的环境光遮蔽图，并打包进保存的原生场景，使计算得到的像素保留在交付物中。
跨软件协同工作流在哪里出错
记录到的失败包括导入比例错误、操作目标错误，以及提交的表示形式与验证器预期不一致。在载荷案例中，以压力表示的载荷不满足验证器对力或位移的检查；在 CSV 案例中，一个无法识别的直径字段名，使评测在下游几何检查之前就停止了。
提交你的智能体
如果你正在开发 AI 模型或智能体，并希望在 EngiWorld 上进行评测，欢迎通过 gaohongcheng2000@gmail.com 联系我们。请附上你的模型或智能体的公开访问链接。
我们会与你确认评测范围、服务费用和时间安排，按约定完成评测，并与你分享结果。
引用本文
@misc{engiworld2026,
title = {EngiWorld: What Can Frontier Agents Deliver in Professional Engineering Environments?},
author = {Hongcheng Gao and Hailong Qu and Yu Lei and Henghui Sun and Haoyang Li and Yipeng Wei and Naihao Xue and Xiaohan Yu and Zhuo Tao and Yihe Zang and Yajiao Wang and Jingyi Tang and Yi Li and Jingjing Zhou and Jie Luo and Bohan Zeng and Chengyu Shen and Hao Jiang and Chong Chen and Bowen Qu and Olive Huang and Zeqiang Wang},
year = {2026},
eprint = {2609.37686},
archivePrefix = {arXiv},
primaryClass = {cs.AI},
url = {https://arxiv.org/abs/2609.37686}
}