CADWorld: Computer-Use Benchmark for Long-Horizon Computer-Aided Design

Computer-use agents are increasingly evaluated in realistic desktop environments, but existing benchmarks provide limited coverage of professional engineering workflows whose outputs are persistent, structured artifacts. Mechanical computer-aided design (CAD) is a particularly demanding setting: an agent must manipulate geometry and constraints over long interaction horizons while producing a native project whose dimensions, construction structure, and downstream engineering state remain valid. We introduce CADWorld, a benchmark for long-horizon computer use in FreeCAD. CADWorld contains 200 tasks spanning 11 mechanical-CAD workflow categories, including sketching, part modeling, assembly, CAM, FEM, measurement, mesh processing, and technical drawing. Agents operate through screenshots and GUI actions, while success is determined by task-specific executable checks over saved FreeCAD artifacts and auxiliary outputs, covering geometric properties, parametric structure, constraints, manufacturing state, and simulation results. Across seven current agents on the full benchmark, the strongest agent achieves 17.5\% success, compared with an 87.0\% expert reference pass. We find that weaker agents often fail before producing a valid artifact, whereas stronger agents increasingly fail on structural, geometric, and construction-process requirements. CADWorld therefore exposes a gap between general GUI competence and reliable execution of persistent, verifiable engineering workflows. Project accessible at https://cad-world.github.io.

한 줄 요약

CADWorld는 FreeCAD 기반의 200개 엔지니어링 작업을 통해 컴퓨터 사용 에이전트의 장기적 CAD 작업 능력을 평가하는 벤치마크이다.

핵심 기여도

CADWorld는 11개의 엔지니어링 워크플로우 범주(예: 스케치, CAM, FEM)를 포함한 200개의 FreeCAD 기반 작업을 제공.
성공 여부는 저장된 FreeCAD 아티팩트를 대상으로 실행 가능한 체크(예: 기하 속성, 제약, 제조 상태)를 통해 평가.
7개의 현재 에이전트 중 최고 성능 에이전트는 17.5% 성공률, 전문가 기준은 87.0% 성공률.
기존 GUI 기반 평가와 달리, CADWorld는 지속적, 검증 가능한 엔지니어링 워크플로우 실행 능력을 평가.

핵심 아이디어

CADWorld는 기존의 단순 GUI 클릭 평가를 넘어, CAD 작업에서의 정확한 기하 구조, 제약, 제조 상태, 시뮬레이션 결과를 포함한 지속적 아티팩트 생성 능력을 평가하는 데 초점을 맞춘다. 기존 연구는 CAD 작업에서의 시각적 외관이나 코드 생성에만 집중했으나, CADWorld는 실제 FreeCAD 환경에서의 GUI 상호작용을 통해 생성된 아티팩트를 실행 가능한 체크를 통해 평가한다. 이는 작업의 지속성, 수정 가능성, 검증 가능성을 강조하며, 특히 강력한 에이전트조차도 구조적, 기하학적, 제작 프로세스 요구사항에서 실패한다는 점에서 기존 접근과 차별화된다.

기술적 접근법

**데이터셋**: 200개의 FreeCAD 기반 작업, 11개의 워크플로우 범주(예: 스케치, CAM, FEM) 포함.
**평가 방식**: 저장된 FreeCAD 아티팩트를 대상으로 실행 가능한 체크(예: 기하 속성, 제약, 제조 상태, 시뮬레이션 결과)를 수행.
**인터페이스**: 에이전트는 스크린샷과 GUI 액션을 통해 FreeCAD와 상호작용.
**성능 측정**: 7개의 에이전트 중 최고 성능 에이전트는 17.5% 성공률, 전문가 기준은 87.0% 성공률.
**실행 환경**: FreeCAD를 사용하여 재현 가능한 GUI 상호작용과 실행 가능한 아티팩트 평가를 지원.

주요 결과

**FreeCAD 기반 200개 작업에서 7개 에이전트 평가**: 최고 성능 에이전트는 17.5% 성공률, 전문가 기준은 87.0% 성공률.
**약한 에이전트**: 유효한 아티팩트 생성 전에 실패.
**강한 에이전트**: 구조적, 기하학적, 제작 프로세스 요구사항에서 실패.
**실패 원인**: 제약 위반, 기하 속성 오류, 제조 설정 오류 등 명시적으로 진단 가능.

의의 및 한계

CADWorld는 기존 GUI 기반 평가와 달리, 지속적, 검증 가능한 엔지니어링 워크플로우 실행 능력을 평가함으로써 컴퓨터 사용 에이전트의 실질적 엔지니어링 능력을 평가하는 새로운 기준을 제시한다. 특히, FreeCAD를 기반으로 한 실행 가능한 아티팩트 평가는 작업의 수정 가능성과 검증 가능성을 강조하며, 실용적 엔지니어링 에이전트 개발에 기여할 수 있다. 그러나 현재 에이전트들의 성능이 낮고, 특히 전문적인 제작 및 시뮬레이션 워크플로우에서의 성능 저하가 한계로 작용한다. 또한, FreeCAD는 상용 CAD 시스템과 비교해 일부 기능이 제한적일 수 있다.

실용적 활용

CADWorld는 기계 엔지니어링, 제조, 시뮬레이션 분야에서 컴퓨터 사용 에이전트의 능력을 평가하는 데 활용될 수 있다. 특히, FreeCAD를 기반으로 한 작업은 오픈소스 환경에서의 연구 및 개발에 적합하며, 엔지니어링 자동화, 디지털 트윈, AI 기반 설계 지원 시스템 개발에 기여할 수 있다.