Scaling Computer-Use Grounding via User Interface Decomposition and Synthesis

Graphical user interface (GUI) grounding, the ability to map natural language instructions to specific actions on graphical user interfaces, remains a critical bottleneck in computer use agent development. Current benchmarks oversimplify grounding tasks as short referring expressions, failing to capture the complexity of real-world interactions that require software commonsense, layout understanding, and fine-grained manipulation capabilities. To address these limitations, we introduce OSWorld-G, a comprehensive benchmark comprising 564 finely annotated samples across diverse task types including text matching, element recognition, layout understanding, and precise manipulation. Additionally, we synthesize and release the largest computer use grounding dataset Jedi, which contains 4 million examples through multi-perspective decoupling of tasks. Our multi-scale models trained on Jedi demonstrate its effectiveness by outperforming existing approaches on ScreenSpot-v2, ScreenSpot-Pro, and our OSWorld-G. Furthermore, we demonstrate that improved grounding with Jedi directly enhances agentic capabilities of general foundation models on complex computer tasks, improving from 5% to 27% on OSWorld. Through detailed ablation studies, we identify key factors contributing to grounding performance and verify that combining specialized data for different interface elements enables compositional generalization to novel interfaces. All benchmark, data, checkpoints, and code are open-sourced and available at https://osworld-grounding.github.io.

한 줄 요약

GUI 접지 능력을 향상시키기 위해 OSWorld-G 벤치마크와 400만 개의 Jedi 데이터셋을 제시하고, 27% 성능 향상을 보인다.

핵심 기여도

OSWorld-G: 564개의 세밀하게 주석 달린 샘플로 구성된 종합적 벤치마크.
Jedi: 400만 개의 예제를 포함한 최대 규모의 GUI 접지 데이터셋.
Jedi 기반 모델이 ScreenSpot-v2, ScreenSpot-Pro, OSWorld-G에서 기존 방법을 초과함.
OSWorld 벤치마크에서 5%에서 27%까지 성능 향상.

핵심 아이디어

GUI 접지(Grounding)는 자연어 지시문을 특정 GUI 요소와 매핑하는 능력으로, 기존 연구는 이를 단순한 지시 표현으로 제한하여 실제 상호작용의 복잡성을 반영하지 못했다. 본 연구는 소프트웨어 상식, 레이아웃 이해, 세부 조작 능력을 포함한 실질적인 GUI 접지를 위해 OSWorld-G 벤치마크와 Jedi 데이터셋을 제시한다. Jedi는 다각도의 작업 분리(multi-perspective decoupling)를 통해 400만 개의 예제를 생성하며, 다양한 인터페이스 요소에 대한 전용 데이터를 결합함으로써 새로운 인터페이스에 대한 구성적 일반화(compositional generalization)를 가능하게 한다.

기술적 접근법

**OSWorld-G**: 564개 샘플로 구성된 벤치마크. 텍스트 매칭, 요소 인식, 레이아웃 이해, 정밀 조작, 실행 불가능성 등 다양한 작업 유형 포함.
**Jedi**: 400만 개 예제를 포함한 GUI 접지 데이터셋. 멀티스케일 모델 학습에 사용됨.
**모델 학습**: Qwen2.5-VL 모델을 사용. 3B 모델은 20시간, 7B 모델은 30시간 학습. 128개 CPU, 512GB 메모리, 64개 H100 GPU 사용.
**접지 성능 향상**: Jedi 데이터셋을 사용한 학습이 ScreenSpot-v2, ScreenSpot-Pro, OSWorld-G에서 기존 방법을 초과함.

주요 결과

**ScreenSpot-v2**: Jedi 기반 모델이 기존 방법을 초과함.
**OSWorld-G**: 564개 샘플에서 Jedi 기반 모델이 기존 방법을 초과함.
**OSWorld**: 5%에서 27% 성능 향상.
**WindowsAgentArena**: Jedi 기반 모델이 에이전트 성능을 향상시킴.

의의 및 한계

**의의**: GUI 접지의 복잡성을 반영한 OSWorld-G와 Jedi 데이터셋은 기존 연구의 간단한 지시 표현 중심 접근을 극복하며, 실질적인 인터페이스 조작 능력을 평가할 수 있는 기반을 제공한다. Jedi는 다양한 인터페이스 요소에 대한 전용 데이터를 결합하여 구성적 일반화를 가능하게 하며, 기존 VLM 모델의 한계를 보완한다.
**한계**: Jedi는 합성 데이터셋으로 실제 환경과의 차이가 있을 수 있으며, OSWorld-G는 564개 샘플로 비교적 작은 규모이다.

실용적 활용

Jedi와 OSWorld-G는 GUI 기반 에이전트 개발, 자동화 테스트, 멀티모달 협업 시스템 등에 활용될 수 있다. 특히, WindowsAgentArena와 같은 복잡한 컴퓨터 작업에서 에이전트 성능을 향상시키는 데 기여할 수 있다.