Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction

Automating GUI tasks remains challenging due to reliance on textual representations, platform-specific action spaces, and limited reasoning capabilities. We introduce Aguvis, a unified vision-based framework for autonomous GUI agents that directly operates on screen images, standardizes cross-platform interactions and incorporates structured reasoning via inner monologue. To enable this, we construct Aguvis Data Collection, a large-scale dataset with multimodal grounding and reasoning annotations, and develop a two-stage training pipeline that separates GUI grounding from planning and reasoning. Experiments show that Aguvis achieves state-of-the-art performance across offline and real-world online benchmarks, marking the first fully autonomous vision-based GUI agent that operates without closed-source models. We open-source all datasets, models, and training recipes at https://aguvis-project.github.io to advance future research.

한 줄 요약

Aguvis는 화면 이미지 기반의 통합 GUI 에이전트로, Qwen2-VL과 2D-RoPE를 활용해 플랫폼 간 호환성과 추론 능력을 향상시킨다.

핵심 기여도

**Aguvis Data Collection**이라는 대규모 다중 모달 데이터셋을 구축하여 GUI 내비게이션과 추론 경로를 명시적으로 포함.
**2단계 훈련 파이프라인**을 개발하여 GUI 지정(Grounding)과 계획(Planning) 및 추론(Reasoning)을 분리.
**Qwen2-VL** 기반 모델 아키텍처와 **2D-RoPE** 위치 인코딩을 도입하여 계산 효율성과 정확도를 동시에 향상.
**Aguvis-72B**가 Mind2Web-Live와 MobileMiniWob에서 기존 방법 대비 최고 성능을 달성.

핵심 아이디어

GUI 자동화는 기존에 텍스트 기반(예: HTML, 접근성 트리)에 의존하며, 이는 플랫폼별로 다르게 구현되어 일반화가 어려웠다. Aguvis는 화면 이미지를 직접 입력으로 사용하여 **플랫폼 독립적인 시각적 관찰**을 가능하게 한다. 또한, **내면 대화(inner monologue)**를 훈련 과정에 통합하여 인간과 유사한 문제 해결 능력을 모델에 부여한다. 이는 단순히 반응형 행동을 생성하는 기존 방법과 구별된다.

Aguvis는 **GUI 지정(Grounding)**과 **추론(Reasoning)**을 분리한 2단계 훈련 파이프라인을 통해, 시각적 요소를 자연어 지시에 매핑하고, 복잡한 작업을 단계별로 분해할 수 있도록 한다. 이는 기존 시각-언어 모델(VLM)이 단순히 반응형 행동만 생성하는 한계를 극복한다.

기술적 접근법

**모델 아키텍처**: Qwen2-VL 기반, NaViT 스타일 이미지 인코더 사용.
**위치 인코딩**: 2D-RoPE를 도입하여 다양한 화면 크기에서도 정확한 공간 인식 유지.
**훈련 파이프라인**: GUI 지정(Grounding)과 추론(Reasoning) 단계를 분리한 2단계 훈련.
**데이터셋**: **Aguvis Data Collection**이라는 대규모 다중 모달 데이터셋 사용, 내면 대화 포함.
**추론 모델**: GPT-4o를 플래너로 활용하여 복잡한 작업을 계획.

주요 결과

**Aguvis-7B**는 GPT-4o 기반 플래너와 함께 기존 방법 대비 우수한 성능을 보임.
**Aguvis-72B**는 **Mind2Web-Live**와 **MobileMiniWob** 데이터셋에서 기존 최고 성능을 달성.
**Qwen2-VL** 기반 모델은 **LLaVA-OneVision** 대비 더 높은 효율성과 정확도를 보임.

의의 및 한계

Aguvis는 **전적으로 시각 기반**이며, **닫힌 소스 모델 없이 작동**하는 첫 번째 GUI 에이전트로, 기존 텍스트 기반 접근법의 한계를 극복한다. 또한, **2D-RoPE와 2단계 훈련 파이프라인**을 통해 계산 효율성과 추론 능력을 동시에 향상시켰다. 그러나, **고해상도 이미지 처리 시 높은 계산 자원**이 필요하며, **복잡한 다중 단계 작업에서의 일반화 능력**은 추가 연구가 필요하다.

실용적 활용

Aguvis는 웹 자동화, 모바일 앱 테스팅, 데스크톱 GUI 조작 등 다양한 **디지털 환경에서의 자동화 작업**에 적용 가능하다. 특히, **사용자 인터페이스가 빈번히 변경되는 상황**에서 시각 기반 접근법의 장점을 극대화할 수 있다.