Navigating the Digital World as Humans Do: Universal Visual Grounding for GUI Agents

Multimodal large language models (MLLMs) are transforming the capabilities of graphical user interface (GUI) agents, facilitating their transition from controlled simulations to complex, real-world applications across various platforms. However, the effectiveness of these agents hinges on the robustness of their grounding capability. Current GUI agents predominantly utilize text-based representations such as HTML or accessibility trees, which, despite their utility, often introduce noise, incompleteness, and increased computational overhead. In this paper, we advocate a human-like embodiment for GUI agents that perceive the environment entirely visually and directly perform pixel-level operations on the GUI. The key is visual grounding models that can accurately map diverse referring expressions of GUI elements to their coordinates on the GUI across different platforms. We show that a simple recipe, which includes web-based synthetic data and slight adaptation of the LLaVA architecture, is surprisingly effective for training such visual grounding models. We collect the largest dataset for GUI visual grounding so far, containing 10M GUI elements and their referring expressions over 1.3M screenshots, and use it to train UGround, a strong universal visual grounding model for GUI agents. Empirical results on six benchmarks spanning three categories (grounding, offline agent, and online agent) show that 1) UGround substantially outperforms existing visual grounding models for GUI agents, by up to 20% absolute, and 2) agents with UGround outperform state-of-the-art agents, despite the fact that existing agents use additional text-based input while ours only uses visual perception. These results provide strong support for the feasibility and promises of GUI agents that navigate the digital world as humans do.

한 줄 요약

UGround는 시각 기반 GUI 에이전트를 위한 강력한 보편적 시각 정착 모델로, 10M GUI 요소를 포함한 대규모 데이터셋으로 학습되어 기존 모델 대비 최대 20% 개선된 성능을 보인다.

핵심 기여도

UGround는 1.3M 스크린샷에 포함된 10M GUI 요소와 참조 표현식을 기반으로 학습된 보편적 시각 정착 모델이다.
LLaVA-NeXT 7B 아키텍처에 최대 1,344×1,344 해상도를 지원하는 AnyRes 기법을 적용하여 GUI 화면의 고해상도 처리가 가능하다.
기존 텍스트 기반 입력을 사용하지 않고 시각 입력만으로 학습된 SeeAct-V 프레임워크를 제안하며, 6개 벤치마크에서 기존 최고 성능 모델을 초과한다.
GUI 요소의 정확한 픽셀 좌표를 자연어로 표현하여 자동 생성 해독(Autoregressive decoding)을 직접 활용한다.

핵심 아이디어

GUI 에이전트는 기존에 HTML 또는 접근성 트리(a11y tree)와 같은 텍스트 기반 표현식을 사용했으나, 이는 노이즈, 불완전성, 계산 오버헤드를 유발한다. 본 연구는 인간처럼 GUI 환경을 시각적으로 인식하고, 픽셀 수준의 조작을 수행하는 에이전트를 제안한다. 핵심은 GUI 요소의 참조 표현식을 해당 좌표로 매핑하는 **시각 정착 모델(visual grounding model)**이다. UGround는 LLaVA-NeXT 7B 아키텍처를 기반으로, AnyRes 기법을 확장하여 최대 1,344×1,344 해상도를 처리하며, Vicuna-1.5-7b-16k를 사용해 긴 시각 컨텍스트를 처리한다. 또한, 224px 해상도의 전역 맥락 정보가 GUI 정착에 효과적이지 않다는 점에서, 기존 AnyRes의 저해상도 이미지 퓨전 모듈을 제거하였다.

기술적 접근법

**모델 아키텍처**: LLaVA-NeXT 7B를 사용하며, AnyRes 기법을 확장하여 최대 1,344×1,344 해상도를 지원.
**입력-출력 포맷**: "In the screenshot, what are the pixel element coordinates corresponding to {Description}?" 형태로 질문을 구성하고, 좌표를 "(1344, 1344)"와 같은 수치형 자연어로 표현.
**이미지 해상도**: GUI 스크린샷은 일반적으로 1,000px 이상의 해상도가 필요하므로, 36개 ViT 슬라이스로 분할 처리.
**언어 모델**: Vicuna-1.5-7b-16k를 사용해 16K 컨텍스트 길이를 처리.
**데이터셋**: 1.3M 스크린샷, 10M GUI 요소와 참조 표현식을 포함한 대규모 합성 데이터셋 사용.

주요 결과

UGround는 6개 벤치마크(3가지 범주: grounding, offline agent, online agent)에서 기존 시각 정착 모델을 최대 20% 절대 개선.
SeeAct-V 프레임워크는 텍스트 기반 입력 없이 시각 입력만으로 기존 최고 성능 모델을 초과.
웹, 데스크탑, 모바일 플랫폼을 모두 아우르는 보편적 성능을 보임.

의의 및 한계

UGround는 GUI 에이전트의 텍스트 기반 입력에 대한 의존성을 줄이고, 시각 기반 접근법의 가능성을 입증한다. 특히, 10M GUI 요소를 포함한 대규모 합성 데이터셋은 GUI 정착 연구에 중요한 자산이다. 그러나 학습 데이터는 매우 대규모 합성 데이터에 의존하며, 웹 페이지 내 요소의 반복성으로 인해 데이터 효율성 개선이 필요하다. 또한, 데스크탑 UI 데이터가 학습에 포함되지 않아 데스크탑 플랫폼에서의 성능이 제한된다. 마지막으로, UGround는 외부 플래너에 의존하며 독립적인 GUI 에이전트로 작동하지 않는다.

실용적 활용

UGround는 웹, 모바일, 데스크탑 플랫폼을 아우르는 GUI 자동화, 테스트 자동화, 시각 기반 사용자 인터페이스 에이전트 개발에 활용 가능하다. 특히, 텍스트 기반 접근법의 한계를 극복한 시각 기반 프레임워크인 SeeAct-V는 실제 환경에서의 실시간 GUI 조작에 적합하다.