SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents

Graphical User Interface (GUI) agents are designed to automate complex tasks on digital devices, such as smartphones and desktops. Most existing GUI agents interact with the environment through extracted structured data, which can be notably lengthy (e.g., HTML) and occasionally inaccessible (e.g., on desktops). To alleviate this issue, we propose a novel visual GUI agent -- SeeClick, which only relies on screenshots for task automation. In our preliminary study, we have discovered a key challenge in developing visual GUI agents: GUI grounding -- the capacity to accurately locate screen elements based on instructions. To tackle this challenge, we propose to enhance SeeClick with GUI grounding pre-training and devise a method to automate the curation of GUI grounding data. Along with the efforts above, we have also created ScreenSpot, the first realistic GUI grounding benchmark that encompasses mobile, desktop, and web environments. After pre-training, SeeClick demonstrates significant improvement in ScreenSpot over various baselines. Moreover, comprehensive evaluations on three widely used benchmarks consistently support our finding that advancements in GUI grounding directly correlate with enhanced performance in downstream GUI agent tasks. The model, data and code are available at https://github.com/njucckevin/SeeClick.

한 줄 요약

SeeClick은 GUI 화면 캡처만을 기반으로 작업을 자동화하는 시각 기반 GUI 에이전트로, GUI grounding을 강화한 결과 ScreenSpot 벤치마크에서 기존 LVLM 기반 모델을 상회한다.

핵심 기여도

SeeClick: GUI 화면 캡처만을 사용하는 시각 기반 GUI 에이전트 개발.
GUI grounding pre-training 전략 도입, 웹 및 모바일 데이터 자동 정제 방법 제안.
ScreenSpot: 모바일, 데스크탑, 웹 환경을 포함한 1,200개 이상의 지시문과 600개 이상의 스크린샷을 포함한 첫 실감형 GUI grounding 벤치마크 구축.
MiniWob에서 Pix2Act 대비 0.3%의 학습 데이터만으로도 우수한 성능 달성.

핵심 아이디어

GUI 에이전트는 대부분 HTML, DOM 등 구조화된 텍스트를 기반으로 환경과 상호작용하지만, 이는 iOS나 데스크탑 앱에서는 접근이 어려우며, LLM에 불필요한 정보를 제공하는 비효율적인 방식이다. SeeClick은 이러한 문제를 해결하기 위해 GUI 화면 캡처만을 기반으로 작업을 수행하는 시각 기반 에이전트를 제안한다. 핵심적인 도전 과제는 GUI grounding, 즉 지시문에 따라 화면 요소를 정확히 위치시키는 능력이다. SeeClick은 GUI grounding pre-training을 통해 LVLM의 능력을 강화하고, 웹 및 모바일 데이터를 자동으로 정제하여 지속적인 학습 데이터를 생성한다. 이는 기존 LVLM이 GUI 화면에서의 grounding 능력이 부족하다는 문제를 해결한다.

기술적 접근법

SeeClick은 Large Vision-Language Models (LVLM) 기반의 시각 GUI 에이전트로, 화면 캡처만을 입력으로 사용.
GUI grounding pre-training을 통해 LVLM의 능력을 강화.
웹 및 모바일 데이터 자동 정제 방법을 통해 GUI grounding 데이터셋 생성.
ScreenSpot: 모바일, 데스크탑, 웹 환경을 포함한 600개 이상의 스크린샷과 1,200개 이상의 지시문을 포함한 GUI grounding 벤치마크.
MiniWob, AITW, Mind2Web 세 가지 downstream 작업에서 평가.

주요 결과

ScreenSpot 벤치마크에서 SeeClick은 기존 LVLM 기반 모델 대비 유의미한 성능 향상 보임.
MiniWob에서 SeeClick은 Pix2Act 대비 0.3%의 학습 데이터만으로도 우수한 성능 달성.
세 가지 downstream 작업에서 GUI grounding 개선이 작업 성능 향상과 직결됨을 확인.

의의 및 한계

SeeClick은 구조화된 텍스트에 의존하지 않고 GUI 화면 캡처만으로 작업을 수행하는 첫 시각 기반 GUI 에이전트로, 다양한 플랫폼에서의 유연한 적용 가능성을 제시한다. ScreenSpot은 GUI grounding 분야에서 첫 실감형 벤치마크로, 연구 발전에 기여할 것으로 기대된다. 그러나 GUI grounding pre-training 데이터의 질과 양이 모델 성능에 큰 영향을 미친다는 점에서, 데이터셋의 확장 및 다각적 평가가 필요하다는 한계가 있다.

실용적 활용

SeeClick은 모바일 앱, 데스크탑, 웹 환경에서의 자동화 작업에 적용 가능하며, 특히 iOS나 데스크탑 앱에서 구조화된 텍스트 접근이 어려운 경우 유용하다. GUI grounding 기술은 로봇 프로세스 자동화(RPA), 테스트 자동화, 사용자 인터페이스 분석 등 다양한 산업 분야에서 활용될 수 있다.