GUIOdyssey: A Comprehensive Dataset for Cross-App GUI Navigation on Mobile Devices

Autonomous Graphical User Interface (GUI) navigation agents can enhance user experience in communication, entertainment, and productivity by streamlining workflows and reducing manual intervention. However, prior GUI agents often trained with datasets comprising tasks that can be completed within a single app, leading to poor performance in cross-app navigation. To address this problem, we present GUIOdyssey, a comprehensive dataset for crossapp mobile GUI navigation. GUIOdyssey comprises 8,334 episodes with an average of 15.3 steps per episode, covering 6 mobile devices, 212 distinct apps, and 1,357 app combinations. Each step is enriched with detailed semantic reasoning annotations, which aid the model in building cognitive processes and enhancing its reasoning abilities for complex cross-app tasks. Building on GUIOdyssey, we develop OdysseyAgent, an exploratory multimodal agent for long-step cross-app navigation equipped with a history resampler module that efficiently attends to historical screenshot tokens, balancing performance and inference speed. Extensive experiments conducted in both in-domain and out-of-domain scenarios validate the effectiveness of our approach. Moreover, we demonstrate that historial information involving actions, screenshots and context in our dataset can significantly enhances OdysseyAgent's performance on complex cross-app tasks.

한 줄 요약

GUIOdyssey는 7,735개 에피소드로 구성된 크로스앱 GUI 탐색 데이터셋으로, OdysseyAgent라는 히스토리 리샘플러 모듈을 갖춘 멀티모달 에이전트를 제시한다.

핵심 기여도

GUIOdyssey 데이터셋: 7,735개 에피소드, 15.4개 평균 스텝, 201개 앱, 1,399개 앱 조합 포함.
OdysseyAgent: Qwen-VL 기반, 히스토리 리샘플러 모듈을 통해 과거 스크린샷 토큰 효율적으로 처리.
성능: in-domain에서 Qwen-VL 대비 +1.44%, GPT-4V 대비 +55.49% 정확도 향상. out-of-domain에서 +2.29%, +48.14% 개선.

핵심 아이디어

기존 GUI 에이전트는 단일 앱 내 작업에만 제한되어 있었으며, 이는 실제 사용 시 여러 앱을 넘나드는 복잡한 작업에서 성능 저하를 초래했다. GUIOdyssey는 6가지 타입의 크로스앱 작업을 포함한 7,735개 에피소드로 구성되어, 실제 사용 시나리오를 반영한 데이터셋이다. OdysseyAgent는 히스토리 리샘플러 모듈을 통해 과거 스크린샷 토큰을 효율적으로 처리함으로써, 긴 스텝 크로스앱 탐색을 가능하게 한다. 이는 기존 모델이 단일 앱 내에서만 학습된 한계를 극복하고, 복잡한 앱 간 작업을 처리하는 데 기여한다.

기술적 접근법

**GUIOdyssey 데이터셋**: 6대 모바일 기기, 201개 앱, 1,399개 앱 조합, 15.4개 평균 스텝.
**OdysseyAgent**: Qwen-VL 모델 기반, 히스토리 리샘플러 모듈을 통해 과거 스크린샷 토큰을 효율적으로 처리.
**훈련 및 평가**: in-domain과 out-of-domain 설정에서 평가. 히스토리 이미지 길이 δ를 조정하며 실험.
**추가 실험**: AITW 사전 훈련 효과, 히스토리 정보 유형(이전 액션, 스크린샷)의 영향 분석.

주요 결과

**in-domain 정확도**: OdysseyAgent는 Qwen-VL 대비 +1.44%, GPT-4V 대비 +55.49% 개선.
**out-of-domain 정확도**: Qwen-VL 대비 +2.29%, GPT-4V 대비 +48.14% 개선.
**히스토리 정보 효과**: 과거 액션과 스크린샷 모두 in-domain과 out-of-domain에서 유의미한 성능 향상 기여.
**앱 간 작업 난이도**: AITW 대비 GUIOdyssey의 SR(Success Rate)이 1.84 낮아, 크로스앱 작업이 더 어려움을 보임.

의의 및 한계

GUIOdyssey는 기존 GUI 에이전트가 단일 앱 내에서만 학습된 한계를 극복하고, 실제 사용 환경에 더 가까운 크로스앱 작업을 학습할 수 있도록 지원한다. OdysseyAgent는 히스토리 리샘플러 모듈을 통해 긴 스텝 탐색을 효율적으로 처리하며, in-domain 및 out-of-domain 모두에서 뛰어난 성능을 보인다. 그러나 크로스앱 작업 자체의 복잡성으로 인해 성능 개선이 여전히 어려운 점이 있으며, 훈련 데이터의 다양성 확보가 지속적으로 필요하다.

실용적 활용

GUIOdyssey와 OdysseyAgent는 스마트폰 사용자에게 자동화된 앱 간 작업 지원을 제공할 수 있으며, 특히 신체 장애인 사용자나 복잡한 작업을 자동화해야 하는 산업에서 활용 가능하다. 또한, 모바일 에이전트 연구 분야에서 일반적인 GUI 에이전트 개발을 촉진하는 기초 자료로 활용될 수 있다.