Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents

GUI agents have the potential to become a general purpose executor over existing digital devices. To advance them toward real-world use, we envision agents that operate reliably on real devices, execute workflows across platforms, combine GUI interaction with CLI execution, complete long-horizon tasks, proactively initiate useful services, and autonomously improve their capabilities with minimal human effort. Guided by this vision, we present Qwen-UI-Agent, a real-world centric foundation GUI agent spanning mobile, computer-use, web, and DeepSearch environments. Qwen-UI-Agent combines diverse sandbox environments with a large-scale real-device mobile runtime. Its unified action space interleaves GUI operations with CLI execution and generates batched actions in a single model turn. An AutoResearch-style data flywheel uses agents to construct tasks and environments, diagnose failures, and plan subsequent iterations. Online RL supports training on trajectories exceeding 100 turns, with over 10,000 concurrent environments accelerating rollout. A lightweight harness layer supports proactive service initiation and stateful workflows across mobile and computer. Across a broad suite of evaluations, Qwen-UI-Agent sets state-of-the-art performance on mobile-use benchmarks while delivering competitive performance on computer- and browser-use tasks against frontier models, including Opus 4.8, Gemini 3.1 Pro, and GPT-5.6 Sol. On mobile use, it achieves 82.1% on MobileWorld, 92.2% on MobileWorld-Real, and 97.5% on AndroidDaily. On computer use, it achieves 79.5% on OSWorld-Verified and a 40.0% partial-progress score on OSWorld-v2. On browser use and GUI grounding, it achieves 73.6% on WebArena and 81.5% on ScreenSpot-Pro, respectively.

한 줄 요약

Qwen-UI-Agent는 실제 모바일 기기와 크로스 플랫폼 환경에서 뛰어난 성능을 보이는 GUI 에이전트로, 92.2%의 MobileWorld-Real 정확도를 달성했다.

핵심 기여도

**실제 모바일 기기 환경에서의 성능 향상**: 100대 이상의 실제 기기와 150개 이상의 앱을 활용한 모바일 GUI 기반 구축.
**하이브리드 GUI+CLI 및 배치 액션 공간**: CLI 명령어와 GUI 클릭을 결합하며, 40% 이상의 액션이 배치 실행되어 실행 효율 향상.
**100개 이상의 액션 스텝을 처리하는 온라인 강화 학습**: 10,000개 이상의 환경에서 병렬 학습을 통해 롤아웃 가속화.
**92.2%의 MobileWorld-Real 성능**: 기존 모델 대비 높은 정확도로 실제 모바일 환경에서의 신뢰성 입증.

핵심 아이디어

Qwen-UI-Agent는 기존 GUI 에이전트가 주로 시뮬레이션 환경에 최적화되어 있던 한계를 극복하기 위해, 실제 모바일 기기와 크로스 플랫폼 환경에서 작동하는 "실세계 중심" GUI 에이전트를 제안한다. 핵심 아이디어는 다음과 같다:

1. **실제 기기와 다양한 앱 환경에서 학습 및 평가**: Qwen-UI-Agent는 100대 이상의 실제 모바일 기기와 150개 이상의 앱을 기반으로 학습하고 평가하며, 이는 기존 시뮬레이션 기반 모델보다 훨씬 복잡한 UI 레이아웃, 인터럽션, 권한 문제 등을 반영한다.
2. **하이브리드 액션 공간**: GUI와 CLI를 결합한 액션 공간을 통해, GUI는 시각적 인터페이스 접근에, CLI는 구조화된 작업 처리에 각각 최적화된 방식으로 사용된다. 이는 단일 모델 턴 내에 배치 액션을 생성함으로써 실행 효율을 높인다.
3. **AutoResearch 스타일 데이터 플라이휠**: 에이전트가 자체적으로 작업을 생성하고 실패를 진단하며 다음 반복을 계획함으로써 데이터 수집 및 학습 과정을 자동화한다.

이러한 접근은 GUI 에이전트가 단순히 시뮬레이션에서의 성능을 넘어, 실제 사용 환경에서의 신뢰성과 확장성을 확보하는 데 기여한다.

기술적 접근법

**모바일 기반 GUI 학습 환경**: 100대 이상의 실제 모바일 기기와 150개 이상의 앱을 활용한 학습 및 평가 환경 구축.
**하이브리드 액션 공간**: GUI 클릭, bash CLI 명령어, 배치 액션을 결합한 통합 액션 공간.
**온라인 강화 학습 (Online RL)**: 100개 이상의 액션 스텝을 처리하는 롤아웃 학습을 지원하며, 10,000개 이상의 환경에서 병렬 학습을 통해 가속화.
**하버스 레이어 (Harness Layer)**: 크로스 플랫폼 작업 실행 및 프로액티브 서비스 시작을 지원하는 가벼운 레이어.
**AutoResearch 스타일 데이터 플라이휠**: 에이전트가 자체적으로 작업 생성, 환경 진단, 반복 계획을 수행하여 데이터 수집 및 학습 과정을 자동화.

주요 결과

**모바일 사용 평가**: MobileWorld에서 82.1%, MobileWorld-Real에서 92.2%, AndroidDaily에서 97.5% 성능 달성.
**데스크탑 사용 평가**: OSWorld-Verified에서 79.5%, OSWorld-v2에서 40.0% 부분 진행 점수.
**브라우저 및 GUI 정착 평가**: WebArena에서 73.6%, ScreenSpot-Pro에서 81.5% 성능.
**기존 최첨단 모델 대비 경쟁력**: Opus 4.8, Gemini 3.1 Pro, GPT-5.6 Sol과 비교해 모바일 사용에서 SOTA 수준의 성능을 보인다.

의의 및 한계

Qwen-UI-Agent는 GUI 에이전트의 실세계 적용 가능성을 높이는 데 기여하며, 특히 모바일 환경에서의 신뢰성과 크로스 플랫폼 작업 처리 능력을 강화했다. AutoResearch 스타일 데이터 플라이휠과 온라인 강화 학습을 통해 학습 과정을 자동화함으로써, 인간의 개입을 최소화하면서도 지속적인 능력 발전을 가능하게 한다.

그러나 OSWorld-v2에서 40.0%의 부분 진행 점수를 기록한 점은 데스크탑 환경에서의 작업 완료 능력이 여전히 제한적임을 보여준다. 또한, 실제 기기에서의 인터럽션, 권한 문제, UI 레이아웃의 복잡성 등은 여전히 해결해야 할 도전 과제이다.

실용적 활용

Qwen-UI-Agent는 모바일 앱 자동화, 크로스 플랫폼 작업 자동화, 사용자 대신의 장기 작업 수행 등 다양한 산업 분야에서 활용 가능하다. 특히, 고객 지원 자동화, 데이터 수집 및 분석, 멀티디바이스 환경에서의 작업 흐름 관리 등에 적합하며, 사용자 경험을 향상시키는 프로액티브 서비스 제공에도 활용될 수 있다.