MobileForge: Annotation-Free Adaptation for Mobile GUI Agents with Hierarchical Feedback-Guided Policy Optimization

MLLM-based mobile GUI agents have made substantial progress in UI understanding and action execution, but adapting them to real target apps remains costly because mobile apps are numerous, frequently updated, and hard to cover with human-written tasks, demonstrations, or reward labels. Existing annotation-free GUI learning reduces manual supervision, yet lacks a unified substrate connecting target-app exploration, curriculum mining, rollout execution, and feedback, while policy optimization often relies on isolated rollouts and coarse rewards that are hard to convert into reliable improvement signals. We present MobileForge, an annotation-free adaptation system for mobile GUI agents. MobileForge consists of MobileGym, which grounds task generation and rollout evaluation in real mobile app interaction, and Hierarchical Feedback-Guided Policy Optimization (HiFPO), which turns trajectory outcomes, step-level process feedback, and corrective hints into hint-contextualized step-level GRPO updates. Using only automatically generated annotation-free adaptation data, MobileForge adapts Qwen3-VL-8B to 67.2% Pass@3 on AndroidWorld, close to the closed-data GUI-specialized GUI-Owl-1.5-8B base model at 69.0%. The MobileForge-adapted ForgeOwl-8B further reaches 77.6% Pass@3 on AndroidWorld and 41.0% success on the out-of-domain MobileWorld GUI-only split, establishing the strongest open-data mobile GUI agent in our evaluation. Code, data, and trained models will be released at https://mobile-forge.github.io/.

한 줄 요약

MobileForge는 주석 없이 모바일 GUI 에이전트를 최적화하는 시스템으로, AndroidWorld에서 77.6% Pass@3 성능을 달성한다.

핵심 기여도

**MobileGym**과 **HiFPO**를 결합한 통합적 주석 없는 모바일 GUI 적응 시스템 제안.
**Qwen3-VL-8B**를 67.2% Pass@3로 AndroidWorld에서 GUI-Owl-1.5-8B(69.0%)에 근접하게 성능 향상.
**ForgeOwl-8B**는 AndroidWorld에서 77.6% Pass@3, MobileWorld GUI-only에서 41.0% 성공률 달성.
**GRPO**(Group-Relative Policy Optimization)를 사용한 **hint-contextualized** 학습 전략 제시.

핵심 아이디어

기존 모바일 GUI 에이전트는 주석 없이 학습하되, 탐색, 커리큘럼 생성, 실행, 피드백을 통합하는 기반 부재로 인해 효과적 학습이 어려웠다. MobileForge는 **MobileGym**을 통해 실제 앱 상호작용을 기반으로 태스크를 생성하고, **HiFPO**(Hierarchical Feedback-Guided Policy Optimization)를 통해 피드백과 수정 힌트를 기반으로 정책을 업데이트한다. 이는 단순한 단일 실행이 아닌, **다중 시도**(multi-attempt rollout)와 **단계별 피드백**(step-level feedback)을 활용해 학습 효율을 높인다. 특히, **corrective hints**는 반복 탐색과 재사용 가능한 경험 사이의 연결 고리로 작용하며, **GRPO**는 단계별 상대적 최적화를 통해 정책 개선을 촉진한다.

기술적 접근법

**MobileGym**: 실제 앱 상호작용을 기반으로 태스크 생성 및 실행 평가.
**MobileGym-Curriculum**: 타겟 앱 추적(trace)을 기반으로 실행 가능한 태스크를 생성.
**MobileGym-Critic**: 실행 결과, 단계별 피드백, 수정 힌트를 평가.
**HiFPO**:
**hint-guided rollout**: 수정 힌트를 기반으로 반복 실행.
**step-level GRPO**: 단계별 피드백과 수정 힌트를 기반으로 정책 업데이트.
**GRPO**(Group-Relative Policy Optimization): 단계별 상대적 최적화를 통해 정책 개선.
**모델**: Qwen3-VL-8B, GUI-Owl-1.5-8B, ForgeOwl-8B 사용.
**데이터셋**: AndroidWorld(인도메인), MobileWorld GUI-only(아웃오브도메인) 사용.

주요 결과

**Qwen3-VL-8B**는 900개의 생성 태스크로 AndroidWorld에서 67.2% Pass@3 성능 달성 (기본 모델 대비 +25.7% 상승).
**GUI-Owl-1.5-8B**는 900개 태스크로 AndroidWorld에서 77.6% Pass@3 성능 달성.
**ForgeOwl-8B**는 AndroidWorld에서 77.6% Pass@3, MobileWorld GUI-only에서 41.0% 성공률 달성.
**corrective hints** 제거 시 Pass@3 성능이 49.0%에서 72.5%로 상승.
**GRPO**는 SFT 대비 Pass@1에서 50.9% 성능 달성.

의의 및 한계

MobileForge는 주석 없이 모바일 GUI 에이전트를 적응시키는 체계적인 프레임워크를 제시하며, 기존 주석 기반 모델과 유사한 성능을 달성한다. 특히, **hint-contextualized GRPO**는 단계별 피드백을 효과적으로 활용해 정책 개선을 촉진한다. 그러나, **MobileWorld GUI-only**에서의 성능(41.0%)은 여전히 제한적이며, **커리큘럼 생성**이 첫 화면에 제한되지 않도록 확장할 필요가 있다. 또한, **강력한 평가 모델**(예: Gemini 2.5 Pro)은 성능 향상에 도움이 되나, 개방된 평가 모델에서도 유의미한 개선이 가능하다는 점이 밝혀졌다.

실용적 활용

MobileForge는 앱 업데이트 빈도가 높은 모바일 환경에서 주석 없이 에이전트를 적응시키는 데 유용하다. 특히, **자동 커리큘럼 생성**과 **피드백 기반 학습**은 대규모 앱 생태계에서의 빠른 적응을 가능하게 하며, **GUI 탐색**, **자동화된 앱 테스트**, **사용자 경험 개선** 등 다양한 산업 분야에 활용될 수 있다.