UI-MOPD: Multi-Platform On-Policy Distillation for Continual GUI Agent Learning

Recent advances in multimodal foundation models and agent systems have driven GUI agents from single-platform task execution toward cross-platform interaction. However, building multi-platform GUI agents remains challenging. On one hand, high-quality and executable cross-platform interaction trajectories are still scarce, and existing data often suffer from limited platform coverage. On the other hand, different platforms exhibit distinct interaction conventions, making joint or continual training prone to behavioral pattern mixing, platform-specific capability degradation, and catastrophic forgetting. To address these challenges, we construct Uni-GUI, a high-quality cross-platform GUI interaction dataset, and propose UI-MOPD, the first method that incorporates multi-teacher on-policy distillation into continual learning for GUI agents. UI-MOPD dynamically selects a platform-specific teacher according to the current environment and transfers platform-specific behavioral priors to a shared policy through platform-conditioned distillation, enabling adaptation to new platforms while preserving capabilities on existing ones. Experiments on OSWorld and MobileWorld show that UI-MOPD achieves task success rates of 38.2% and 12.0%, respectively, demonstrating its effectiveness in balancing cross-platform capability retention and new-platform adaptation. Project page: https://elispectre.github.io/UI-MOPD/.

한 줄 요약

UI-MOPD는 플랫폼별 행동 패턴 혼합과 카테고릭 포겟팅을 해결하기 위한 멀티-티처 온-포리시 디스틸레이션 기반의 GUI 에이전트 연속 학습 방법이다.

핵심 기여도

**Uni-GUI** 데이터셋: 약 10,000개의 고질량 크로스-플랫폼 GUI 상호작용 트래젝토리 수집.
**UI-MOPD**: 첫 번째 멀티-티처 온-포리시 디스틸레이션 기반 연속 학습 방법.
**OSWorld**에서 38.2%, **MobileWorld**에서 12.0%의 태스크 성공률 달성.
기존 8B 모델 대비 MobileWorld에서 4.3%p, OSWorld에서 4.3%p 성능 향상.

핵심 아이디어

GUI 에이전트가 다양한 플랫폼(데스크탑, 모바일)에서 연속적으로 학습하면서 기존 플랫폼의 행동 패턴을 유지하고 새로운 플랫폼에 적응하는 것이 핵심 과제이다. 기존 방법은 플랫폼 간 행동 패턴 혼합, 특정 플랫폼 능력 저하, 카테고릭 포겟팅을 유발한다. UI-MOPD는 **플랫폼-조건화된 디스틸레이션**(platform-conditioned distillation)을 통해 이 문제를 해결한다. 현재 환경에 따라 플랫폼별 티처를 동적으로 선택하고, 공유 정책에 플랫폼별 행동 사전 정보를 전달함으로써, 새로운 플랫폼에 적응하면서 기존 플랫폼의 능력을 유지한다. 이는 **플랫폼별 티처**(desktop/mobile teacher)가 행동 앵커 역할을 하여, 정책 최적화 중 혼합된 신호를 방지하는 핵심 아이디어이다.

기술적 접근법

**Uni-GUI 데이터셋**: 데스크탑과 모바일 환경에서 약 110,000개, 50,000개의 상호작용 스텝 수집.
**UI-MOPD 알고리즘**:
**플랫폼-조건화된 디스틸레이션**: 각 rollout 환경에 따라 데스크탑 또는 모바일 티처를 선택.
**온-포리시 디스틸레이션**: 정책이 현재 정책에서 rollout을 샘플링하고, 플랫폼별 티처와 정책을 정렬.
**공유 정책**(shared policy)이 플랫폼별 행동 분포를 학습하면서 플랫폼별 행동 힌트를 유지.
**모델 크기**: 8B 학생 모델, 32B 티처 모델 사용.
**하이퍼파라미터**: 디스틸레이션 비중, 플랫폼 조건화 로직 등은 명시되지 않음.

주요 결과

**OSWorld**: 38.2% (기존 8B 모델 대비 +4.3%p, 32B 기반 모델 대비 +7.2%p).
**MobileWorld**: 12.0% (기존 8B 모델 대비 +4.3%p, 32B 기반 모델 대비 +2.6%p).
**단일 학생 모델**(8B)이 데스크탑과 모바일 환경에서 모두 성능 향상.
**플랫폼별 티처**(32B) 대비 UI-MOPD는 더 낮은 모델 크기로 유사한 성능 달성.

의의 및 한계

UI-MOPD는 GUI 에이전트의 연속 학습에서 플랫폼 간 행동 패턴 혼합과 카테고릭 포겟팅 문제를 해결하는 새로운 접근법을 제시한다. 특히, **플랫폼-조건화된 디스틸레이션**을 통해 단일 정책이 여러 플랫폼에 적응하면서도 기존 행동 패턴을 유지할 수 있다는 점에서 학술적 의의가 있다. 실용적으로는, 다양한 디지털 환경에서 작동하는 통합 GUI 에이전트 개발에 기여할 수 있다. 그러나, **하이퍼파라미터 세부 사항**이나 **플랫폼 조건화 로직**은 명시되지 않았으며, **더 많은 플랫폼**(예: 웹)에 대한 실험도 부재하다는 한계가 있다.

실용적 활용

UI-MOPD는 데스크탑, 모바일, 웹 등 다양한 디지털 환경에서 GUI 기반 자동화 작업을 수행하는 에이전트 개발에 활용 가능하다. 특히, **단일 모델로 여러 플랫폼에 적응**하면서도 기존 플랫폼의 행동 패턴을 유지해야 하는 산업 자동화, 고객 지원 시스템, 멀티플랫폼 UI 테스팅 등에 적용할 수 있다.