Latent World Action Model for GUI Agents

Pixel-space world models have recently emerged as a promising approach for GUI agents, predicting future screens prior to execution and subsequently re-perceiving them for action selection. However, this two-stage paradigm faces two key challenges in GUI environments: (L1) the high computational cost of pixel reconstruction and (L2) the need to reconstruct large and diverse appearance-level details beyond what is required for action selection. In practice, this screen-generation objective can induce an identity shortcut problem, where future-state prediction largely preserves the current state rather than capturing action-induced changes. In this work, we reformulate GUI world modeling by shifting the prediction target from full-screen reconstruction to action-induced future information in latent space. Concretely, we leverage a large multimodal model as the latent world model, whose shared representations support two dedicated heads for both action selection and predictive transition modeling. The action head directly translates these latent representations into action selection, while the transition head captures action-conditioned future information. To mitigate the identity shortcut, we further introduce an action-aware contrastive objective that encourages the transition representations to capture discriminative action-induced changes. Extensive experiments across offline and online GUI settings show that our method achieves up to 31.9% and 40.6% relative gains in success rate over pixel-space world models, respectively, while substantially reducing inference latency by up to 98.9%. Our code is available at https://github.com/sjyu001/latent2world.

한 줄 요약

GUI 에이전트의 성능과 추론 속도를 동시에 향상시키기 위해 잠재 공간에서 미래 정보를 예측하는 새로운 월드 모델을 제안한다.

핵심 기여도

**L1과 L2 문제 해결**: 화면 재구성의 계산 비용과 불필요한 시각 세부 정보 생성 문제를 해결.
**성능 향상**: 오프라인 및 온라인 GUI 환경에서 기존 화면 기반 월드 모델 대비 최대 31.9%와 40.6% 성공률 향상.
**추론 속도 개선**: 기존 모델 대비 최대 98.9%의 추론 지연 감소.
**Action-aware contrastive objective 도입**: 미래 상태 예측 시 현재 상태와의 유사성 최소화.

핵심 아이디어

GUI 월드 모델에서 미래 화면을 재구성하는 대신, **잠재 공간에서 미래 정보를 예측**하는 새로운 접근법을 제안한다. 기존의 "Render-and-Re-Perceive" 파이프라인은 두 단계로 구성되며, 이는 계산 비용이 높고 불필요한 시각 세부 정보를 생성하는 문제를 유발한다. 이를 해결하기 위해, **공유된 잠재 표현**을 기반으로 **두 가지 목적**(액션 선택, 미래 상태 예측)을 동시에 학습하는 방식을 채택한다.

**Action head**는 잠재 표현을 직접 액션 선택 점수로 매핑하고, **Transition head**는 액션 조건에 따른 미래 상태의 잠재 표현을 예측한다. 이 두 목적은 공유된 백본을 통해 학습되며, **action-aware contrastive objective**를 도입하여 미래 상태 예측이 현재 상태와의 유사성을 최소화하도록 유도한다. 이는 **identity shortcut 문제**를 완화하고, 실제 액션 유도 변화를 효과적으로 학습할 수 있도록 한다.

기술적 접근법

**LoRA-adapted LMM**: 대규모 다모달 모델을 LoRA 방식으로 미세 조정하여 액션별 잠재 표현 생성.
**Action head**: 각 잠재 표현을 스칼라 점수로 매핑하여 액션 선택.
**Transition head**: 관측된 액션의 잠재 표현으로부터 미래 상태의 잠재 임베딩을 예측.
**Action-aware contrastive objective**: 미래 상태 예측이 현재 상태와 무관한 다른 전이 임베딩과 분리되도록 유도.
**하이퍼파라미터**: 추론 시 transition head는 제거되고, 공유 백본과 action head만 사용하여 단일 패스로 액션 평가.

주요 결과

**AndroidControl**: 기존 화면 기반 월드 모델 대비 **31.9% 성공률 향상**.
**AITZ**: 기존 화면 기반 월드 모델 대비 **40.6% 성공률 향상**.
**추론 속도**: 기존 모델 대비 **최대 98.9%의 추론 지연 감소**.
**GUI-Odyssey**: 학습되지 않은 애플리케이션 및 장기 탐색 조건에서도 성능이 유지됨.

의의 및 한계

**의의**: 기존 화면 기반 월드 모델의 계산 비용과 불필요한 시각 정보 생성 문제를 해결하며, GUI 에이전트의 실시간 성능을 향상시킨다.
**한계**: **GUI-Odyssey**와 같은 장기 탐색 환경에서 학습되지 않은 애플리케이션에 대한 일반화 능력은 여전히 제한적일 수 있음. 또한, **LoRA 기반 미세 조정**은 모델의 전체 파라미터를 조정하지 않기 때문에, 일부 복잡한 액션 시나리오에서는 성능 저하가 발생할 수 있음.

실용적 활용

**모바일 앱 자동화**: 장기 탐색 및 복잡한 사용자 작업을 수행하는 GUI 에이전트에 적용 가능.
**접근성 지원**: 시각 및 운동 장애자, 고령자의 모바일 앱 사용을 돕는 자동화 도구 개발에 활용 가능.
**전자상거래 및 고객 지원 시스템**: 반복적이고 정형화된 작업을 자동화하여 효율성 향상.