MemGUI-Agent: An End-to-End Long-Horizon Mobile GUI Agent with Proactive Context Management

MLLM-based mobile GUI agents have made substantial progress on short-horizon tasks, yet remain unreliable on long-horizon tasks that require retaining intermediate facts across many steps and app transitions. We attribute this limitation to ReAct-style prompting, which passively accumulates per-step records, leading to prompt explosion and dilution of critical cross-app facts. To address this, we introduce MemGUI-Agent, an end-to-end long-horizon mobile GUI agent with proactive context management. MemGUI-Agent is built on Context-as-Action (ConAct), which casts context management as first-class actions emitted by the same policy that selects UI actions. Instead of passively appending history, ConAct maintains three structured context fields: folded action history, folded UI state, and recent step record, preserving critical UI facts while keeping context compact. To make proactive context management learnable across model scales, we construct MemGUI-3K, a 2,956-trajectory dataset with full ConAct annotations for supervised training and offline analysis. Training an 8B model on MemGUI-3K produces MemGUI-8B-SFT, an 8B MemGUI-Agent that achieves the best open-data 8B performance on MemGUI-Bench and generalizes to the out-of-distribution MobileWorld benchmark. Code, data, and trained models will be released at https://memgui-agent.github.io/.

한 줄 요약

MemGUI-Agent는 장기적 모바일 GUI 작업을 위해 프로액티브 컨텍스트 관리를 도입한 8B 모델 기반 에이전트이다.

핵심 기여도

ReAct 방식의 패시브 기록 축적 문제를 해결하기 위해 Context-as-Action(ConAct) 프레임워크를 제안.
ConAct는 폴드된 액션 히스토리, 폴드된 UI 상태, 최근 단계 기록의 3가지 구조화된 컨텍스트 필드를 유지.
MemGUI-3K라는 2,956개 트레이젝토리로 구성된 데이터셋을 생성하여 8B 모델을 학습.
MemGUI-8B-SFT는 MemGUI-Bench에서 최고 성능을 달성하고, MobileWorld 벤치마크에서도 일반화됨.

핵심 아이디어

기존 ReAct 방식은 단계별 기록을 패시브하게 누적함으로써 컨텍스트가 불필요하게 길어지고 핵심 정보가 희석된다. 이에 반해, MemGUI-Agent는 컨텍스트 관리를 UI 액션 선택과 동일한 정책에서 생성되는 '액션'으로 정의한다. 이를 통해 컨텍스트를 구조화하고, 핵심 정보만 유지함으로써 장기적 작업에서도 효율성을 확보한다. ConAct는 폴드된 액션 히스토리와 UI 상태를 통해 정보를 압축적으로 유지하며, 최근 단계 기록은 단기적인 컨텍스트를 보존한다.

기술적 접근법

Context-as-Action(ConAct) 프레임워크를 도입하여 컨텍스트 관리를 정책 기반의 액션으로 정의.
3가지 구조화된 컨텍스트 필드: folded action history, folded UI state, recent step record.
MemGUI-3K 데이터셋(2,956개 트레이젝토리)을 사용한 8B 모델의 지도 학습.
학습된 모델은 MemGUI-8B-SFT로 명명됨.

주요 결과

MemGUI-8B-SFT는 MemGUI-Bench에서 최고 성능을 달성.
MobileWorld 벤치마크에서 out-of-distribution 환경에서도 일반화됨.
ReAct 방식 대비 컨텍스트 관리 효율성과 장기 기억 유지 능력 향상.

의의 및 한계

MemGUI-Agent는 장기적 모바일 GUI 작업에서의 컨텍스트 관리 문제를 해결하고, 대규모 모델 학습을 가능하게 함으로써 MLLM 기반 에이전트의 한계를 극복한다. 그러나 학습에 사용된 데이터셋(MemGUI-3K)은 특정 범위 내의 작업에만 제한될 수 있으며, 실제 앱 환경에서의 동작 검증이 추가적으로 필요하다.

실용적 활용

MemGUI-Agent는 장기적 사용자 인터페이스 자동화, 모바일 앱 테스팅, 또는 복잡한 작업 흐름을 처리하는 에이전트 개발에 활용될 수 있다. 특히, 앱 간 전환과 다단계 작업이 필요한 시나리오에서 유용하다.