DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning

Training corpuses for vision language models (VLMs) typically lack sufficient amounts of decision-centric data. This renders off-the-shelf VLMs sub-optimal for decision-making tasks such as in-the-wild device control through graphical user interfaces (GUIs). While training with static demonstrations has shown some promise, we show that such methods fall short for controlling real GUIs due to their failure to deal with real-world stochasticity and non-stationarity not captured in static observational data. This paper introduces a novel autonomous RL approach, called DigiRL, for training in-the-wild device control agents through fine-tuning a pre-trained VLM in two stages: offline RL to initialize the model, followed by offline-to-online RL. To do this, we build a scalable and parallelizable Android learning environment equipped with a VLM-based evaluator and develop a simple yet effective RL approach for learning in this domain. Our approach runs advantage-weighted RL with advantage estimators enhanced to account for stochasticity along with an automatic curriculum for deriving maximal learning signal. We demonstrate the effectiveness of DigiRL using the Android-in-the-Wild (AitW) dataset, where our 1.3B VLM trained with RL achieves a 49.5% absolute improvement -- from 17.7 to 67.2% success rate -- over supervised fine-tuning with static human demonstration data. These results significantly surpass not only the prior best agents, including AppAgent with GPT-4V (8.3% success rate) and the 17B CogAgent trained with AitW data (38.5%), but also the prior best autonomous RL approach based on filtered behavior cloning (57.8%), thereby establishing a new state-of-the-art for digital agents for in-the-wild device control.

한 줄 요약

DigiRL은 Android-in-the-Wild 데이터셋에서 67.2% 성공률을 달성하며 기존 최고 성능 모델을 28.7% 개선한 자율 강화학습 기반 디지털 에이전트 학습 프레임워크이다.

핵심 기여도

DigiRL은 오프라인 RL과 오프라인-온라인 RL의 2단계 학습을 통해 1.3B VLM을 학습시켜 67.2% 성공률 달성.
기존 최고 성능 모델인 17B CogAgent (38.5%) 대비 28.7% 개선.
기존 자율 RL 방식인 filtered behavior cloning (57.8%) 대비 9.4% 성능 향상.
64개 Android 에뮬레이터를 병렬 실행하는 학습 환경 구축.

핵심 아이디어

기존 VLM은 정적 데이터 기반 학습으로 인해 실제 GUI 제어에 필요한 동적 환경 대응 능력이 부족하다. DigiRL은 오프라인 RL로 모델을 초기화한 후, 오프라인-온라인 RL을 통해 실제 상호작용 데이터로 학습을 지속적으로 조정한다. 이는 기존 방식에서 실패하는 환경의 불확실성(stochasticity)과 비정착성(non-stationarity)을 해결하기 위함이다. 핵심적으로, advantage-weighted regression (AWR) 알고리즘에 자동 커리큘럼과 스텝 레벨 가치 함수를 결합하여, 실패 경험에서도 최적의 학습 신호를 추출한다. 이는 기존 방식에서 단순히 정적 데이터를 모방하는 것과는 차별화된다.

기술적 접근법

**학습 환경**: 64개 Android 에뮬레이터를 병렬 실행하는 학습 환경 구축.
**평가기**: VLM 기반의 일반적 평가기 (인간 판단 대비 평균 오류율 2.8%) 사용.
**알고리즘**: Advantage-weighted regression (AWR)을 기반으로, 다음과 같은 기법 적용:
**자동 커리큘럼**: instruction-level 가치 함수를 사용한 우선순위 기반 학습.
**스텝 레벨 가치 함수**: cross-entropy 손실을 통해 낮은 분산, 편향 최소화.
**학습 단계**:

1. **오프라인 RL**: 기존 데이터로 모델 초기화.
2. **오프라인-온라인 RL**: 실제 상호작용 데이터로 모델 조정.

주요 결과

**Android-in-the-Wild (AitW) 데이터셋**에서 DigiRL은 67.2% 성공률 달성.
기존 최고 성능 모델인 17B CogAgent (38.5%) 대비 **+28.7%** 개선.
기존 자율 RL 방식 (filtered behavior cloning) 대비 **+9.4%** 개선.
AppAgent (GPT-4V 기반)는 8.3% 성공률로 DigiRL 대비 **+58.9%** 개선.

의의 및 한계

DigiRL은 기존 정적 학습 방식의 한계를 극복하고, 실제 상호작용을 통해 학습하는 자율 RL 기반 디지털 에이전트 학습을 가능하게 한다. 특히, 오프라인-온라인 RL의 2단계 학습과 AWR 기반 알고리즘은 실패 경험에서도 유의미한 학습 신호를 추출할 수 있다는 점에서 학술적·실용적 가치가 크다. 그러나 학습은 AitW 데이터셋에만 제한되었으며, 더 복잡한 작업이나 장기적 학습에 대한 확장성은 아직 검증되지 않았다. 또한, 모델 크기(1.3B)는 기존 대형 모델(17B)에 비해 작아, 성능 한계가 있을 수 있다.

실용적 활용

DigiRL은 모바일 기기 자동화, 웹 기반 작업 수행, IoT 장치 제어 등 다양한 디지털 에이전트 분야에 적용 가능하다. 특히, GUI 기반 인터페이스가 필요한 자동화 작업에서 기존 정적 학습 방식을 대체할 수 있으며, 실시간 환경 변화에 대응하는 자율 학습 능력이 요구되는 산업 현장에서 유용할 것으로 기대된다.