AndroidWorld: A Dynamic Benchmarking Environment for Autonomous Agents

Autonomous agents that execute human tasks by controlling computers can enhance human productivity and application accessibility. However, progress in this field will be driven by realistic and reproducible benchmarks. We present AndroidWorld, a fully functional Android environment that provides reward signals for 116 programmatic tasks across 20 real-world Android apps. Unlike existing interactive environments, which provide a static test set, AndroidWorld dynamically constructs tasks that are parameterized and expressed in natural language in unlimited ways, thus enabling testing on a much larger and more realistic suite of tasks. To ensure reproducibility, each task includes dedicated initialization, success-checking, and tear-down logic, which modifies and inspects the device's system state. We experiment with baseline agents to test AndroidWorld and provide initial results on the benchmark. Our best agent can complete 30.6% of AndroidWorld's tasks, leaving ample room for future work. Furthermore, we adapt a popular desktop web agent to work on Android, which we find to be less effective on mobile, suggesting future research is needed to achieve universal, cross-platform agents. Finally, we also conduct a robustness analysis, showing that task variations can significantly affect agent performance, demonstrating that without such testing, agent performance metrics may not fully reflect practical challenges. AndroidWorld and the experiments in this paper are available at github.com/google-research/android_world.

한 줄 요약

AndroidWorld는 20개의 실제 Android 앱에서 116개의 프로그래밍 작업을 테스트하는 동적 벤치마크 환경이다.

핵심 기여도

AndroidWorld는 20개의 실제 Android 앱에서 116개의 작업을 지원하며, 각 작업은 랜덤 파라미터로 동적으로 생성된다.
M3A라는 멀티모달 에이전트를 제시하고, AndroidWorld에서 30.6%의 성공률을 달성했다.
웹 기반 에이전트(예: SeeAct)는 모바일 환경에서 효과적이지 않음을 보여, 크로스 플랫폼 에이전트 연구 필요성을 제기했다.
작업 파라미터 변화에 따른 에이전트 성능 변동을 분석하여, 실용적 평가의 중요성을 강조했다.

핵심 아이디어

AndroidWorld는 기존의 정적 테스트 환경과 달리, 자연어로 표현된 작업을 무한히 다양한 방식으로 파라미터화하여 동적으로 생성한다. 이는 실제 사용 환경에 가까운 테스트를 가능하게 하며, Android OS의 상태 관리 기능을 활용해 보다 신뢰성 있는 보상 신호(reward signal)를 제공한다. 예를 들어, "Jane에게 도착한다는 메시지를 보내라"는 작업이 랜덤한 이름과 메시지로 생성되며, AndroidWorld는 시스템 상태를 수정하고 검증하는 초기화, 성공 확인, 종료 로직을 포함한다. 이는 기존의 MiniWoB++와 같은 웹 기반 환경이 아닌, 실제 Android 앱을 기반으로 한 테스트를 가능하게 한다.

기술적 접근법

AndroidWorld는 AndroidEnv라는 Python 라이브러리를 사용해 Android Emulator와 연결된다.
116개의 작업은 20개의 실제 Android 앱에서 파생되며, 각 작업은 랜덤 파라미터로 생성된다.
M3A(Multimodal Autonomous Agent for Android)는 AndroidWorld에서 테스트되며, 멀티모달 입력(텍스트 + 이미지)과 텍스트만 입력을 비교한다.
M3A는 30.6%의 작업 성공률을 달성했으며, 웹 기반 SeeAct는 30.6%보다 낮은 성능을 보였다.
SeeAct는 모바일 특화 작업(예: 롱프레스, 스와이프)을 처리하지 못하고, 메모리 집약적 작업에서 반복적 행동을 보인다.

주요 결과

M3A는 AndroidWorld의 116개 작업 중 30.6%를 성공적으로 완료했다.
SeeAct는 AndroidWorld에서 30.6%보다 낮은 성능을 보이며, 웹 기반 에이전트의 모바일 적응성 한계를 드러냈다.
M3A는 텍스트만 입력 버전이 2.5분, 멀티모달 버전이 평균 3.9분에 작업을 완료했다.
인간의 성공률은 80.0%로, M3A보다 49.4% 높아 개선 여지가 크다.

의의 및 한계

AndroidWorld는 모바일 환경에서 자율 에이전트를 평가할 수 있는 첫 번째 동적 벤치마크로, 20개의 실제 앱과 116개의 작업을 통해 실용성을 높였다. 특히, 랜덤 파라미터를 사용한 작업 생성은 에이전트의 일반화 능력을 평가하는 데 기여한다. 그러나 M3A의 30.6% 성공률은 인간의 80.0%에 비해 낮아, 모바일 UI 이해와 오류 회복 능력 향상이 필요하다. 또한, 대규모 기초 모델은 평균 3배의 지연 시간을 보이며, 실시간 작업 처리에 어려움이 있다.

실용적 활용

AndroidWorld는 모바일 자동화 에이전트 연구, 특히 UI 이해와 실시간 작업 수행 능력을 개선하는 알고리즘 개발에 활용될 수 있다. 또한, 웹 기반 에이전트의 모바일 적응성 테스트와 크로스 플랫폼 에이전트 연구에도 기여할 수 있다.