Android in the Zoo: Chain-of-Action-Thought for GUI Agents

Large language model (LLM) leads to a surge of autonomous GUI agents for smartphone, which completes a task triggered by natural language through predicting a sequence of actions of API. Even though the task highly relies on past actions and visual observations, existing studies typically consider little semantic information carried out by intermediate screenshots and screen operations. To address this, this work presents Chain-of-Action-Thought (dubbed CoAT), which takes the description of the previous actions, the current screen, and more importantly the action thinking of what actions should be performed and the outcomes led by the chosen action. We demonstrate that, in a zero-shot setting upon three off-the-shelf LMMs, CoAT significantly improves the action prediction compared to previous proposed context modeling. To further facilitate the research in this line, we construct a dataset Android-In-The-Zoo (AitZ), which contains 18,643 screen-action pairs together with chain-of-action-thought annotations. Experiments show that fine-tuning a 1B model (i.e. AUTO-UI-base) on our AitZ dataset achieves on-par performance with CogAgent-Chat-18B.

한 줄 요약

CoAT 프레임워크와 AitZ 데이터셋을 통해 GUI 에이전트의 행동 예측 정확도를 향상시킨다.

핵심 기여도

CoAT 프레임워크를 제안하여 GUI 에이전트의 행동 예측 시 이전 행동, 화면, 행동 사유, 결과를 종합적으로 고려.
Android-In-The-Zoo (AitZ) 데이터셋을 구성, 18,643개의 화면-행동 쌍과 4가지 유형의 세부 어노테이션 포함.
1B 파라미터 모델인 AUTO-UI-base를 AitZ로 fine-tuning한 결과, CogAgent-Chat-18B와 유사한 성능 달성.
GPT-4V, Gemini-Pro-Vision, Qwen-VL-Max 모델에서 zero-shot 설정에서도 CoAT가 기존 방식보다 훨씬 높은 예측 정확도 보임.

핵심 아이디어

GUI 에이전트는 단순한 좌표 기반 행동 예측이 아닌, 행동의 의미와 결과를 이해하는 것이 중요하다. CoAT는 화면 설명, 행동 사유, 행동 대상, 행동 결과를 포함한 사고 흐름을 명시적으로 모델링함으로써, 에이전트가 인간처럼 행동을 이해하고 결정할 수 있도록 돕는다. 예를 들어, "클릭"이라는 행동이 어떤 버튼에 적용되었는지, 그 결과로 어떤 화면 전환 또는 데이터 변경이 발생하는지를 설명하는 것이 핵심이다. 이는 기존 연구가 좌표만 기반으로 했던 것과 대조된다.

기술적 접근법

**CoAT 프레임워크**: 이전 행동 설명, 현재 화면, 행동 사유, 행동 결과를 포함한 사고 흐름을 입력으로 사용.
**AitZ 데이터셋**: 70개 Android 앱에서 수집한 18,643개의 화면-행동 쌍, 4가지 어노테이션 (화면 설명, 행동 사유, 행동 대상, 행동 결과) 포함.
**모델**: GPT-4V, Gemini-Pro-Vision, Qwen-VL-Max 등 3가지 LMM에서 zero-shot 실험 수행.
**Fine-tuning**: AUTO-UI-base (1B 파라미터) 모델을 AitZ 데이터셋으로 fine-tuning하여 CogAgent-Chat-18B와 유사한 성능 달성.

주요 결과

CoAT는 GPT-4V, Gemini-Pro-Vision, Qwen-VL-Max 모델에서 기존 context modeling 방식 대비 행동 예측 정확도가 크게 향상됨.
AUTO-UI-base (1B) 모델을 AitZ로 fine-tuning한 결과, CogAgent-Chat-18B (18B) 모델과 유사한 성능 달성.
AitZ는 기존 좌표 기반 라벨 대비 4배 많은 어노테이션을 포함하여 학습 효율성 향상.

의의 및 한계

CoAT는 GUI 에이전트가 인간과 유사한 사고 과정을 모방하도록 유도하여, 행동의 의미를 이해하는 능력을 향상시킨다. AitZ는 풍부한 어노테이션을 통해 모델 학습과 평가의 신뢰도를 높인다. 그러나 CoAT는 여전히 대규모 모델에서 가장 효과적이며, 소규모 모델이 이를 완전히 학습하기 위해서는 더 많은 데이터와 최적화가 필요하다. 또한, AitZ는 Android 기반 앱에만 국한되어 있어, iOS나 웹 기반 GUI 환경으로의 확장성이 제한적일 수 있다.

실용적 활용

CoAT와 AitZ는 스마트폰 자동화, 장애인 지원 기술, RPA(Robotic Process Automation) 등에서 GUI 에이전트의 정확도와 신뢰성을 높이는 데 활용될 수 있다. 특히, AUTO-UI-base와 같은 소규모 모델이 대규모 모델과 유사한 성능을 내는 것은 산업 현장에서 비용 효율적인 솔루션을 제공한다.