Are Android GUI Agents Robust Against Runtime Anomalies? AnTrap: Evaluating Agents in Dynamic Adversarial Environments

GUI agents often encounter dynamic anomalies when deployed on Android devices, from unexpected pop-ups to action misuse, yet existing benchmarks lack systematic evaluation of agent robustness against runtime anomalies. We introduce AnTrap, a comprehensive benchmark that injects dynamic perturbations into agent execution trajectories. We propose a taxonomy organizing real-world anomalies into four layers (State, Thinking, Action and Round) with ten fine-grained subcategories, and develop a construction pipeline that preserves task solvability while introducing realistic adversarial conditions. Evaluating 16 leading GUI models, we reveal universal vulnerability to dynamic anomalies, with even the strongest models suffering significant performance degradation. Furthermore, we conduct GRPO training in both original and adversarial environments to validate our benchmark, separating environment-learnable anomalies from reasoning-bottlenecked ones. Our findings show that while single-step traps at state and action layers are largely addressable through adversarial reinforcement learning, deep contextual traps, like state deadlock, expose intrinsic limitations that cannot be resolved by training in environments with traps alone.

한 줄 요약

AnTrap은 안드로이드 GUI 에이전트의 런타임 이상 상황에서의 회복력을 체계적으로 평가하는 벤치마크로, 16개 모델이 다양한 이상 상황에 취약함을 밝혀냈다.

핵심 기여도

STAR(상태, 사고, 행동, 라운드) 4계층, 10개 세부 분류로 구성된 런타임 이상 분류 체계 제안.
AnTrap 벤치마크를 통해 16개 GUI 모델이 런타임 이상 상황에서 평균 6~8% 성능 저하를 보임.
GRPO(그룹 상대 정책 최적화)를 통해 단계별 이상 상황의 학습 가능성과 한계를 구분.
상태 및 행동 계층의 단일 스텝 이상은 적대적 강화 학습으로 개선 가능하지만, 다중 스텝 컨텍스트 트랩(예: 루프)은 개선 효과 미미.

핵심 아이디어

기존 연구는 안드로이드 GUI 에이전트의 런타임 이상 상황에서의 회복력 평가가 부족했으며, 정적 또는 단일 스텝 기반의 테스트만 제공했다. AnTrap은 동적 환경에서 실시간으로 이상을 주입하며, STAR(상태, 사고, 행동, 라운드) 4계층과 10개 세부 분류로 이상을 체계적으로 정의한다. 이는 실제 사용 환경에서 발생하는 다양한 이상 상황을 반영하며, 에이전트가 이에 어떻게 대응하는지를 평가할 수 있도록 한다. 특히, AnTrap은 GUI 작업의 완료 가능성은 유지하면서도, 적대적 조건을 반영한 작업 생성 파이프라인을 통해 현실적인 평가 환경을 구축한다.

기술적 접근법

AnTrap은 AndroidWorld 기반의 236개 작업을 포함한 동적 환경에서 런타임 이상을 주입.
STAR(상태, 사고, 행동, 라운드) 4계층과 10개 세부 분류로 이상을 정의.
GRPO(그룹 상대 정책 최적화) 알고리즘을 사용하여 원본 및 적대적 환경에서 학습 효과를 비교.
실험 환경: 8개 Android 에뮬레이터 병렬 실행, Android API Level 33 기반, trap seed 42, task seed 30 고정.
각 에피소드당 1개 이상 이벤트 주입, trap 발생 확률 $ p_{\text{trap}} = 0.16 $.

주요 결과

GUI-Owl-7B: 원본 작업에서 63.1% → 69.9% (GRPO로 +6.8%), 적대적 작업에서 S-레이어 +8.1%, A-레이어 +8.5%.
UI-TARS-7B: 원본 작업에서 29.7% → 36.0% (GRPO로 +6.3%), 적대적 작업에서 T-레이어 +4.2%, R-레이어 +0.9% 미만.
R-레이어(다중 스텝 컨텍스트 트랩)는 대부분 +3.0% 미만 개선, Loop 트랩은 +1.0% 미만.
적대적 강화 학습은 상태 및 행동 레이어의 단일 스텝 이상은 개선 가능하지만, 컨텍스트 기반 트랩은 개선 효과 미미.

의의 및 한계

AnTrap은 안드로이드 GUI 에이전트의 런타임 이상 회복력 평가를 체계화한 첫 번째 벤치마크로, 16개 모델이 다양한 이상 상황에 취약함을 밝혀내어 학술적 기반을 제공한다. 특히, 적대적 강화 학습이 단계별 이상에 효과적임을 보여주며, 향후 에이전트 설계 방향을 제시한다. 그러나 다중 스텝 컨텍스트 트랩(예: 루프)은 단순한 환경 학습으로 해결하기 어렵고, 메타-인지적, 장기적 자기 모니터링 능력이 필요하다는 한계를 드러낸다. 또한, AnTrap은 특정 작업 집합에 기반하므로, 보다 다양한 작업과 환경에서의 평가가 필요하다.

실용적 활용

AnTrap은 안드로이드 기반 자동화 작업, 모바일 UI 테스팅, 자율 로봇 제어 등에서 에이전트의 실시간 이상 회복력을 평가하는 데 활용 가능하다. 특히, UI-TARS, GUI-Owl과 같은 대규모 모델의 안정성 향상 및 실무 적용 전 사전 평가에 유용하다.