MobilePA-Bench: Benchmarking Mobile Planner Agents on Complex Real-World Tasks
Yi Zhu, Xiongwei Wu, Qiyi Wang, Tingyu Qu, Jiajun Liu, Sihan Cao, Long Chen, Weigao Sun, Feida Zhu, Yiran Zhong, Steven Hoi
arXiv:2608.23035 · 2026-08-25 공개 · arXiv · PDF
reinforcement-learning llm-evaluation tool-calling function-calling skill-usage executable-sandbox planning-benchmark function-calling-sandbox
Abstract
As on-device LLM agents evolve into personal copilots, the mobile operating system has become a key testbed for this paradigm, making rigorous capability evaluation essential. Yet existing benchmarks fall into two camps, each with a critical blind spot: GUI-centric benchmarks test surface-level screen manipulation while overlooking background tool use and long-horizon planning, whereas static function-calling benchmarks rely on offline API matching that is detached from real runtime constraints. To close this gap, we present MobilePA-Bench, an interactive, stateful, and tool-centric benchmark for evaluating the tool-calling and planning abilities of mobile planning agents. MobilePA-Bench runs on an executable sandbox that maintains live application databases and returns structured feedback, spanning 13 functional domains and 212 realistic mobile tools. Beyond basic tool use, it evaluates a central planning agent along three advanced dimensions: (1)~Sub-agent Collaboration---decomposing a complex task and delegating specialized work to capable sub-agents; (2)~Memory Usage---recalling stored memories, user profiles, and past preferences to resolve implicit requests; and (3)~Skill Usage---invoking pre-packaged composite skills instead of planning every step from scratch. Extensive experiments show that current frontier LLMs remain unreliable in mobile settings: performance drops sharply under strict tool ordering, permission limits, and unexpected runtime errors. By pairing an interactive function-calling sandbox with evidence-based verification, MobilePA-Bench serves as both a practical diagnostic benchmark and an interactive foundation for agentic reinforcement learning---accelerating the development of dependable mobile agents.
한국어 요약
한 줄 요약
MobilePA-Bench는 모바일 환경에서 LLM 에이전트의 도구 사용 및 계획 능력을 종합적으로 평가하는 대규모 벤치마크이다.
핵심 기여도
- 1,705개의 실제 사용자 작업을 포함한 13개 기능 영역과 212개의 실제 도구를 기반으로 한 종합적 평가 프레임워크 제시.
- Basic Tool Use, Sub-agent Collaboration, Memory Usage, Skill Usage의 4가지 핵심 능력 차원을 평가하는 체계적인 벤치마크 설계.
- 실행 가능한 샌드박스 환경을 통해 실시간 상태 변화와 권한 제약을 반영한 평가 수행.
- 최고 성능 모델(Qwen-3.8-Max)이 Memory Usage에서 64.63%에 불과한 점을 통해 모바일 에이전트의 신뢰성 한계를 실증.
핵심 아이디어
기존 모바일 에이전트 평가 방식은 GUI 중심 또는 정적 함수 호출 중심으로 한계가 있었다. MobilePA-Bench는 이 두 접근의 단점을 보완하여, 실제 실행 환경에서의 도구 사용, 기억력 활용, 하위 에이전트 협업, 복합 기술 실행을 종합적으로 평가하는 새로운 벤치마크를 제안한다. 특히, Sub-agent Collaboration은 GUI 하위 에이전트에 작업을 위임하는 능력을, Memory Usage는 사용자 프로필과 과거 선호도를 기반으로 암시적 요청을 해결하는 능력을 평가한다. Skill Usage는 복합적인 다단계 작업을 미리 패키징된 기술로 실행하는 능력을 평가하며, 이는 오류 누적을 줄이는 핵심 요소로 작용한다.
기술적 접근법
- **MobilePA-Bench**는 실행 가능한 샌드박스 환경에서 동작하며, 실시간 애플리케이션 데이터베이스를 유지하고 구조화된 피드백을 제공한다.
- 13개 기능 영역과 212개 실제 도구를 포함한 1,705개의 사용자 작업을 기반으로 평가.
- 4가지 핵심 능력 차원(Basic Tool Use, Sub-agent Collaboration, Memory Usage, Skill Usage)을 평가하며, 각 차원별 가중치를 고려한 종합 점수 계산.
- Qwen3.6-27B 모델을 기준으로 3회 반복 실험을 통해 점수의 안정성을 검증 (전체 점수 표준편차 0.5% 미만).
주요 결과
- 최고 성능 모델(Qwen-3.8-Max)이 Memory Usage에서 64.63%에 그침.
- 전체 평가 점수 최고치는 75.52%로, 모바일 환경에서의 신뢰성 부족이 드러남.
- Sub-agent Collaboration은 89개 작업 중 2개만 다른 결과를 보이며, 최대 2.25%의 변동 발생.
- Basic Tool Use, Memory Usage, Skill Usage의 표준편차는 1% 미만으로, 평가의 일관성과 안정성 확인.
의의 및 한계
MobilePA-Bench는 모바일 에이전트의 종합적 평가 기준을 제시하며, 기존 정적/시각 중심 평가 방식의 한계를 극복한다. 특히, 실시간 실행 환경과 권한 제약을 반영한 샌드박스를 통해 실제 사용 환경에 가까운 평가가 가능하다. 그러나, 모든 사용자 작업이 실제 모바일 환경에서 완벽히 재현되지 않을 가능성, 특정 도구에 대한 의존도가 높을 수 있는 점은 한계로 지적된다. 또한, 모델이 실행 중 오류 발생 시 적절한 대응 전략을 갖추지 못하는 문제가 여전히 존재한다.
실용적 활용
MobilePA-Bench는 모바일 에이전트의 신뢰성 향상을 위한 학습 및 훈련 기반으로 활용될 수 있다. 특히, 강화 학습 기반의 에이전트 개발, 사용자 맞춤형 기억력 활용 시스템, 복합 작업 자동화 도구 개발 등에 적용 가능하다. 산업적으로는 스마트폰 개인 보조, 자동화된 여행 계획, 의료 정보 관리 시스템 등에 활용 가능하다.