AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents

Autonomous agents that address day-to-day digital tasks (e.g., ordering groceries for a household), must not only operate multiple apps (e.g., notes, messaging, shopping app) via APIs, but also generate rich code with complex control flow in an iterative manner based on their interaction with the environment. However, existing benchmarks for tool use are inadequate, as they only cover tasks that require a simple sequence of API calls. To remedy this gap, we built $\textbf{AppWorld Engine}$, a high-quality execution environment (60K lines of code) of 9 day-to-day apps operable via 457 APIs and populated with realistic digital activities simulating the lives of ~100 fictitious users. We then created $\textbf{AppWorld Benchmark}$ (40K lines of code), a suite of 750 natural, diverse, and challenging autonomous agent tasks requiring rich and interactive code generation. It supports robust programmatic evaluation with state-based unit tests, allowing for different ways of completing a task while also checking for unexpected changes, i.e., collateral damage. The state-of-the-art LLM, GPT-4o, solves only ~49% of our 'normal' tasks and ~30% of 'challenge' tasks, while other models solve at least 16% fewer. This highlights the benchmark's difficulty and AppWorld's potential to push the frontiers of interactive coding agents. The project website is available at https://appworld.dev/.

한 줄 요약

AppWorld는 일상 디지털 작업 자동화를 위한 대규모 API 기반 인터랙티브 코딩 에이전트 벤치마크 및 실행 환경을 제공한다.

핵심 기여도

AppWorld Engine: 9개 일상 앱, 457개 API, 100명 가상 사용자 시뮬레이션, 60K 라인의 코드로 구성된 고품질 실행 환경 구축.
AppWorld Benchmark: 750개 자연스럽고 다양한 자율 에이전트 작업, 40K 라인의 코드로 구성된 코딩 기반 평가 시스템 개발.
GPT-4o가 'normal' 작업에서 49%, 'challenge' 작업에서 30%만 해결하며, 기존 모델은 최소 16% 낮은 성능을 보임.
상태 기반 단위 테스트를 통해 다양한 해결 방법을 허용하면서 부작용을 체계적으로 평가하는 프로그래밍 평가 방식 제시.

핵심 아이디어

기존 벤치마크는 단순한 API 호출 시퀀스만 다루며, 복잡한 제어 흐름과 반복적 환경 상호작용을 요구하는 작업을 처리하지 못한다. AppWorld는 이 문제를 해결하기 위해 실제 디지털 환경을 시뮬레이션하는 AppWorld Engine과 이를 기반으로 한 AppWorld Benchmark를 제시한다. 특히, AppWorld Benchmark는 다양한 해결 방법을 허용하면서도 부작용을 체계적으로 평가하는 **상태 기반 단위 테스트**(state-based unit tests)를 도입하여, 기존의 단순한 과정 비교 방식과 차별화된다. 예를 들어, "운동 시간에 맞는 플레이리스트 생성" 작업은 여러 API를 사용한 반복적 코드 생성과 제어 흐름을 요구하며, 이는 기존 시스템이 처리하지 못하는 복잡한 작업이다.

기술적 접근법

**AppWorld Engine**: 9개 앱, 457개 API, 100명의 가상 사용자로 구성된 실행 환경.
**AppWorld Benchmark**: 750개의 다양한 작업, 40K 라인의 코드로 구성.
**평가 방법**: 상태 기반 단위 테스트를 사용하여 최종 데이터베이스 상태(D_i^f)가 유효한 목표 상태 집합(𝒟_i^*)에 포함되는지 확인.
**D_i^Δ**: 시작 상태(D_i^s)와 최종 상태 간의 작은 차이를 기록한 데이터베이스 diff.
**C_i^expect, C_i^allow**: 예상되는 변경사항과 허용 가능한 변경사항을 정의하여 평가.
**모델**: ReAct, PlanExec, FullCodeRefl, IPFunCall, ToolLLaMA, CodeAct 등 다양한 코딩 기반 에이전트 평가.

주요 결과

GPT-4o가 'normal' 작업에서 49%, 'challenge' 작업에서 30%만 해결.
다른 모델은 최소 16% 낮은 성능. 예: FullCodeRefl + LLaMA3는 Test-N에서 24.4%, Test-C에서 7.0%만 해결.
CodeAct와 ToolLLaMA는 모든 작업에서 실패.
작업 난이도가 증가할수록 성능 감소: ReAct가 난이도 1에서 58.3% → 난이도 3에서 21.0%로 급락.
60라인 이상의 코드가 필요한 작업에서는 TGC가 20% 미만.

의의 및 한계

AppWorld는 디지털 환경에서 자율 에이전트를 평가하기 위한 **통합적이고 재현 가능한 실행 환경**을 제공하며, 기존 벤치마크가 부족했던 복잡성과 상호작용성을 충족한다. 특히, 상태 기반 평가 방식은 다양한 해결 방법을 허용하면서 부작용을 체계적으로 평가할 수 있어, 실제 세계에서의 안정성과 신뢰성을 평가하는 데 유용하다. 그러나 AppWorld는 아직 UI 기반 제어나 다중 에이전트 협업을 지원하지 않으며, 프라이버시 및 안전성 문제를 연구하기 위한 확장 가능성은 제시되었으나 구현은 미흡하다.

실용적 활용

AppWorld는 가정용 디지털 작업 자동화, 스마트 홈 관리, 개인화된 콘텐츠 추천 시스템 등에서 자율 에이전트의 성능을 평가하는 데 활용될 수 있다. 또한, 디지털 보조 서비스의 안정성과 신뢰성을 테스트하는 데 사용할 수 있으며, LLM 기반 자동화 시스템의 개선 방향을 제시하는 연구 도구로도 활용 가능하다.