Agent S: An Open Agentic Framework that Uses Computers Like a Human

We present Agent S, an open agentic framework that enables autonomous interaction with computers through a Graphical User Interface (GUI), aimed at transforming human-computer interaction by automating complex, multi-step tasks. Agent S aims to address three key challenges in automating computer tasks: acquiring domain-specific knowledge, planning over long task horizons, and handling dynamic, non-uniform interfaces. To this end, Agent S introduces experience-augmented hierarchical planning, which learns from external knowledge search and internal experience retrieval at multiple levels, facilitating efficient task planning and subtask execution. In addition, it employs an Agent-Computer Interface (ACI) to better elicit the reasoning and control capabilities of GUI agents based on Multimodal Large Language Models (MLLMs). Evaluation on the OSWorld benchmark shows that Agent S outperforms the baseline by 9.37% on success rate (an 83.6% relative improvement) and achieves a new state-of-the-art. Comprehensive analysis highlights the effectiveness of individual components and provides insights for future improvements. Furthermore, Agent S demonstrates broad generalizability to different operating systems on a newly-released WindowsAgentArena benchmark. Code available at https://github.com/simular-ai/Agent-S.

한 줄 요약

Agent S는 GUI 기반 컴퓨터 작업 자동화를 위한 오픈 소스 에이전트 프레임워크로, 경험 증강 계층적 계획과 ACI를 통해 OSWorld 벤치마크에서 기존 기준 대비 83.6% 상대 개선을 달성했다.

핵심 기여도

경험 증강 계층적 계획(Experience-Augmented Hierarchical Planning)을 도입하여 복잡한 작업을 구조화된 하위 작업으로 분해.
Agent-Computer Interface(ACI)를 통해 MLLM 기반 에이전트의 추론 능력과 제어 정확도를 향상.
OSWorld 벤치마크에서 성공률 20.58% 달성 (기존 11.21% 대비 83.6% 상대 개선).
WindowsAgentArena 벤치마크에서도 18.2% 성공률 달성 (기존 13.3% 대비 36.8% 상대 개선).

핵심 아이디어

Agent S는 인간처럼 컴퓨터를 조작할 수 있는 GUI 에이전트를 구축하기 위해, 경험 기반 학습과 계층적 계획을 결합한 새로운 접근법을 제시한다. 기존 에이전트는 작업 범위가 제한적이고, 동적 인터페이스를 처리하는 데 어려움이 있었으나, Agent S는 외부 웹 지식과 내부 기억(에피소드 메모리, 서사 메모리)을 활용하여 작업을 계획하고 실행한다. 특히, Experience-Augmented Hierarchical Planning은 복잡한 작업을 구조화된 하위 작업으로 분해하고, 각 단계에서 경험을 기반으로 동적으로 조정함으로써 장기적 작업 흐름을 모델링한다. ACI는 시각 입력과 접근성 트리 정보를 결합하여 MLLM이 정확한 UI 요소를 인식하고, 언어 기반 원시 동작(예: `click(element_id)`)을 통해 안전하고 효율적으로 작업을 수행할 수 있도록 한다.

기술적 접근법

**Experience-Augmented Hierarchical Planning**: 외부 웹 지식과 내부 메모리(서사 메모리, 에피소드 메모리)를 활용한 계층적 작업 계획.
**Agent-Computer Interface (ACI)**: 시각 입력과 접근성 트리 정보를 결합한 이중 입력 전략, 언어 기반 원시 동작(예: `click`, `type`)을 사용.
**Self-Supervised Exploration & Continual Memory Update**: 초기 탐색 단계와 지속적인 메모리 업데이트를 통해 경험을 수집하고 요약.
**Self-Evaluator**: 경험을 요약하여 저장, 전체 트레이젝토리 대신 요약 정보를 사용해 계획 품질 향상.
**GPT-4o 모델 사용**: 모든 실험에서 GPT-4o를 LLM 백본으로 사용.

주요 결과

**OSWorld 벤치마크**: Agent S는 기존 기준 대비 9.37% 절대 개선 (11.21% → 20.58%), 상대 개선 83.6%.
**WindowsAgentArena 벤치마크**: 기존 13.3% 대비 4.9% 절대 개선 (18.2%), 상대 개선 36.8%.
**Ablation Study**: ACI 제거 시 성능 26.15% → 20.00% 감소, 경험 학습 제거 시 성능 20.58% → 11.21% 감소.
**Memory 구성 요소**: 자기 평가기(Self-Evaluator) 제거 시 성능 감소, 탐색 단계 제거 시 더 큰 성능 저하 발생.

의의 및 한계

Agent S는 GUI 에이전트의 작업 자동화 분야에서 중요한 발전을 이끌어냈다. 특히, 경험 기반 학습과 ACI를 결합한 방식은 MLLM 기반 에이전트의 추론 능력과 제어 정확도를 동시에 향상시키는 데 기여했다. OSWorld와 WindowsAgentArena 벤치마크에서의 성능 개선은 Agent S의 일반화 능력을 입증하며, 다양한 운영 체제 환경에서의 적용 가능성을 제시한다. 그러나, 작업 완료에 필요한 단계 수와 실제 시간(월클록 시간)에 대한 평가가 부재하며, 이는 향후 연구에서 보완되어야 할 한계이다. 또한, 현재는 GPT-4o와 Claude-3.5-sonnet 모델에 의존하고 있어, 더 작고 오픈소스 MLLM 모델로의 확장 가능성도 제한적이다.

실용적 활용

Agent S는 데이터 입력, 일정 조정, 문서 생성 등 개인 사용자의 일상 작업 자동화뿐만 아니라, 기업의 운영 효율성 향상에도 활용 가능하다. 특히, 장애인 사용자에게는 기술 접근성을 높이는 데 기여할 수 있으며, 다양한 운영 체제 환경에서의 일반화 능력은 IT 관리 및 자동화 도구 개발에도 유용하다.