Plan-and-Act: Improving Planning of Agents for Long-Horizon Tasks

Large language models (LLMs) have shown remarkable advancements in enabling language agents to tackle simple tasks. However, applying them for complex, multi-step, long-horizon tasks remains a challenge. Recent work have found success by separating high-level planning from low-level execution, which enables the model to effectively balance high-level planning objectives and low-level execution details. However, generating accurate plans remains difficult since LLMs are not inherently trained for this task. To address this, we propose Plan-and-Act, a novel framework that incorporates explicit planning into LLM-based agents and introduces a scalable method to enhance plan generation through a novel synthetic data generation method. Plan-and-Act consists of a Planner model which generates structured, high-level plans to achieve user goals, and an Executor model that translates these plans into environment-specific actions. To train the Planner effectively, we introduce a synthetic data generation method that annotates ground-truth trajectories with feasible plans, augmented with diverse and extensive examples to enhance generalization. We evaluate Plan-and-Act using web navigation as a representative long-horizon planning environment, demonstrating a state-of-the-art 57.58% success rate on the WebArena-Lite benchmark as well as a text-only state-of-the-art 81.36% success rate on WebVoyager.

한 줄 요약

Plan-and-Act는 LLM 기반 에이전트의 장기적 계획 능력을 향상시키기 위해 Planner와 Executor 모듈을 분리하고, 합성 데이터 생성을 통해 성능을 개선한 프레임워크이다.

핵심 기여도

Planner와 Executor 모듈을 분리하여 고수준 계획과 저수준 실행을 분리함.
합성 데이터 생성 파이프라인을 도입하여 Planner 모델을 효과적으로 훈련함.
WebArena-Lite에서 57.58%의 성공률을 달성함.
WebVoyager에서 텍스트 기반 환경에서 81.36%의 성공률을 달성함.

핵심 아이디어

기존 LLM 기반 에이전트는 단일 모델이 고수준 전략과 저수준 실행을 동시에 처리해야 하므로, 복잡한 장기적 작업에서 성능 저하가 발생한다. Plan-and-Act는 이 문제를 해결하기 위해 Planner와 Executor를 분리하는 이중 모듈 구조를 도입한다. Planner는 사용자 요청을 구조화된 계획으로 분해하고, Executor는 이를 환경에 맞는 구체적 행동으로 변환한다. 이는 ReAct와 같은 기존 방법과 달리, 계획 생성과 실행을 명확히 분리하여 에이전트의 일관성과 적응성을 향상시킨다.

또한, 합성 데이터 생성 파이프라인을 통해 Planner의 훈련 데이터를 확장한다. GPT-4o를 사용해 1시간 이내에 15,000개의 합성 예시를 생성함으로써, 실제 환경에서의 데이터 수집에 비해 훨씬 효율적인 훈련이 가능하다.

기술적 접근법

**Planner 모듈**: 사용자 요청을 구조화된 고수준 계획으로 분해.
**Executor 모듈**: 환경에 맞는 구체적 행동으로 계획을 실행.
**합성 데이터 생성 파이프라인**:
Grounded Plan Generation: 성공한 행동 궤적을 분석해 고수준 계획 생성.
Plan Expansion: 초기 계획을 기반으로 다양한 예시를 합성적으로 생성.
**훈련 방법**: 합성 데이터를 사용한 지도 학습(Supervised Fine-tuning).
**실험 환경**: WebArena-Lite, WebVoyager.

주요 결과

WebArena-Lite에서 57.58%의 성공률 달성 (기존 최고 성능).
WebVoyager에서 텍스트 기반 환경에서 81.36%의 성공률 달성 (기존 최고 성능).
GPT-4o를 사용한 합성 데이터 생성으로 1시간 내 15,000개의 예시 생성.

의의 및 한계

Plan-and-Act는 LLM 기반 에이전트의 장기적 계획 능력을 향상시키는 데 기여하며, 특히 합성 데이터 생성을 통해 훈련 효율성을 높이는 점에서 학술적·실용적 가치가 있다. 모듈화된 구조는 향후 Executor 개선이나 다중 모달 입력 통합 등 다양한 연구 방향성을 열어준다.

하지만, 합성 데이터 생성은 성공적인 기반 모델이 필요하며, WebVoyager처럼 훈련 데이터가 없는 경우 이에 의존해야 한다는 한계가 있다. 또한, 현재는 매 행동마다 동적 재계획(Dynamic Replanning)을 수행하여 성능 저하가 발생할 수 있다.

실용적 활용

Plan-and-Act는 웹 탐색 외에도 장기적 결정이 필요한 디지털 환경, 예를 들어, 자동화된 고객 서비스, 장기적인 시스템 관리, 복잡한 게임 플레이 등에 적용 가능하다. 모듈화된 설계는 각 모듈을 독립적으로 개선할 수 있어, 다양한 산업 분야에서의 실용성 향상이 기대된다.