한 줄 요약
TravelPlanner는 실제 여행 계획을 기반으로 언어 에이전트의 복잡한 계획 능력을 평가하는 새로운 벤치마크로, GPT-4조차 0.6%의 성공률에 그친다.
핵심 기여도
- TravelPlanner는 1,225개의 정제된 여행 계획 의도와 400만 개 이상의 데이터를 포함한 실제 세계 계획 벤치마크를 제시.
- GPT-4, Gemini, Mixtral 등 최신 언어 모델이 0.6% 미만의 성공률을 기록하며 복잡한 계획 능력 부족을 드러냄.
- ReAct, Reflexion과 같은 기존 계획 전략이 TravelPlanner의 다중 제약 조건을 처리하지 못함.
- 언어 에이전트가 자동으로 1~2분 내 계획을 생성할 수 있다는 장점을 제시.
핵심 아이디어
TravelPlanner는 인간과 유사한 복잡한 환경에서 계획을 수행하는 능력을 평가하기 위해 설계된 벤치마크이다. 기존 AI 에이전트는 단일 목표 최적화에 집중했지만, TravelPlanner는 다양한 제약 조건과 현실적인 상황을 반영한 다차원 계획을 요구한다. 이는 LLM 기반 언어 에이전트가 인간 수준의 계획 능력을 갖추기 위해 해결해야 할 핵심 과제를 드러낸다. 특히, ReAct와 같은 툴 활용 기반의 전략이 복잡한 제약을 처리하지 못하는 한계를 보여주며, 보다 정교한 계획 전략이 필요함을 시사한다.
기술적 접근법
TravelPlanner는 6개의 툴을 통해 약 400만 개의 인터넷 데이터를 접근할 수 있는 환경을 제공하며, 1,225개의 사용자 쿼리와 참조 계획을 포함한다. 평가 시, GPT-4-Turbo를 사용하여 계획 요소(교통, 음식점, 관광지, 숙소)를 추출하고, 이를 구조화하여 자동 평가 스크립트로 검증한다. 평가 지표는 Delivery Rate, Commonsense Constraint Pass Rate, Hard Constraint Pass Rate, Final Pass Rate로 구성되며, 각각 30단계 내 계획 완성 여부, 상식적 제약 준수, 명시적 제약 준수, 전체 제약 준수 비율을 측정한다.
주요 결과
- GPT-4는 TravelPlanner에서 Final Pass Rate 0.6%를 기록하며, 다른 LLM들은 0%에 머무름.
- ReAct, Reflexion과 같은 기존 전략은 복잡한 제약 조건을 처리하지 못하며, 툴 사용 오류, 데드로우, 홀로겐 등 실패 모드가 다수 발생.
- 인간은 평균 12분이 걸리는 작업을 언어 에이전트는 1~2분 내 자동 생성 가능.
의의 및 한계
TravelPlanner는 언어 에이전트가 인간 수준의 복잡한 계획 능력을 갖추기 위해 해결해야 할 핵심 과제를 명확히 제시하며, 향후 연구의 기준이 될 수 있는 의미 있는 테스트베드이다. 그러나 현재 언어 에이전트는 제약 조건을 통합적으로 처리하지 못하며, 툴 사용과 추론 과정에서 자주 실패한다. 또한, 벤치마크는 현실적인 환경을 반영하지만, 일부 환경 제약은 평가에 반영되지 않아 한계가 있다.
실용적 활용
TravelPlanner는 여행 계획 외에도 다양한 실제 세계 계획 문제(예: 이사 계획, 프로젝트 일정 수립)에 적용 가능하며, 언어 에이전트의 실용성 향상에 기여할 수 있다. 특히, 반복적이고 복잡한 작업 자동화 분야에서 활용 가능성이 높다.