PlanBench-XL: Evaluating Long-Horizon Planning of LLM Tool-Use Agents in Large-Scale Tool Ecosystems

LLM agents increasingly operate in large tool ecosystems, where real-world tasks require discovering relevant tools, inferring implicit sub-goals, and adapting to dynamic environments over long horizons. However, existing benchmarks rarely evaluate planning under retrieval-limited tool visibility. To address this gap, we introduce PlanBench-XL, an interactive benchmark of 327 retail tasks over 1,665 tools that tests whether agents can iteratively retrieve usable tools, invoke them to uncover intermediate evidence for subsequent calls toward the final goal. PlanBench-XL further features an optional blocking mechanism that simulates real-world unpredictability through missing, failing, or distracting tool functions, forcing agents to detect disrupted paths and adapt at runtime. Experiments on ten leading LLMs show that massive-tool planning remains challenging: while GPT-5.4 achieves 51.90% accuracy in block-free settings, it collapses to 11.36% under the most severe blocking condition. Further analysis shows that agents are especially vulnerable when failures lack explicit error signals or when recovery requires longer alternative tool-use paths. These results establish PlanBench-XL as a testbed for diagnosing agentic planning failures and highlight the need for robust adaptive planning in long-horizon tasks with large, imperfect tool environments.

한 줄 요약

PlanBench-XL은 대규모 도구 생태계에서 LLM 에이전트의 장기적 계획 능력을 평가하는 대규모 인터랙티브 벤치마크이다.

핵심 기여도

PlanBench-XL: 1,665개 도구를 기반으로 327개의 리테일 태스크를 포함한 대규모 인터랙티브 벤치마크 도입.
Blocking Mechanism: 도구 실패, 누락, 오염 등을 시뮬레이션하여 실시간 적응을 강제하는 모듈 포함.
GPT-5.4의 성능: 블록 없는 환경에서 51.90% 정확도, 최악의 블록 조건에서 11.36%로 급락.
Gemini-3.1-Pro: 77.06% 정확도로 가장 높은 성능 기록, 20턴 내 EGT Precision 유지.

핵심 아이디어

PlanBench-XL은 LLM 에이전트가 대규모 도구 집합에서 장기적 계획을 수행할 수 있는지 평가하기 위해 설계되었다. 기존 벤치마크는 도구가 항상 가용하고 명확하게 제공된다는 가정에 기반하지만, 실제 상황에서는 도구 검색이 제한적이고 불확실하다. 이에 따라 PlanBench-XL은 **Bi-directional Anticipation**이라는 핵심 아이디어를 도입하여, 에이전트가 현재 상태에서 전진하거나 목표에서 후진하여 중간 목표를 설정하도록 유도한다. 또한, **Blocking Mechanism**을 통해 도구 실패나 오염을 시뮬레이션하여, 에이전트가 실시간으로 경로를 재설정하는 능력을 평가한다.

기술적 접근법

**도구 집합**: 1,665개 도구를 포함한 리테일 도메인 기반 태스크.
**Blocking Mechanism**: 도구 누락, 실패, 오염을 시뮬레이션.
**Bi-directional Anticipation**: Forward Anticipation(현재 증거 기반 검색)와 Backward Anticipation(목표 기반 검색)을 결합.
**평가 모델**: 10개의 주요 LLM (GPT-5.4, Gemini-3.1-Pro, Qwen3-8B 등) 사용.
**실험 환경**: vLLM 라이브러리로 오픈소스 모델 실행, API로 클로즈드 모델 접근.

주요 결과

GPT-5.4: 블록 없는 환경에서 51.90% 정확도, 최악의 블록 조건에서 11.36%로 급락.
Gemini-3.1-Pro: 77.06% 정확도, 20턴 내 EGT Precision 유지.
Qwen3-8B 및 Llama-3.1-8B-Instruct: 0% 정확도 기록.
블록 수준 증가에 따라 성능 급격히 하락, 특히 긴 복구 경로가 필요한 경우 취약.

의의 및 한계

PlanBench-XL은 대규모 도구 집합에서 장기적 계획 능력을 평가하는 첫 번째 인터랙티브 벤치마크로, LLM 에이전트의 **적응성**, **중간 증거 추출**, **실시간 재계획** 능력을 체계적으로 평가할 수 있다. 그러나 일부 모델은 도구 실패 시 복구 경로를 찾는 데 어려움을 겪으며, 특히 오류 신호가 없는 경우 취약하다는 한계가 드러났다. 또한, 일부 모델은 복잡한 경로 탐색이 필요할 때 성능이 급격히 하락하는 문제가 있다.

실용적 활용

PlanBench-XL은 리테일, 금융, 의료 등 대규모 도구 생태계를 활용하는 산업에서 LLM 에이전트의 장기적 계획 능력을 평가하고 향상시키는 데 활용될 수 있다. 또한, 강화 학습 기반 에이전트의 실시간 적응 능력을 훈련하는 데 사용될 수 있으며, 도구 불확실성이 높은 환경에서의 신뢰성 있는 시스템 설계에 기여할 수 있다.