PIVOT: Bridging Planning and Execution in LLM Agents via Trajectory Refinement

Large language model (LLM)-based agents frequently generate seemingly coherent plans that fail upon execution due to infeasible actions, constraint violations, and compounding errors over extended horizons. PIVOT (Plan-Inspect-eVOlve Trajectories) addresses this plan-execution misalignment through a self-supervised framework that treats trajectories as optimizable objects iteratively refined via environment interaction. The framework comprises four stages: PLAN generates candidate trajectories; INSPECT executes them and computes structured losses with textual gradients encoding plan-execution discrepancies; EVOLVE applies these signals to produce improved trajectories; and VERIFY performs a final global check against task constraints. A monotonic acceptance process ensures a non-decreasing solution quality. Empirical evaluations on DeepPlanning and GAIA demonstrate state-of-the-art performance: with human-in-the-loop (HITL) feedback, PIVOT establishes a strong upper bound up to 94% relative improvement in constraint satisfaction, while its fully autonomous variant retains substantial gains, showing that the core trajectory-refinement mechanism remains effective without external supervision. At the same time, PIVOT remains computationally efficient, requiring up to 3x to 5x fewer tokens than competing refinement methods. These findings establish that (self- or human-supervised) feedback-based trajectory optimization is a principled methodology for mitigating plan-execution gaps in autonomous agent systems.

📋 한 줄 요약

**[LLM 에이전트 / 계획-실행]** 계획(plan)과 실행(execution) 간 불일치를 trajectory 자체를 최적화 대상으로 보고 환경 상호작용으로 반복 정제하는 자기지도 프레임워크 PIVOT 제안.

🎯 핵심 기여도

그럴듯해 보이는 LLM 에이전트 계획이 실행에서 실패하는 plan-execution misalignment 문제를 trajectory 최적화 프레임으로 형식화.
PLAN→INSPECT→EVOLVE→VERIFY 4단계 자기지도 루프와 monotonic acceptance 절차 설계.
DeepPlanning, GAIA에서 SOTA 성능 + HITL 피드백 시 제약 충족 최대 94% 상대 향상이라는 강력한 상한 실증.
경쟁 refinement 기법 대비 토큰 3~5배 적은 효율성을 동시 확보.

💡 핵심 아이디어

trajectory를 한 번에 잘 생성하려 하지 말고, 실행 피드백을 textual gradient로 받아 trajectory 자체를 반복 정제하는 최적화 변수로 다루자. 단조 수용(monotonic acceptance) 절차가 품질 비감소를 보장한다.

🔬 기술적 접근법

**모델/방법론**: PLAN(후보 trajectory 생성)·INSPECT(실행 후 구조화 손실·textual gradient 계산)·EVOLVE(개선 trajectory 생성)·VERIFY(전역 제약 점검)의 4단계 루프.
**핵심 기법**: plan-execution 불일치를 textual gradient로 인코딩, 단조 수용으로 품질 비감소 보장, HITL 변형과 fully autonomous 변형 모두 지원, 토큰 효율을 위한 구조화 손실.

📊 주요 결과

DeepPlanning·GAIA에서 SOTA 성능.
HITL 피드백 시 제약 충족 최대 94% 상대 향상.
자율 변형에서도 상당한 이득 유지.
경쟁 refinement 대비 3~5배 적은 토큰으로 동작.

💭 의의 및 한계

**의의**: LLM 에이전트의 신뢰성 격차를 좁히는 일반적이고 토큰-효율적인 trajectory 최적화 패러다임 제시. **한계**: textual gradient 품질이 환경 피드백 풍부도에 의존, 시뮬레이션과 실세계 환경 간 sim-to-real 전이는 후속 검증 과제.

🚀 실용적 활용

도구 사용·웹 자동화 에이전트의 신뢰성 향상.
데이터 분석·연구 에이전트(GAIA류) 운용 시 비용 효율적 정제 루프.
HITL 피드백을 활용한 production agent의 incident-driven 개선.