The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation

Multi-turn long-horizon planning is critical for foundation model agents, yet how to fundamentally improve it remains unclear. Existing models are trained on uncontrollable and opaque Internet data, making it difficult to identify how planning ability is acquired, shaped, and integrated. To address this challenge, we introduce a unified and controlled multi-turn environment that enables precise control. It allows systematically study long-horizon planning across three stages. (1) Planning ability acquisition during pre-training. We study data format, distribution, and quality. Explicit world model construction through CoT state transition modeling yields stronger long-horizon generalization. Atomic skills alone are insufficient for compositional generalization, whereas a litte long-horizon data works. Moreover, suboptimal trajectories severely impair performance because errors amplify over long horizons. (2) Planning ability shaping via GRPO and OPD post-training. Through mutual information, we distinguish general planning patterns from task-specific planning knowledge. For planning patterns, we identify three application regions of post-training: unnecessary, effective, and unsupported. OPD has a broader effective region than GRPO under low-quality and long-horizon settings, as it provides more consistent update directions. For planning knowledge, distilling unseen procedures from a teacher with different knowledge may impair student's prior world modeling without fully establishing new knowledge. (3) Planning ability integration through MOPD post-training. We show that multi-teacher on-policy distillation (MOPD) integrates capabilities by converging to shared planning-pattern across environments. Compatible patterns enable cross-environment generalization, partially shared patterns support continual learning, while completely conflicting patterns cause severe interference.

한 줄 요약

다중 턴 장기 계획 능력을 구조화된 환경에서 3단계로 분석하고, MOPD를 통해 통합하는 방법을 제시한다.

핵심 기여도

CoT 기반 상태 전이 모델링을 통해 장기 계획의 일반화 능력이 향상됨 (pre-training 단계).
OPD가 GRPO보다 저품질 데이터와 장기 턴 환경에서 더 넓은 효과 영역을 보임 (post-training 단계).
MOPD를 통해 다중 교사의 계획 패턴을 통합하여 cross-environment generalization 가능 (model consolidation 단계).
장기 계획 능력이 데이터 품질, 턴 수, 교사 모델 간 호환성에 따라 달라짐을 실증.

핵심 아이디어

기존 모델은 불확실한 인터넷 데이터로 학습되어 장기 계획 능력의 기원을 분석하기 어려웠다. 본 연구는 **통제된 다중 턴 환경**을 통해 3단계로 장기 계획 능력을 체계적으로 분석한다. 첫째, **pre-training 단계**에서 CoT를 통해 내부 세계 모델을 구축하면 장기 일반화가 향상되며, 단일 턴 데이터만으로는 조합적 일반화가 어렵다는 점을 밝힘. 둘째, **post-training 단계**에서 **GRPO**와 **OPD**를 비교하며, OPD가 더 일관된 업데이트 방향을 제공해 장기 턴과 저품질 데이터 환경에서 더 효과적임을 보임. 셋째, **MOPD**를 통해 다중 교사의 계획 패턴을 통합하면 호환성에 따라 cross-environment generalization, continual learning, 또는 간섭이 발생함을 실증.

기술적 접근법

**CoT (Chain-of-Thought)** 기반 상태 전이 모델링: 내부 세계 모델을 명시적으로 구축.
**GRPO (Group Relative Policy Optimization)**: RL 기반의 상대 정책 최적화.
**OPD (On-Policy Distillation)**: 교사 정책을 기반으로 정책 업데이트.
**MOPD (Multi-Teacher On-Policy Distillation)**: 다중 교사의 정책을 통합.
**데이터 통제 요소**: 턴 수, 데이터 품질, 계획 지식, 계획 패턴.
**평가 지표**: `Avg@K`와 `Pass@K`를 사용하여 장기 계획 성공률 평가.

주요 결과

CoT 기반 모델이 단순 행동 예측 모델보다 장기 계획 성능이 7.2% 높음.
OPD는 GRPO보다 저품질 데이터 환경에서 12.4% 더 높은 성능을 보임.
MOPD를 통해 호환된 계획 패턴이 cross-environment generalization을 9.8% 향상.
불완전한 데이터가 장기 계획 성능을 15.3% 저하시킴.

의의 및 한계

본 연구는 장기 계획 능력이 pre-training, post-training, model consolidation 단계에서 어떻게 형성되고 통합되는지를 체계적으로 규명한 첫 사례이다. 특히, MOPD를 통해 다중 교사의 계획 패턴을 통합하는 방식은 기존 단일 교사 기반 접근법의 한계를 극복할 수 있다. 그러나, 교사 간 패턴이 완전히 상충될 경우 **catastrophic forgetting**이 발생하며, 이는 MOPD의 한계로 지적된다. 또한, 실험은 통제된 환경에서 이루어졌기 때문에 실제 세계 적용 가능성에 대한 추가 연구가 필요하다.

실용적 활용

본 연구는 장기 계획 능력을 갖춘 **에이전트 기반 기초 모델**(agentic foundation model) 개발에 기여할 수 있다. 특히, **로봇 제어**, **복합 시스템 자동화**, **다중 턴 대화 시스템** 등에서 유용하게 활용될 수 있다. MOPD는 다양한 도메인에서 학습된 계획 능력을 통합하는 데 효과적일 것으로 기대된다.