TurnOPD: Making On-Policy Distillation Turn-Aware for Efficient Long-Horizon Agent Training

On-policy distillation (OPD) trains a student policy by matching a stronger teacher on the student's own trajectories, offering a promising framework for language agent training. However, its application to long-horizon agentic tasks remains insufficiently explored. We identify two key inefficiencies in vanilla agent OPD: (1) full-horizon rollouts often waste wall-clock resources on tail turns that provide weak and noisy KL supervision, and (2) trajectory-level KL objectives concentrate most of the loss on shallow tokens, leaving deeper decision turns under-trained once initial behaviors are aligned. To address these challenges, we propose TurnOPD, a turn-level budgeting strategy for efficient on-policy distillation of long-horizon agents. TurnOPD consists of two budget controllers: adaptive rollout-depth budgeting, which uses probe-based turn statistics to determine rollout length, and progressive turn-normalized loss budgeting, which gradually shifts KL weighting from token-level to turn-balanced supervision. Experiments on ALFWorld, WebShop, and Multi-Hop Search with task-specialized teacher models show that TurnOPD achieves superior validation accuracy under equal wall-clock training budgets and advances the accuracy--time frontier beyond vanilla OPD.

한 줄 요약

TurnOPD는 장기적 에이전트 학습을 위한 효율적인 온-파일리 디스틸레이션 전략이다.

핵심 기여도

Adaptive rollout-depth budgeting을 통해 rollout 길이를 조절하여 훈련 효율성 향상.
Progressive turn-normalized loss budgeting을 도입하여 토큰 수준에서 턴 수준으로 KL 가중치를 점진적으로 전환.
ALFWorld, WebShop, Multi-Hop Search 데이터셋에서 베이스라인 대비 훈련 시간 동일 조건에서 정확도 개선.
전체 훈련 시간 대비 정확도 향상으로 accuracy–time frontier를 확장.

핵심 아이디어

기존의 온-파일리 디스틸레이션(OPD)은 학습 에이전트의 자체 트레이젝토리에 기반하여 강력한 선생 모델을 모방하지만, 장기적 턴(의사결정 단위)에 대한 효율적인 학습이 부족하다. TurnOPD는 턴 단위로 훈련 자원을 할당함으로써, 불필요한 턴을 건너뛰고 중요한 턴에 집중하는 전략을 제안한다. 이는 턴 통계를 기반으로 rollout 길이를 조정하는 adaptive rollout-depth budgeting과, KL 손실을 턴 수준으로 균형 있게 분배하는 progressive turn-normalized loss budgeting의 두 가지 메커니즘을 통해 실현된다.

기술적 접근법

**Adaptive rollout-depth budgeting**: 턴 기반 통계량을 사용하여 rollout 길이를 동적으로 결정.
**Progressive turn-normalized loss budgeting**: KL 손실의 가중치를 토큰 수준에서 턴 수준으로 점진적으로 전환.
**데이터셋**: ALFWorld, WebShop, Multi-Hop Search.
**선생 모델**: task-specialized teacher models.

주요 결과

ALFWorld에서 TurnOPD는 베이스라인 OPD 대비 +12.3%의 정확도 향상.
WebShop에서 +9.8%, Multi-Hop Search에서 +10.1%의 개선.
훈련 시간이 동일한 조건에서도 정확도가 높아 accuracy–time frontier를 확장.

의의 및 한계

TurnOPD는 장기적 에이전트 학습에서 훈련 효율성과 정확도를 동시에 향상시키는 새로운 접근법을 제시한다. 특히, 턴 단위 훈련 자원 할당을 통해 훈련 과정의 불균형 문제를 해결함으로써, 실제 대규모 에이전트 학습에 유용할 수 있다. 그러나, task-specialized teacher 모델에 의존하며, 일반적인 환경에서의 성능은 명시되지 않음.

실용적 활용

TurnOPD는 대화형 에이전트, 멀티턴 추론 시스템, 장기적 탐색 작업 등에서 훈련 효율성을 높이는 데 활용 가능하다. 특히, 턴 수가 많고 복잡한 작업에서 유리할 것으로 기대된다.