RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning

Multi-turn agents trained with reinforcement learning (RL) receive a single scalar reward per trajectory, which motivates self on-policy distillation (OPD) to supply dense token-level supervision from a self-teacher with privileged task skills, letting a skill-free student internalize them. This recipe, however, is undermined by two findings in agentic tasks: privileged information alone does not always make a teacher reliable, and the benefit of teacher supervision is stage-dependent. We therefore propose RetireOPD (Self-Retiring On-Policy Distillation), which first optimizes a decoupled, skill-conditioned teacher with environment rewards and then trains a skill-free student jointly with RL and OPD. Rather than following a predefined distillation schedule, RetireOPD adopts Adaptive Retirement: the student drops the teacher on its own once their discrepancy stops shrinking and it reaches a target fraction of the teacher's success rate, after which training proceeds with RL alone. Across Qwen2.5 models from 1.5B to 7B, RetireOPD improves ALFWorld success rate over RL baseline by 14.1% to 18.8% and WebShop accuracy by 11.8% to 19.0%, and surpasses its own skill-conditioned teacher in every setting.

한 줄 요약

RetireOPD는 강화학습 기반 에이전트에 기술 정보를 내재화하는 자가 퇴역형 온-폴리시 디스틸레이션 방법으로, ALFWorld와 WebShop에서 성능을 11.8%~18.8% 개선한다.

핵심 기여도

기존 OPD에서 발생하는 두 가지 실패 모드를 식별: 미최적화된 기술 조건 부여 교사의 신뢰성 부족, 학습 후반의 교사-학생 간 목표 충돌.
RetireOPD는 기술 조건 부여 교사를 환경 보상으로 최적화하고, 교사-학생 간 차이가 더 이상 줄어들지 않을 때 자동으로 퇴역.
Qwen2.5-1.5B~7B 모델에서 ALFWorld 성공률 14.1%~18.8%, WebShop 정확도 11.8%~19.0% 개선.
모든 설정에서 기술 조건 부여 교사를 초과.

핵심 아이디어

기존 OPD는 교사가 항상 신뢰할 수 있고, 지도가 항상 유용하다는 두 가지 가정에 기반하지만, 이는 실제 에이전트 학습에서 성립하지 않는다. RetireOPD는 교사가 먼저 환경 보상으로 기술을 학습하도록 분리하고, 이후 학생을 GRPO와 OPD를 함께 사용해 학습시킨다. 교사-학생 간 차이가 더 이상 줄어들지 않고, 학생이 교사 성공률의 목표 비율에 도달하면 교사 지도를 중단한다. 이는 학습 단계에 따라 유용한 지도를 유연하게 제거하는 방식으로, 기존의 고정된 스케줄링 방식과 달리 학습 신호를 기반으로 실시간 결정한다.

기술적 접근법

RetireOPD는 세 단계로 구성된다:
1. **교사 구성 (Teacher Construction)**: 기술 조건 부여 교사가 환경 보상으로 최적화됨.
2. **GRPO-OPD 연합 학습 (Joint GRPO-OPD Training)**: 기술 조건 없는 학생이 교사의 경로를 따라가며 GRPO와 OPD를 동시에 학습.
3. **적응형 교사 퇴역 (Adaptive Teacher Retirement)**: 교사-학생 간 차이가 더 이상 줄어들지 않고, 학생이 교사 성공률의 목표 비율에 도달하면 OPD 중단.
모델은 Qwen2.5-1.5B, 3B, 7B이며, ALFWorld와 WebShop 데이터셋에서 실험됨.

주요 결과

ALFWorld: RetireOPD는 GRPO 기반 RL 대비 14.1%~18.8% 성공률 향상.
WebShop: RetireOPD는 RL 대비 11.8%~19.0% 정확도 향상.
모든 설정에서 RetireOPD는 자체 기술 조건 부여 교사를 초과.
교사 퇴역 시점은 모델과 태스크에 따라 50~90스텝 사이로 변동.

의의 및 한계

RetireOPD는 기존 OPD의 단점을 해결하며, 에이전트 학습에서 유연한 지도 제거를 가능하게 한다. 기술 정보 없이도 학습된 모델이 추론 시에도 사용 가능하다는 점에서 실용적 가치가 크다. 그러나 퇴역 기준은 학습 신호에 의존하므로, 특정 상황에서는 지도 중단 시점이 부적절할 수 있다. 또한, 퇴역 후 학습이 RL에만 의존하므로, 초기 단계의 성능 저하 가능성도 존재.

실용적 활용

RetireOPD는 대형 언어 모델 기반 에이전트가 복잡한 다턴 대화나 웹 탐색, 게임 플레이 등에서 학습할 때 유용하다. 특히, 교사 정보가 추론 시 제공되지 않는 상황에서 내재화된 기술을 활용할 수 있어, 서비스 로봇, 챗봇, 자동화된 고객 지원 시스템 등에 적용 가능하다.