The Many Faces of On-Policy Distillation: Pitfalls, Mechanisms, and Fixes

On-policy distillation (OPD) and on-policy self-distillation (OPSD) have emerged as promising post-training methods for large language models, offering dense token-level supervision on trajectories sampled from the model's own policy. However, existing results on their effectiveness remain mixed: while OP(S)D has shown promise in system prompt and knowledge internalization, recent studies also report instability and degradation. In this work, we present a comprehensive empirical study of when OPD and OPSD work, when they fail, and why. We find that OPD on mathematical reasoning is highly sensitive to teacher choice and loss formulation, whereas OPSD fails in our tested settings due to test-time absence of instance-specific privileged information (PI). In contrast, OPSD is effective when PI represents a shared latent rule, such as a system prompt or alignment preference. We identify three failure mechanisms: (1) distribution mismatch between teacher and student caused by conditioning on student-generated prefixes, (2) optimization instability from biased TopK reverse-KL gradients, and (3) an OPSD-specific limitation where the student learns a PI-free policy that aggregates PI-conditioned teachers, which is insufficient when PI is instance-specific. We further show that stop-gradient TopK objectives, RLVR-adapted teachers, and SFT-stabilized students mitigate these failures.

📋 한 줄 요약

**[LLM 사후 학습 / 증류]** On-Policy Distillation(OPD)과 On-Policy Self-Distillation(OPSD)이 언제·왜 실패하는지 진단하고 세 가지 실패 메커니즘과 대응 처방을 제시.

🎯 핵심 기여도

OP(S)D의 효과가 혼재된 기존 보고를 정리하는 포괄적 실증 연구.
세 가지 실패 메커니즘 식별: (1) 학생 생성 prefix 조건화에서 오는 teacher-student 분포 불일치, (2) biased TopK reverse-KL 그래디언트의 최적화 불안정성, (3) instance-specific privileged information(PI) 부재 시 OPSD가 PI-free 정책으로 수렴하는 한계.
OPSD가 system prompt·alignment preference 같은 shared latent rule PI에서는 효과적이지만 instance-specific PI에서는 실패하는 조건 분리.
stop-gradient TopK, RLVR-adapted teacher, SFT-stabilized student라는 구체적 mitigation 처방 제시.

💡 핵심 아이디어

"학생이 자기 자신을 가르치라"는 OPSD가 직관적으로 보이지만, PI가 instance-specific하면 학생은 결국 PI 없이 PI-conditioned 교사들을 평균낸 정책을 학습할 뿐이며 이는 본질적으로 부족하다. 즉 OP(S)D는 PI 구조에 따라 작동 여부가 갈리는 조건적 도구이다.

🔬 기술적 접근법

**모델/방법론**: 수학 추론·LLM 정렬을 무대로 OPD·OPSD를 다양한 교사 선택·손실 변형 아래 비교, 실패 시나리오 진단.
**핵심 기법**: 학생 생성 trajectory에 dense token-level supervision을 제공하는 OP(S)D 학습 루프, TopK reverse-KL 그래디언트의 bias 분석, stop-gradient 기법, RLVR로 교사를 adapting하는 변형, SFT로 학생을 안정화한 뒤 OP(S)D를 진행하는 절차.

📊 주요 결과

수학 추론 OPD는 교사 선택·손실 형식에 매우 민감.
OPSD는 instance-specific PI 시나리오에서 일반적으로 실패하지만 shared latent rule(시스템 프롬프트·정렬 선호) PI에서는 효과적.
stop-gradient TopK, RLVR teacher, SFT 안정화 학생이 실패 모드를 완화함을 실증.

💭 의의 및 한계

**의의**: 사후 학습 분야에서 "OP(S)D가 작동한다/안 한다" 논쟁을 PI 구조와 그래디언트 편향 관점에서 정리해 실무 채택 지침을 제공. **한계**: 분석이 주로 수학·정렬 도메인에 집중되며 도구 사용·멀티모달 등 다른 도메인 일반화는 추가 검증 과제.

🚀 실용적 활용

사후 학습 파이프라인 설계 시 OPD/OPSD 적용 가능성을 PI 구조로 사전 판단.
정렬·시스템 프롬프트 내재화에 OPSD를 안전하게 사용하기 위한 stop-gradient·SFT 안정화 처방 적용.
RL/RLVR 단계 전 교사 모델 준비 단계에 RLVR-adapted teacher 도입.