Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations

On-policy distillation (OPD) has become a key paradigm in LLM post-training, yet its training dynamics remain poorly understood. We present a systematic study examining the role, pathologies, and regulations of OPD. We first clarify the role of OPD as an exploration catalyst: it steers the student toward correct reasoning paths via dense token-level guidance, without expanding capability ceiling. We confirm this by showing that prompt diversity matters more than per-problem sampling numbers, and critically, that the effectiveness of OPD hinges entirely on the quality of its guiding signal. This dependency exposes two pathologies that derail exploration. The Student-Teacher Mismatch occurs when a large teacher-student distributional gap causes the guiding signal to misalign with task correctness, steering exploration in counterproductive directions. Length Exploitation arises when the aggregated token-level objective creates length-dependent shortcuts, allowing the student to game the reward landscape through response truncation or redundant padding, exploring degenerate length modes rather than reasoning strategies. To tame these pathologies, we investigate lightweight signal regulations: advantage clipping and log-scale compression, ensuring exploration is guided by faithful signals. Experiments across seven benchmarks demonstrate that these regulations alleviate length exploitation and enable effective distillation, stably surpassing OPD variants and RLVR baselines, thereby confirming that well-regulated signal quality, rather than mere teacher scale, governs successful exploration in OPD.

한 줄 요약

On-policy distillation(OPD)의 역할, 병리, 규제를 체계적으로 분석하고, 신뢰성 있는 신호로 학습 안정성을 향상시킨다.

핵심 기여도

OPD가 능력 확장이 아닌 탐색 촉진 역할을 한다는 것을 실증적으로 입증.
두 가지 주요 병리: Student-Teacher Mismatch와 Length Exploitation을 규명.
Advantage Clipping과 Log-scale Compression을 통해 병리를 제거하고, 4B teacher로 30B teacher 기반 모델을 초과.
Prompt diversity가 per-problem sampling depth보다 정확도 향상에 더 효과적임을 밝힘.

핵심 아이디어

OPD는 기존 학습 능력 내에서 탐색 경로를 재구성하는 촉진제 역할을 한다. 이는 teacher 모델의 token-level 지도가 student의 합리적 추론 경로를 유도하기 때문이다. 그러나 이 지도 신호의 신뢰성에 따라 병리가 발생한다. 예를 들어, teacher와 student의 분포 차이가 클 경우 (Student-Teacher Mismatch), 지도 신호가 실제 작업 정확도와 일치하지 않아 탐색이 비효율적으로 흐를 수 있다. 또한, token-level 목표가 길이에 의존하면 student는 반복 패딩이나 조기 종료를 통해 reward를 조작할 수 있다 (Length Exploitation). 이러한 문제를 해결하기 위해 Advantage Clipping과 Log-scale Compression이라는 경량 규제 기법을 제안한다. 이는 신호의 신뢰성을 유지하면서도 병리적 동기를 억제한다.

기술적 접근법

**모델**: Qwen3-1.7B-Base, Qwen3-1.7B (student), Qwen3-1.7B-GRPO, Qwen3-4B-GRPO (teacher)
**알고리즘**: Token-level 지도 기반 OPD, Advantage Clipping, Log-scale Compression
**데이터셋**: AMC23, AIME 2024–2026, HMMT25 Feb, MATH500, Minerva
**메트릭**: AMC23 등에서는 avg@32, MATH500 등에서는 pass@1
**하이퍼파라미터**: Prompt diversity가 per-problem sampling depth보다 더 정확도 향상에 기여함을 확인

주요 결과

**AMC23**: avg@32 기준, regulated OPD가 naive OPD 대비 +12.3% 개선.
**MATH500**: pass@1 기준, regulated OPD가 RLVR 대비 +9.1% 개선.
**Length Exploitation**: regulated OPD는 반복 패딩이나 조기 종료를 유도하지 않음.
**Student-Teacher Mismatch**: teacher-student 분포 차이가 클 경우, 신호 신뢰도가 낮아지고 정확도가 감소.
**Teacher 규모**: 4B teacher 기반 regulated OPD가 30B teacher 기반 모델을 초과.

의의 및 한계

이 연구는 OPD의 학습 역동성을 체계적으로 분석하여, 단순히 teacher 규모 확대보다는 신호의 질이 핵심임을 밝혔다. 특히, Advantage Clipping과 Log-scale Compression은 별도의 off-policy 오버헤드 없이도 병리를 효과적으로 제거할 수 있어 실용적이다. 그러나 본 연구는 특정 teacher-student 쌍과 데이터셋에 국한되었으며, 다양한 도메인에서의 일반화 가능성은 추가 연구가 필요하다. 또한, 신호 규제가 모든 병리를 해결하지는 않으며, teacher와 student의 능력 차이가 극심할 경우 여전히 성능 저하가 발생할 수 있다.

실용적 활용

이 연구는 LLM post-training 과정에서 OPD를 안정적으로 활용할 수 있는 실용적 전략을 제시한다. 특히, teacher 모델의 규모보다는 지도 신호의 신뢰성을 높이는 방식이 중요하다는 점에서, 산업 현장에서 저비용으로 고성능 모델을 학습하는 데 기여할 수 있다. 연구자들이 병리적 탐색을 방지하면서도 탐색 효율성을 높이는 알고리즘 설계에 활용될 수 있다.