Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement

On-policy distillation (OPD) offers dense token-level supervision as an alternative to the sparse outcome-level advantages of reinforcement learning with verifiable rewards (RLVR). However, the teacher scores student-generated trajectories that are inherently off-policy for it, so the reliability of its supervision, and hence the source of the student's improvement, remains unclear. We quantitatively analyze teacher supervision during OPD training and find substantial noise whose prevalence increases with teacher scale. Surprisingly, the student policy is insensitive to such noise, converging to comparable performance regardless of whether noisy supervision is retained or removed. Does OPD distill at all? By analyzing what drives its gains, we find that learning concentrates on low log-probability tokens, and using a single fixed negative advantage matches the performance of teacher-provided ones. This suggests that OPD works largely by suppressing low log-probability tokens, which requires no teacher. These findings motivate On-Policy Self-Adaptation (OPSA), a supervision-free method using entropy-adaptive negative advantages. It assigns stronger learning signals to high-entropy positions, suppressing tail tokens, and evenly redistributing probability mass among head tokens. Compared with the base Qwen3-1.7B, OPSA improves Avg@32 by 35.41 points on AIME24, corresponding to a 263\% relative gain, and more than doubles Pass@32 across all three benchmarks. It also outperforms OPD by 16.77 points in Avg@32 on AIME24. Extensive experiments and analyses across model families and tasks further demonstrate its effectiveness and generalizability.

한 줄 요약

On-Policy Self-Adaptation(OPSA)는 교사 모델 없이 토큰별 엔트로피에 기반한 음의 보상을 통해 학습 성능을 263% 향상시킨다.

핵심 기여도

OPD에서 교사의 지도가 노이즈로 가득 차 있으며, 학습 성능 개선은 교사 없이도 달성 가능함을 밝힘.
학습은 주로 저로그확률 토큰에 집중하며, 고정된 음의 보상만으로도 OPD와 유사한 성능을 달성함.
OPSA는 토큰별 엔트로피에 따라 음의 보상을 조절하여, Qwen3-1.7B 기반 모델에서 Avg@32 35.41 포인트, Pass@32 2배 향상.
OPD 대비 16.77 포인트 개선하며, 모델 가족과 태스크에 걸쳐 일반화 가능함을 입증.

핵심 아이디어

On-Policy Distillation(OPD)는 강력한 교사 모델을 통해 토큰 수준의 보상을 제공하지만, 학습 데이터가 교사에 대해 off-policy라는 점에서 지도 신뢰도가 낮다. 연구는 OPD 학습 중 교사의 지도가 높은 노이즈를 포함하고 있음을 발견했으며, 이 노이즈가 교사 규모에 따라 증가함을 밝혔다. 놀랍게도, 노이즈가 있는 학습 데이터만으로도 학습 성능이 OPD와 유사하게 수렴함을 관찰하였다. 이는 OPD의 성능 향상이 교사 모델의 지도보다는 학습자가 저로그확률 토큰을 억제하는 데 기인함을 시사한다. 연구는 고정된 음의 보상만으로도 OPD와 유사한 성능을 달성함을 보여주며, 이는 교사 없이도 학습 가능함을 입증한다. 이 발견을 바탕으로, 토큰별 엔트로피에 따라 음의 보상을 조절하는 On-Policy Self-Adaptation(OPSA)를 제안한다.

기술적 접근법

**OPD**: 교사 모델을 사용해 학습자의 샘플링된 트레이젝토리에 대해 토큰 수준의 KL 최적화를 수행.
**OPSA**: 교사 없이 토큰별 엔트로피에 따라 음의 보상을 조절하는 알고리즘.
**학습 대상**: 저로그확률 토큰에 집중하며, 20% 이하의 토큰만 학습해도 성능 향상 가능.
**하이퍼파라미터**: 토큰 엔트로피에 비례한 음의 보상 강도 조절.
**데이터셋**: AIME24, 그 외 3개 벤치마크 사용.

주요 결과

**AIME24 데이터셋에서**: OPSA는 Qwen3-1.7B 기반 모델 대비 Avg@32 35.41 포인트, 263% 상대 개선.
**Pass@32**: 3개 벤치마크에서 모두 2배 이상 향상.
**OPD 대비**: AIME24에서 Avg@32 16.77 포인트 개선.
**토큰 비율 실험**: 20% 이하의 토큰만 학습해도 성능 향상 가능.

의의 및 한계

이 연구는 OPD의 학습 메커니즘에 대한 새로운 통찰을 제공하며, 교사 없이도 학습 성능을 향상시킬 수 있음을 보여준다. 특히, 토큰별 엔트로피를 기반으로 한 보상 조절은 학습 신뢰도와 효율성을 동시에 높인다. 그러나, 토큰 엔트로피 기반 보상이 모든 태스크에 동일하게 적용되는지, 또는 특정 도메인에서의 제한성은 추가 연구가 필요하다. 또한, OPSA는 토큰 수준의 학습에 초점을 맞추므로, 대규모 시퀀스나 복잡한 추론 과정에서는 추가 최적화가 필요할 수 있다.

실용적 활용

OPSA는 교사 모델 없이도 학습 성능을 향상시키므로, 대규모 언어 모델의 학습 비용을 줄이는 데 유용하다. 특히, 학습 데이터 생성이 어려운 분야(예: 과학적 추론, 수학 문제 해결)에서 효과적일 수 있다. 또한, 토큰 수준의 학습 신뢰도를 높이는 방식은 추론 과정에서의 안정성과 정확도를 동시에 개선할 수 있어, 실시간 추론 시스템이나 고성능 AI 애플리케이션에 적합하다.