Adaptive Teacher Exposure for Self-Distillation in LLM Reasoning

On-policy self-distillation has become a strong recipe for LLM reasoning, where a privileged teacher supervises the student's own rollouts while conditioning on the reference solution. A design choice shared by nearly all such methods, however, has gone unquestioned: the teacher always sees the full reference reasoning. We argue that this default itself is part of the problem and identify a teacher-side exposure mismatch: when the teacher conditions on reasoning far beyond the student's current competence, the resulting token targets become too strong to absorb. A controlled fixed-exposure sweep makes this concrete on two fronts: 1) full exposure is not reliably the best choice, and 2) student-teacher mismatch grows monotonically as the teacher sees more privileged reasoning. This motivates treating teacher exposure not as a fixed hyperparameter but as a learnable training-time control variable. We therefore propose Adaptive Teacher Exposure for Self-Distillation (ATESD). ATESD models the reveal ratio with a lightweight Beta-policy controller conditioned on compact training-state statistics, and uses one sampled exposure for a short hold window of student updates. To make this exposure controller learnable, we optimize it with a discounted learning-progress reward that scores each held decision by its effect on the student's future improvement rather than its immediate loss change, addressing the delayed credit assignment induced by on-policy distillation. Experiments on AIME 24, AIME 25, and HMMT 25 across Qwen3-{1.7B, 4B, 8B} show that ATESD consistently outperforms competitive self-distillation and RL baselines, improving over OPSD by +0.95, +2.05, and +2.33 Average@12 points respectively, and establishing adaptive teacher exposure as an effective new axis for reasoning self-distillation.

📋 한 줄 요약

**[LLM 자기증류 / 적응적 교사 노출]** 자기증류에서 교사의 reference 노출 비율을 학습 가능한 제어 변수로 만들어 학습 진행에 따라 조정하는 ATESD 제안.

🎯 핵심 기여도

on-policy 자기증류에서 거의 모든 방법이 "교사는 reference reasoning 전체를 본다"는 기본값을 의심 없이 채택해 왔다는 문제 제기.
통제된 고정 노출 sweep으로 (1) 풀 노출이 항상 최선이 아니며, (2) 교사 노출이 증가할수록 학생-교사 mismatch가 단조 증가함을 실증.
노출 비율을 학습 가능한 변수로 다루는 Adaptive Teacher Exposure for Self-Distillation(ATESD) 제안: 학습 상태 통계에 조건화된 경량 Beta-policy controller가 reveal ratio를 모델링.
AIME 24/25, HMMT 25에서 Qwen3-1.7B/4B/8B 모두 OPSD 대비 Avg@12 +0.95 / +2.05 / +2.33 향상.

💡 핵심 아이디어

교사의 reference 노출은 단순한 hyperparameter가 아니라 학생의 현재 역량과 정합해야 하는 학습 시점 제어 변수이며, 즉각 손실이 아닌 학생의 미래 개선에 대한 기여로 평가해야 한다.

🔬 기술적 접근법

**모델/방법론**: on-policy self-distillation 위에 Beta-policy 기반 reveal ratio controller를 얹은 ATESD.
**핵심 기법**: 학습 상태 통계에 조건화된 Beta 분포로 노출 비율 샘플, 짧은 hold window 동안 동일 노출 유지, discounted learning-progress reward로 지연 보상에 강건한 정책 학습.

📊 주요 결과

AIME 24, AIME 25, HMMT 25 평균 OPSD 대비 Qwen3-1.7B/4B/8B에서 Avg@12 +0.95 / +2.05 / +2.33.
풀 노출이 최선이 아닌 사례를 다수 발견, mismatch가 노출에 따라 단조 증가하는 경향 입증.
적응적 노출이 경쟁력 있는 SD·RL 베이스라인 대비 일관된 우위.

💭 의의 및 한계

**의의**: 자기증류에서 교사 노출이라는 새로운 학습 차원을 정식화하고, 학생 역량에 맞춘 교사 정보 노출이 추론 학습의 핵심 lever임을 입증. **한계**: Beta-policy controller의 보상 함수 설계가 도메인에 민감, 매우 짧은 reasoning 태스크에서의 효과는 추가 검증 필요.

🚀 실용적 활용

수학·과학 추론 LLM의 자기증류 학습 레시피 강화.
학생 모델 역량에 자동 정합되는 어댑티브 학습 데이터 전략.
다른 형태의 privileged-information distillation(예: tool use 시연)의 노출 제어 일반화.