What Does Privileged Information Add to On-Policy Self-Distillation?

On-policy self-distillation (OPSD) lets a language model learn from a frozen copy of itself that sees an answer or a worked solution. Giving the teacher this extra information seems to offer the student more to learn, but how much does it add beyond distillation itself? To isolate that contribution, we construct AMPLE-Math, a reusable suite of 5,319 mathematical problems with six reasoning views that share the same answer, and compare each view with matched reference-free distillation. With a thinking-enabled teacher supervising direct-response rollouts, reference-free distillation accounts for much of Qwen3-1.7B's improvement under thinking-enabled evaluation, both in domain and on external benchmarks. Evidence for an additional reference benefit is modest in Qwen, strongest for a polished solution, whereas complete traces add two percentage points in SmolLM3-3B at step 50. These benefits depend on the student being trained. At the same checkpoint, replacing short direct-response rollouts with long thinking-enabled rollouts turns gains into losses in both families while the problems, references, and evaluation stay fixed. Teacher profiles and matched loss interventions in Qwen further show that changing token-level supervision can leave student behavior largely unchanged. Together, these findings suggest that OPSD can improve access to existing reasoning capabilities through parameters shared by direct-response and thinking-enabled inference. The value of a privileged reference is what it adds to this cross-mode transfer, not how much of the solution it reveals.

한 줄 요약

On-policy self-distillation에서 privileged information의 추가 가치를 AMPLE-Math 데이터셋을 통해 분리 평가한 연구.

핵심 기여도

**AMPLE-Math**: 5,319개의 수학 문제와 6가지 추론 뷰를 포함한 재사용 가능한 데이터셋 개발.
**Qwen3-1.7B 모델에서 reference-free distillation이 thinking-enabled 평가에서 대부분의 개선을 담당**.
**SmolLM3-3B에서 Full Trace가 reference-free training 대비 step 50에서 2% 추가 개선**.
**학생 훈련 방식에 따라 privileged reference의 효과가 달라짐** (short rollout vs. long rollout).

핵심 아이디어

On-policy self-distillation(OPS)은 학생 모델이 동일한 모델의 동결된 사본(교사)으로부터 학습하는 방식으로, 교사가 문제의 정답이나 해결 과정을 보는 것이 학생에게 더 많은 학습 기회를 제공할 수 있다는 가정에 기반한다. 그러나 이 추가 정보가 단순한 distillation 효과를 넘어서는지, 그 가치는 무엇인지 명확하지 않았다. 본 연구는 **AMPLE-Math**라는 데이터셋을 통해 이 질문을 탐구한다. 이 데이터셋은 동일한 정답을 공유하는 6가지 추론 뷰를 제공하며, 각 뷰를 reference-free distillation과 비교함으로써 privileged information의 기여도를 분리한다. 핵심 통찰은 **privileged reference의 가치는 해결 과정의 완전성보다는 cross-mode transfer에 기여하는 정도에 있다**는 점이다.

기술적 접근법

**AMPLE-Math**: OpenThoughts-114k 기반, 5,319개 문제, 6가지 추론 뷰 (Answer Only, Full Trace 등).
**Qwen3-1.7B와 SmolLM3-3B 모델**을 사용한 실험.
**Thinking-enabled teacher**가 direct-response rollout을 평가하는 방식의 OPSD 구현.
**Reference-free distillation**과 비교하여 privileged reference의 추가 효과 분석.
**Checkpoint별 훈련 경로 변화** (short rollout vs. long rollout)를 통해 학생 훈련 방식의 영향 평가.
**Teacher profiles**와 **matched loss interventions**를 통해 토큰 수준의 감독 변화가 학생 행동에 미치는 영향 분석.

주요 결과

**Qwen3-1.7B**: reference-free distillation이 thinking-enabled 평가에서 대부분의 개선을 담당.
**SmolLM3-3B**: Full Trace가 reference-free training 대비 step 50에서 2% 추가 개선.
**Clean Solution**은 Qwen에서 추가 개선이 미미.
**Long thinking-enabled rollout**을 사용하면 기존 훈련 체크포인트에서 학습 효과가 손실됨.
**Token-level supervision 변화**가 학생 행동에 큰 영향을 주지 않음.

의의 및 한계

본 연구는 OPSD에서 privileged information의 기여도를 분리하는 데 기여하며, **cross-mode transfer가 학습 효과의 핵심 요인**임을 밝혔다. 이는 기존의 단순한 distillation 효과와 구분되는 중요한 통찰이다. 그러나 학생 훈련 방식에 따라 privileged reference의 효과가 달라지는 점은 **reference 설계와 학습 전략이 연계되어야 한다는 한계**를 드러낸다. 또한, 실험은 짧은 기간의 LoRA 훈련에 기반하며, 장기적인 훈련 효과나 다른 도메인에서의 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

AMPLE-Math는 수학 문제 해결 과정의 다양한 표현을 비교하는 데 활용 가능하며, **교육 AI나 추론 기반 챗봇 개발**에 유용한 데이터셋이다. 또한, teacher profiles와 matched interventions은 **모델 감독 방식 최적화**에 활용될 수 있으며, 학습 과정에서 학생의 시도에 적응하는 reference 설계가 실용적 개선 방향으로 제시된다.