Weak-to-Strong On-Policy Distillation

On-policy distillation (OPD), which aligns a student with the teacher's token-level distribution on the student's own rollouts, is an effective paradigm for transferring capabilities across LLMs. Prevailing approaches assume a teacher at least as capable as the student: they either distill a larger model into a smaller one, which fails at the frontier where no larger teacher exists, or consolidate multiple domain experts trained from a shared base, which requires costly training at the student's scale. We introduce Weak-to-Strong On-Policy Distillation (W2S-OPD), a simple yet effective OPD framework that improves the strong student by distilling from multiple weak models. W2S-OPD constructs a proxy teacher in logit space from a contrast pair of a positive and a negative model, both smaller than the student and cheap to obtain. Their logit difference isolates the capability direction, which is added to the student's own base model, yielding a proxy teacher that couples this direction while staying distributionally adjacent to the student. The student then distills it by minimizing the per-token reverse KL on its own rollouts. We instantiate the contrast pair as i) a post-RL expert against its pre-RL initialization, isolating the skill RL instills, ii) a larger against a smaller base model, isolating the capability from scale, and iii) a small base model with correct versus wrong hints, isolating the instance-level direction toward the solution. Across four math and three code benchmarks, W2S-OPD outperforms OPD, enables the student to surpass the domain teacher, and keeps improving the student even when every supervision source is weaker. Analysis shows different contrasts yield distinct signals: the post-RL and hint contrasts emphasize reasoning frameworks, while the scale contrast emphasizes the solving procedure. Our code will be available at https://github.com/Yu-Fangxu/W2S-OPD.

한 줄 요약

W2S-OPD는 강한 학습자 모델을 여러 약한 모델로부터 학습시켜 성능을 향상시키는 새로운 온-포리시 디스틸레이션 프레임워크이다.

핵심 기여도

W2S-OPD는 기존 OPD가 강한 선생 모델을 필요로 하는 한계를 극복하고, 약한 모델들로부터 학습한다.
학습자는 post-RL 전후 모델, 크기 차이 모델, 힌트 조건 모델 등 다양한 약한 모델 쌍으로부터 학습하며, 수학 및 코드 생성 벤치마크에서 기존 OPD 대비 11.4%~12.0% 상대 성능 향상.
학습자는 모든 지도원이 자신보다 약하더라도 지속적으로 성능을 개선할 수 있음.
학습 신호는 추론 프레임워크와 해결 절차에 따라 다른 콘트라스트 쌍에서 유래됨.

핵심 아이디어

W2S-OPD는 기존 OPD가 강한 선생 모델을 전제로 하는 문제를 해결하기 위해, 약한 모델 쌍으로부터 학습한다. 이는 학습자가 직접 생성한 rollout에 기반한 토큰 수준의 역 KL 최소화를 통해 이루어진다. 핵심 아이디어는 **logit 공간에서 양성 및 음성 모델의 logit 차이를 활용해 능력 방향을 추출**하고, 이를 학습자의 기저 모델에 더해 **proxy teacher를 구성**하는 것이다. 이 proxy teacher는 학습자의 분포와 유사하면서도 특정 능력을 강조함으로써, 학습자가 기존 OPD보다 더 효과적으로 학습할 수 있도록 돕는다.

기술적 접근법

**Proxy Teacher 구성**: 양성 및 음성 모델의 logit 차이를 계산하여 학습자의 기저 모델에 더함.
**학습 방식**: 학습자는 자신의 rollout에서 proxy teacher의 토큰 수준 역 KL을 최소화.
**3가지 콘트라스트 쌍**:

1. post-RL 전문가 vs pre-RL 초기화 모델 → RL이 부여한 스킬 추출
2. 더 큰 vs 더 작은 기저 모델 → 규모에서 유래한 능력 추출
3. 올바른 vs 잘못된 힌트 조건 모델 → 인스턴스 수준 해결 방향 추출

**모델 크기**: 모든 콘트라스트 모델은 학습자보다 작고, 저비용으로 생성 가능.

주요 결과

**수학 추론**: post-RL 쌍에서 W2S-OPD는 단일 및 다중 선생 디스틸레이션에서 기존 OPD 대비 11.4% 및 12.0% 상대 성능 향상.
**코드 생성**: 3개 벤치마크에서 학습자가 도메인 전문가를 초과.
**약한 모델 학습**: 모든 지도원이 학습자보다 약하더라도 성능 개선 가능.
**학습 신호 분석**: post-RL 및 힌트 쌍은 추론 프레임워크(예: 계획, 모니터링)에, 규모 쌍은 해결 절차에 중점을 둔다.

의의 및 한계

W2S-OPD는 기존 OPD가 강한 선생 모델을 전제로 하는 한계를 극복하고, **저비용 약한 모델로부터 학습자 성능을 지속적으로 향상**시킬 수 있는 새로운 패러다임을 제시한다. 특히, **도메인 전문가를 초과하는 성능**을 보이며, 기존 접근법과 비교해 더 유연한 학습 신호를 활용할 수 있음을 보여준다. 그러나, 약한 지도원이 학습자 성능을 얼마나 높게 끌어올릴 수 있는지, 그리고 더 유의미한 신호를 어떻게 유도할 수 있는지는 여전히 탐구해야 할 문제이다. 또한, 학습 신호의 다양성과 조합 방식에 따라 성능 차이가 발생할 수 있으므로, 이에 대한 더 깊은 분석이 필요하다.

실용적 활용

W2S-OPD는 대형 언어 모델이 **더 크거나 강력한 선생 모델이 없는 상황에서도 지속적으로 성능을 개선**할 수 있도록 지원한다. 이는 특히, **저비용으로 학습 가능한 약한 모델이 풍부한 산업 및 연구 환경**에서 유용하다. 예를 들어, 코드 생성, 수학 문제 해결, 추론 강화 등에서 기존 모델을 최소한의 추가 학습 비용으로 향상시킬 수 있다.