Weak-to-Strong Generalization via Direct On-Policy Distillation

Reinforcement learning with verifiable rewards (RLVR) is a powerful recipe for improving language-model reasoning, but it is expensive to repeat on every new strong model because the target model must generate many rollouts during training. As models scale, post-training itself becomes a bottleneck. We study a weak-to-strong alternative: run RL on a smaller model where rollouts are cheaper, then reuse what that RL run learned to improve a stronger target model. Directly distilling the post-RL weak teacher is not enough, because the teacher's final policy mixes useful RL gains with the limitations of the smaller model. We propose Direct On-Policy Distillation (Direct-OPD), which transfers the teacher's RL-induced policy shift instead. Direct-OPD compares the post-RL teacher with its own pre-RL reference and treats their log-ratio as a dense implicit reward for the student. In plain terms, the checkpoint pair tells us which actions RL made the weak model more or less likely to take, and Direct-OPD applies that signal on the stronger student's own on-policy states. This directly reuses the weak model's RL supervision signal without running sparse-reward RL on the target model. Empirically, Direct-OPD consistently leverages weaker teachers to improve stronger target models; notably, it boosts Qwen3-1.7B from 48.3% to 58.3% on AIME 2024 in just 4 hours on 8 A100 GPUs. It outperforms step-matched direct RL and enables the sequential composition of multiple policy shifts. Our results show that RL outcomes can be reused across model scales as implicit reward signals, not merely as final models to imitate.

한 줄 요약

Direct-OPD는 약한 모델의 RL 학습을 강한 모델에 전이하여 AIME 2024에서 48.3% → 58.3% 성능 향상.

핵심 기여도

Direct-OPD는 약한 모델의 RL 유도 정책 변화를 강한 모델에 전이하는 새로운 방식을 제안.
Qwen3-1.7B 모델에서 AIME 2024 데이터셋에서 48.3%에서 58.3%로 10% 성능 향상 (8 A100 GPU, 4시간).
기존 on-policy distillation(OPD) 대비, 정책 변화(log-ratio)를 전이하여 강한 모델이 기존 정책을 덮어쓰는 문제를 해결.
다중 정책 변화를 순차적으로 결합할 수 있는 구조를 제공.

핵심 아이디어

기존 RLVR은 강한 모델에 직접 RL을 적용하는 것이 비용이 많이 들며, 약한 모델에서 RL을 수행한 후 그 결과를 강한 모델에 전이하는 접근이 필요하다. Direct-OPD는 약한 모델의 RL 전/후 정책(log-ratio)을 비교하여 유도된 정책 변화를 강한 모델에 전이한다. 이는 단순히 약한 모델의 최종 정책을 모방하는 것이 아니라, RL이 실제로 어떤 행동을 유도했는지를 학습하는 방식이다. 이 정책 변화는 KL-regularized RL 목적함수와 수학적으로 동등하며, 이는 약한 모델의 정책 변화가 학습된 보상 신호와 동일하다는 의미이다.

기술적 접근법

**Direct-OPD**: 약한 모델의 RL 전 정책(π_T_ref)과 RL 후 정책(π_T)의 log-ratio를 계산하여, 이 값을 강한 모델의 on-policy 상태에서 사용하는 **dense implicit reward**로 활용.
**Policy shift 정의**: Δ_T = log(π_T) - log(π_T_ref)
**KL 정규화**: 학생 모델의 초기 정책과의 일관성을 유지하기 위해 KL divergence 항을 추가.
**전이 대상**: 약한 모델의 정책 변화, 아닌 최종 정책.
**실험 환경**: Qwen3-1.7B, Qwen3-4B, R1-Distill-7B 등 다양한 모델에 적용.

주요 결과

Qwen3-1.7B 모델에서 AIME 2024 데이터셋에서 48.3% → 58.3% 성능 향상 (8 A100 GPU, 4시간).
Direct-OPD는 step-matched direct RL 대비 1/8 수준의 컴퓨팅 자원으로 동일 수준의 성능 달성.
R1-Distill-7B 모델은 56.7%에서 시작하여, post-RL teacher(JustRL-1.5B, 51.3%)보다 낮은 성능으로 끌려 내리는 OPD 문제를 해결.
다중 정책 변화를 순차적으로 결합하여 누적 성능 향상 가능.

의의 및 한계

Direct-OPD는 RL 학습 결과를 단순히 최종 모델로 복사하는 것이 아니라, **정책 변화 자체를 전이 가능한 신호로 활용**하는 새로운 패러다임을 제시한다. 이는 대규모 모델의 post-training 비용을 줄이고, 다양한 모델 간의 학습 이전을 가능하게 한다. 또한, 정책 변화가 학습된 보상과 수학적으로 동등하다는 점에서, RL 학습의 핵심 요소를 추출하여 재사용할 수 있다는 점에서 학술적 의의가 있다.

하지만, 이 신호는 조건에 의존적이며, 학생 모델이 방문한 상태에서 교사/참조 모델의 개선이 의미가 없을 경우 실패할 수 있다. 또한, 최적의 응답 길이와 KL 계수는 교사-학생 쌍에 따라 달라지며, 이는 추가적인 튜닝이 필요하다는 한계를 가진다.

실용적 활용

Direct-OPD는 대규모 언어 모델의 post-training 비용을 줄이고, 다양한 모델 간의 학습 이전을 가능하게 하므로, **대형 언어 모델 개발, 학습 효율성 향상, 다중 정책 학습** 등에 유용하게 활용될 수 있다. 특히, RL 학습 결과를 재사용하여 반복적인 학습 과정을 줄이는 데 적합하다.