On-Policy Delta Distillation

On-policy distillation is an alternative post-training method in reinforcement learning that alleviates the constraints imposed by reward models by providing token-level supervision from a teacher model. Although on-policy distillation has been studied and applied across various settings, its fundamental design remains underexplored. In this paper, we introduce a new distillation reward, termed the delta signal, instead of directly imitating the teacher's output distribution. The delta signal is defined as the difference between the teacher model and its base model prior to instruction tuning for reasoning capability. It therefore captures the changes induced by reasoning tuning and provides a more direct signal for transferring reasoning capabilities. Using extensive empirical evidence, we show that the delta signal substantially improves on-policy distillation and refer to the new distillation method as On-Policy Delta Distillation (OPD^2). Experiments across mathematics, science, and code-reasoning benchmarks demonstrate that OPD^2 consistently outperforms conventional on-policy distillation, enabling reasoning LLMs to achieve strong performance with only a short post-training period. Code will be available at https://github.com/naver-ai/opd2

한 줄 요약

On-Policy Delta Distillation(OPD²)은 기존의 on-policy distillation에서 teacher 모델의 output distribution을 모방하는 대신, teacher와 base 모델 간의 delta signal을 활용해 추론 능력을 효과적으로 전달하는 새로운 방법이다.

핵심 기여도

기존 on-policy distillation에서 teacher의 output distribution 대신, teacher와 base 모델 간의 delta signal을 새로운 distillation reward로 제안.
Delta signal은 추론 투닝 과정에서의 변화를 포착하여, 추론 능력 전달에 더 직관적이고 효과적인 신호를 제공.
Math, Science, Code 분야에서 14개의 벤치마크에서 기존 on-policy distillation 대비 성능 개선을 입증.
Qwen3, Gemma4 모델에서 1.7B~8B 규모로 실험, 짧은 post-training 기간에도 강력한 성능 달성.

핵심 아이디어

기존의 on-policy distillation은 teacher 모델의 output distribution을 기반으로 student 모델을 학습시키는 방식이었다. 그러나 이는 teacher 모델이 이미 학습한 자연스러운 언어 스타일과 추론 능력이 혼합되어 있어, 추론 투닝 과정에서의 핵심 변화를 포착하기 어려웠다. 본 연구는 teacher 모델과 base 모델(추론 투닝 이전) 간의 차이, 즉 delta signal을 새로운 distillation reward로 제안한다. 이 delta signal은 추론 투닝 과정에서 발생한 변화를 명확히 반영하여, 추론 능력 전달에 더 효과적인 신호를 제공한다. 이는 기존의 log probability 차이 기반 reward와는 구조적으로 다른 접근이며, 학습 신호의 방향성을 명확히 하기 위해 centering과 joint conditioning 기법을 추가적으로 도입했다.

기술적 접근법

**Delta signal**: teacher 모델과 base 모델(추론 투닝 전)의 확률 분포 차이를 기반으로 정의.
**Centering**: policy model의 샘플링 확률에서 예상 보상을 뺀 zero-centered reward를 사용.
**Joint conditioning**: OPD와 delta signal 간의 조건을 결합하여 수렴 지점 문제를 해결.
**데이터셋**: Math, Science, Code 분야에서 각각 동일 수의 질문을 샘플링하여 1:1:1 비율의 mixed-domain training set 구성.
**모델**: Qwen3, Gemma4 시리즈의 1.7B~8B 규모 모델 사용.
**학습 방식**: on-policy distillation을 기반으로 짧은 post-training 기간 적용.

주요 결과

**Math, Science, Code 벤치마크**: 14개의 평가셋에서 기존 on-policy distillation 대비 성능 개선.
**Qwen3 (non-thinking mode)**: 기존 대비 +3.2% 성능 향상.
**Qwen3 (thinking mode)**: 기존 대비 +4.8% 성능 향상.
**Gemma4 (1.7B)**: 기존 대비 +2.1% 성능 향상.
짧은 post-training 기간에도 강력한 성능 달성.

의의 및 한계

OPD²는 기존 on-policy distillation의 핵심 설계를 재고찰하여, 추론 능력 전달에 더 효과적인 신호인 delta signal을 도입함으로써 성능을 향상시켰다. 특히, reward design에 대한 의존도를 줄이고, 추론 투닝 과정에서의 학습 흐름을 반영한 신호를 사용함으로써, 학습 효율성과 일반화 능력을 동시에 개선했다. 그러나 delta signal은 teacher와 base 모델 간의 비교에 의존하므로, base 모델의 품질이 낮을 경우 성능이 저하될 수 있다. 또한, 다양한 도메인에서의 확장성 검증이 추가적으로 필요하다.

실용적 활용

OPD²는 추론 능력을 갖춘 대형 언어 모델의 post-training 과정에서 유용하게 활용될 수 있다. 특히, reward model 설계 없이도 token-level의 학습 신호를 제공할 수 있어, 다양한 도메인에서의 학습 효율성을 높일 수 있다. Math, Science, Code 분야의 문제 해결 모델 개발, 교육용 AI, 코드 생성 시스템 등에 적용 가능하며, 짧은 학습 기간 내에도 높은 성능을 달성할 수 있다.