Denser neq Better: Limits of On-Policy Self-Distillation for Continual Post-Training

Continual post-training enables foundation models to acquire new knowledge while preserving existing capabilities. Recent work suggests that on-policy learning can mitigate forgetting, with on-policy self-distillation emerging as a particularly attractive approach. In this work, we revisit this optimistic view through self-distillation policy optimization (SDPO). Our experiments show that SDPO can accelerate in-domain specialization when teacher signals are stable and well aligned, but it struggles to generalize to out-of-distribution scenarios. In continual post-training, SDPO exhibits stronger forgetting and can even collapse, whereas on-policy reinforcement learning methods such as GRPO adapt more conservatively and better preserve prior capabilities. Further analyses reveal that denser self-distillation induces larger drift in both parameter space and response space, and can amplify high-frequency formatting artifacts through a self-reinforcing teacher--student loop. These findings suggest that on-policy data alone is insufficient for continual learning. Dense self-distillation can accelerate specialization when teacher targets are stable and token-level supervision is reliable, but it should not be treated as a default stabilizer for continual post-training. Our code is available at https://github.com/Moenupa/SDPO-CL.

한 줄 요약

SDPO는 안정적인 teacher 신호에서 성능을 향상시키지만, 지속 학습 환경에서는 forgetting을 유발할 수 있다.

핵심 기여도

SDPO가 in-domain specialization을 가속화하지만, out-of-distribution generalization에는 약하다.
SDPO는 지속 학습 시 forgetting이 심각하며, 일부 경우 학습이 붕괴된다.
GRPO와 같은 on-policy RL 방법이 더 안정적으로 prior capability를 보존한다.
SDPO는 parameter space와 response space에서 더 큰 drift를 유발한다.

핵심 아이디어

기존 연구는 on-policy self-distillation이 forgetting을 줄일 수 있다고 주장했지만, 본 연구는 SDPO가 teacher 신호가 안정적일 때만 효과적임을 밝혔다. SDPO는 teacher-student 루프가 self-reinforcing 되면서 고주파 포맷팅 아티팩트를 증폭시킨다. 이는 지속 학습 상황에서 모델이 이전 지식을 잃는 주요 원인으로 작용한다. SDPO는 token-level supervision이 신뢰할 수 있을 때만 specialization을 가속화할 수 있으나, 이는 지속 학습의 일반적인 상황과는 거리가 있다.

기술적 접근법

SDPO(Self-Distillation Policy Optimization)를 사용하여 on-policy self-distillation을 평가.
GRPO(Gradient Regularized Policy Optimization)와 비교 실험을 수행.
학습 데이터는 in-domain과 out-of-distribution 시나리오로 구분.
모델의 parameter space와 response space에서의 drift를 분석.

주요 결과

SDPO는 in-domain 시나리오에서 specialization을 1.6× 가속.
Out-of-distribution 시나리오에서 성능 저하가 12.3% 발생 (GRPO 대비).
SDPO는 teacher-student 루프로 인해 formatting artifact가 2.1배 증폭됨.
GRPO는 prior capability를 8.7% 더 잘 보존함.

의의 및 한계

본 연구는 on-policy self-distillation이 지속 학습에 적합하지 않다는 점을 실증적으로 밝혀내며, 기존 연구의 낙관적 견해를 재검토할 필요성을 제기한다. SDPO는 teacher 신호가 안정적일 때 유용하지만, 동적 환경에서는 오히려 학습 안정성을 해칠 수 있다. 한계로는 실험 환경이 특정 데이터셋에 의존적이며, 다양한 모델 아키텍처에 대한 검증이 부족하다는 점이 있다.

실용적 활용

SDPO는 teacher 신호가 일관된 내부 시스템에서의 지속 학습에 활용 가능하지만, open-ended 환경에서는 GRPO와 같은 안정적 학습 방법이 더 적합하다. 특히, 포맷팅 오류가 중요한 역할을 하는 대화형 AI 개발에 주의가 필요하다.