MOPD: Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training

Modern large language models (LLMs) rely on reinforcement learning during post-training to push specific capabilities, yet integrating multiple capabilities into one model remains hard. Existing methods, such as Off-Policy Finetune and Mix-RL, are either inefficient or lose performance. In this work, we propose Multi-teacher On-Policy Distillation (MOPD), a post-training paradigm for combining the capabilities of multiple domain RL teachers: we first run per-domain specialised RL to obtain a set of domain teachers, then distill these teachers into the student on its own rollouts. This eliminates exposure bias and provides a dense optimization signal. On Qwen3-30B-A3B, MOPD outperforms Mix-RL, Cascade RL, Off-Policy Finetune, and Param-Merge baselines, inheriting nearly all of each teacher's capability. MOPD also enables parallel, independent development of domain teachers, removing the cross-domain coupling typical of multi-domain post-training. MOPD has been deployed in the post-training of MiMo-V2-Flash, an industrial-scale frontier model, demonstrating its practical value for capability integration in frontier-scale LLMs.

한 줄 요약

MOPD는 다중 도메인 강화 학습 교사 모델을 정책 공간에서 통합하는 새로운 포스트 트레이닝 패러다임으로, Qwen3-30B-A3B에서 기존 방법 대비 5.5점 높은 정규화 점수를 달성했다.

핵심 기여도

MOPD는 각 도메인별 강화 학습 교사 모델을 별도로 학습한 후, 정책 공간에서 온-폴리시 디스틸레이션을 통해 통합한다.
Qwen3-30B-A3B에서 Mix-RL, Cascade RL, Off-Policy Finetune, Param-Merge 대비 5.5점 높은 정규화 점수(0.937 vs. 0.882)를 달성.
MiMo-V2-Flash 모델에 실제 적용되어 대규모 LLM에서의 실용성을 입증.
교사 모델 개발을 병렬화하여 도메인 간 의존성을 제거하고, 안정적인 최적화를 지원.

핵심 아이디어

기존의 다중 능력 통합 방법(Mix-RL, Cascade RL 등)은 도메인 간 간섭, 노출 편향, 불안정성 등의 문제를 야기한다. MOPD는 이러한 문제를 해결하기 위해 **정책 공간**(policy space)에서의 통합을 제안한다. 학습 단계는 다음과 같다:
1. **Stage-2**: 각 도메인별 특화된 강화 학습을 독립적으로 수행하여 강력한 교사 모델을 생성.
2. **Stage-3**: 학습된 교사 모델을 학습자 모델에 온-폴리시 디스틸레이션을 통해 통합.
이 방식은 학습자 모델의 자체 rollout 분포를 기반으로 하므로 노출 편향을 제거하고, 각 교사의 밀집된 최적화 신호를 활용할 수 있다. 또한, 가중치 공간 대신 정책 공간에서의 통합으로 안정성을 높인다.

기술적 접근법

**MOPD**는 각 도메인별 RL 교사 모델을 별도로 학습한 후, 학습자 모델의 rollout 분포에서 온-폴리시 디스틸레이션을 수행.
디스틸레이션 시, 각 프롬프트는 해당 도메인의 교사 모델로 라우팅되고, 교사는 토큰 수준의 로그 확률(log-probability) 신호를 제공.
사용된 모델: Qwen3-30B-A3B, MiMo-V2-Flash.
평가 지표: 정규화 점수(normalised score), 도메인별 정확도 차이를 기반으로 계산.
디스틸레이션 방식: policy gradient, top-k loss.
교사 모델은 동일한 초기화(same-origin)에서 학습되어야 안정적인 최적화가 가능.

주요 결과

Qwen3-30B-A3B에서 MOPD는 Mix-RL, Cascade RL, Off-Policy Finetune, Param-Merge 대비 5.5점 높은 정규화 점수(0.937 vs. 0.882)를 달성.
각 도메인에서 학습자-교사 간 성능 격차의 91–95%를 줄임.
MiMo-V2-Flash에서 MOPD는 대부분의 벤치마크에서 교사 모델 수준을 유지하거나 초과.
정책-그라디언트와 top-k 손실 방식은 유사한 성능을 보임.

의의 및 한계

MOPD는 기존 다중 도메인 포스트 트레이닝의 주요 문제(도메인 간 간섭, 노출 편향, 불안정성)를 구조적으로 해결하며, 대규모 LLM에서의 실용성을 입증했다. 특히, 병렬 개발과 레시피 수준의 분리가 가능해져 개발 효율성을 높인다. 그러나, MOPD는 교사 모델이 동일한 초기화에서 학습되어야 안정적인 최적화가 가능하다는 점에서 제약이 있다. 또한, 디스틸레이션 과정에서의 복잡성과 계산 비용도 고려해야 한다.

실용적 활용

MOPD는 소프트웨어 개발, 수학적 추론, 지시어 준수, 창의적 글쓰기 등 다양한 도메인에서 동시에 높은 성능을 요구하는 산업용 LLM 개발에 적용 가능하다. MiMo-V2-Flash 모델에 이미 적용된 바 있어, 대규모 모델의 포스트 트레이닝 및 능력 통합에 있어 실용적인 솔루션이다.