DOPD: Dual On-policy Distillation

On-policy distillation (OPD) offers superior capacity transfer by supervising student-sampled trajectories with dense token-level signals. To furnish high-quality supervision sources and thereby elevate the performance frontier of distillation, an intuitive direction is to infuse privileged information to either teacher or student itself. However, this additional input induces a potential failure mode we dub privilege illusion: a pattern that conflates the transferable capability gap that students are meant to close, and the information asymmetry gap that can only be mimicked but never replicated. This issue is further amplified by the inherent non-uniformity of token-level supervision, where only a small subset of tokens carries pivotal capability-bearing signals. To this end, we propose DOPD, an advantage-aware dual distillation paradigm that dynamically routes token-level supervision between privileged teacher and privileged student policies based on their advantage gap and relative probabilities. Each token receives supervision of different strength, objective, and strategy from either teacher or student itself, which transfers credible capability while simultaneously receiving auxiliary signals, to alleviate privilege illusion. Extensive experiments on both large language model (LLM) and vision-language model (VLM) settings demonstrate that DOPD consistently outperforms Vanilla OPD and other counterparts. Further results on stability, robustness, continual learning, and out-of-distribution tasks validate its superiority.

한 줄 요약

DOPD는 정보 비대칭성에 기반한 '프라이버리지 일루전' 문제를 완화하기 위해 강약 정책 간의 토큰 수준 지도를 동적으로 라우팅하는 이중 온-폴리시 디스틸레이션 프레임워크이다.

핵심 기여도

**DOPD**라는 이중 온-폴리시 디스틸레이션 프레임워크를 제안하여, 토큰 수준의 지도를 강자 정책(teacher)과 학습자 정책(student) 간에 **프라이버리지 어드밴티지 갭**(advantage gap)과 **상대 확률**(relative probabilities)에 따라 동적으로 라우팅.
**LLM**과 **VLM** 설정에서 Vanilla OPD 대비 평균 **7.5점**과 **6.0점**의 성능 개선을 달성.
**토큰 수준의 비균일성**(non-uniformity)과 **프라이버리지 일루전**(privilege illusion) 문제를 해결하여, **연속 학습**(continual learning), **분포 외**(out-of-distribution) 태스크, **훈련 안정성**에서 우수한 결과를 보임.

핵심 아이디어

기존의 온-폴리시 디스틸레이션(OPD)은 학습자 정책이 샘플링한 경로를 강자 정책의 토큰 수준 신호로 지도받는 방식으로, 분포 이탈 문제를 완화하고 효율적인 디스틸레이션을 가능하게 한다. 그러나 **프라이버리지**(privileged information)를 도입하면, 학습자는 정보 비대칭성에 기반한 '일루전'을 학습하게 되어, 실제 전이 가능한 능력이 아닌 단순한 입력 의존성을 학습할 수 있다. 이는 **토큰 수준의 비균일성**(non-uniformity)과 결합되어, 일부 토큰이 핵심 능력 신호를 담고 있는 반면, 다른 토큰은 프라이버리지에 의존하는 **저가치 신호**를 제공하게 된다. DOPD는 이러한 문제를 해결하기 위해, **강자 정책**(teacher)과 **학습자 정책**(student) 간의 **어드밴티지 갭**(advantage gap)과 **상대 확률**(relative probabilities)을 기반으로, 토큰별로 지도의 **강도**(strength), **목표**(objective), **전략**(strategy)를 동적으로 조정한다.

기술적 접근법

**DOPD**(Dual On-policy Distillation)는 **프라이버리지 어드밴티지 갭**(advantage gap)과 **상대 확률**(relative probabilities)을 기반으로 토큰 수준 지도를 라우팅.
**강자 정책**(teacher)이 **능력 중심 토큰**(capacity-bearing tokens)에 대해 **강한 토큰 수준 디스틸레이션**(strong full-vocabulary teacher distillation)을 적용.
**프라이버리지에 의존하는 토큰**(privileged-dependent tokens)에는 **가벼운 또는 약한 디스틸레이션**(light or weak distillation)을 적용.
**LLM**(large language model)과 **VLM**(vision-language model) 설정에서 실험.
**하이퍼파라미터**는 명시되지 않음.

주요 결과

**LLM** 설정에서 **Vanilla OPD 대비 평균 7.5점** 개선.
**VLM** 설정에서 **Vanilla OPD 대비 평균 6.0점** 개선.
**5개 모델 쌍**(model pairs)에서 **6.2~10.6점** 범위의 일관된 성능 향상.
**연속 학습**(continual learning), **분포 외**(out-of-distribution) 태스크, **훈련 안정성**(training stability)에서도 우수한 결과.

의의 및 한계

DOPD는 프라이버리지 일루전 문제를 해결함으로써, 디스틸레이션의 성능 한계를 극복하고, 실제 전이 가능한 능력을 학습하는 데 기여한다. 특히, **토큰 수준의 비균일성**과 **정보 비대칭성**을 고려한 **동적 지도 라우팅**은 기존 OPD의 단점을 보완하며, **강자 정책과 학습자 정책의 상호작용**을 최적화한다. 그러나, **프라이버리지 정보의 종류**(예: LLM의 추론 힌트, VLM의 구조화된 시각적 어노테이션)에 따라 성능이 달라질 수 있으며, **하이퍼파라미터 조정**이나 **토큰 분류 기준**에 대한 추가 연구가 필요할 수 있다.

실용적 활용

DOPD는 **대규모 언어 모델**(LLM)과 **비전-언어 모델**(VLM)의 효율적인 디스틸레이션에 적용 가능하며, **프라이버리지 정보**(예: 추론 힌트, 어노테이션)가 포함된 상황에서 특히 유용하다. **교육**(교육용 AI), **의료**(의료 추론), **금융**(금융 분석) 등에서 **정확성과 안정성**을 동시에 요구하는 태스크에 활용 가능하다.