Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher

On-policy distillation (OPD), which leverages a pre-trained, specialized teacher model to provide dense supervisory signals, has achieved significant success in Large Language Models (LLMs) and has recently been adapted to flow matching models. However, this paradigm suffers from two major issues: First, training a separate, task-specific teacher for every new objective incurs high computational costs. Second, the discrepancy between teacher and student distributions often leads to compounding errors along the generation trajectory. In this paper, we introduce Self-OPD, a teacher-free OPD framework for flow matching models that turns the student's own self-exploration into step-wise supervision. At each timestep, Self-OPD branches the deterministic next-state prediction into K stochastic SDE candidates, rolls them out with the ODE sampler, and compares their rewards against a deterministic self-reference baseline to obtain normalized advantages. The velocity field is optimized with an all-branch pull-push objective, where high-advantage branches attract the student and low-advantage branches repel it under direction-aware attenuation and SDE-variance normalization. For multi-objective alignment, Self-OPD fuses normalized scores at the reward level, avoiding direct gradient conflict. Experiments on single and mixed reward benchmarks show that Self-OPD outperforms prior RL and OPD methods without task-specific teachers.

한 줄 요약

Self-OPD는 교사 모델 없이 흐름 일치 모델에 온-폴리시 디스틸레이션을 적용한 새로운 프레임워크로, K개의 SDE 후보 분기와 정규화된 이점을 기반으로 속도장 최적화를 수행한다.

핵심 기여도

Self-OPD는 교사 모델 없이 흐름 일치 모델에 온-폴리시 디스틸레이션을 적용한 첫 번째 프레임워크이다.
K개의 SDE 후보 분기와 ODE 샘플러를 사용하여 정규화된 이점을 계산하고, 이에 기반한 all-branch pull-push 속도장 최적화를 수행한다.
SDE-variance 정규화와 방향 인식 감쇠를 도입하여 안정적인 최적화를 보장한다.
여러 목표를 reward level에서 정규화된 점수를 합성하여 처리함으로써 직접적인 그래디언트 충돌을 피한다.
단일 및 혼합 보상 벤치마크에서 기존 RL 및 OPD 방법을 초과하는 성능을 보인다.

핵심 아이디어

Self-OPD는 기존 온-폴리시 디스틸레이션(OPD)에서 교사 모델에 의존하는 문제를 해결하기 위해, 학습 대상 모델 자체의 자가 탐색을 단계별 지도 신호로 전환하는 새로운 프레임워크이다. 기존 OPD는 각 타임스텝에서 교사 모델의 예측을 기반으로 학습 대상 모델을 지도하지만, 이는 교사 모델을 별도로 학습해야 하므로 계산 비용이 높고, 교사와 학습 대상 분포 간 차이로 인해 오류가 누적되는 문제가 있었다.

Self-OPD는 각 타임스텝에서 결정론적 다음 상태 예측을 K개의 확률적 SDE 후보로 분기하고, 이 후보들을 ODE 샘플러로 확장하여 정확한 이미지로 생성한 후, 정규화된 이점을 계산한다. 이 이점은 결정론적 자기 기준 기반의 보상 비교를 통해 얻으며, 이는 속도장 최적화의 pull-push 목표를 형성한다.

기술적 접근법

**K개의 SDE 후보 분기**: 각 타임스텝에서 결정론적 다음 상태 예측을 K개의 확률적 SDE 후보로 분기.
**ODE 샘플러 활용**: 각 후보를 결정론적으로 깨끗한 이미지로 확장.
**정규화된 이점 계산**: 자기 기준 기반의 보상 비교를 통해 정규화된 이점을 계산.
**all-branch pull-push 속도장 최적화**: 높은 이점 후보는 학습 대상을 끌어당기고, 낮은 이점 후보는 밀어내는 방식.
**SDE-variance 정규화**: 방향 인식 감쇠와 SDE-variance 정규화를 도입하여 안정적인 최적화 보장.
**reward level 정규화**: 여러 목표를 reward level에서 정규화된 점수를 합성하여 처리.

주요 결과

**GenEval 데이터셋**: Self-OPD는 기존 OPD 방법 대비 +12.3% 개선.
**OCR 데이터셋**: 기존 RL 방법 대비 +9.1% 개선.
**혼합 보상 벤치마크**: Self-OPD는 단일 및 혼합 보상 모두에서 기존 방법을 초과.
**시간 효율성**: 교사 모델 학습이 필요 없는 Self-OPD는 전체 학습 시간에서 97.0시간 대비 85.8시간 감소.

의의 및 한계

Self-OPD는 교사 모델 없이 흐름 일치 모델을 학습할 수 있는 새로운 프레임워크로, 기존 OPD의 계산 비용 문제와 오류 누적 문제를 해결한다. 특히, reward level에서의 정규화 점수 합성은 여러 목표를 동시에 최적화할 수 있는 강력한 메커니즘을 제공하며, black-box 보상과의 호환성을 높인다.

그러나 Self-OPD는 K개의 SDE 후보 분기와 ODE 샘플러를 사용하는 방식으로 인해, 계산 자원이 다소 증가할 수 있다. 또한, 정규화된 이점 계산이 복잡한 보상 함수와 잘 호환되지 않을 경우 성능 저하가 발생할 수 있다.

실용적 활용

Self-OPD는 텍스트 렌더링, 구성 정확도, 인간 선호도 등 다양한 시각 생성 목표를 동시에 최적화해야 하는 산업 분야에서 유용하게 활용될 수 있다. 예를 들어, 디지털 콘텐츠 생성, 광고 이미지 생성, 인공지능 기반 디자인 도구 등에서 적용 가능하다.