DanceOPD: On-Policy Generative Field Distillation

Modern image generation demands a single model that unifies diverse capabilities, including text-to-image (T2I), local editing, and global editing. However, these capabilities are rarely naturally aligned and often conflict. For instance, editing tends to degrade T2I performance, while global and local editing interfere with each other. Consequently, effectively composing these capabilities has become a central challenge for image generation model training. To tackle this, we introduce DanceOPD, an on-policy generative field distillation framework for flow-matching models that routes each sample to one capability field, queries one low-noise student-induced state, and trains with a simple velocity MSE objective. With each capability source defined as a velocity field over the shared flow state space, the student learns from fields queried on its own rollout states to compose expert capabilities. This formulation also absorbs operator-defined fields such as classifier-free guidance. Comprehensive experiments on T2I, editing, realism-field absorption, and CFG absorption show that our approach improves multi-capability composition, strengthening target capabilities while preserving anchor generation quality. We believe this work establishes a practical route for generative field distillation in flow-matching models.

한 줄 요약

DanceOPD는 흐름 일치 모델에서 다양한 생성 능력을 통합하기 위한 온-폴리시 생성 필드 지도 프레임워크이다.

핵심 기여도

DanceOPD는 흐름 일치 모델을 위한 온-폴리시 생성 필드 지도 프레임워크로, 각 샘플을 하나의 능력 필드로 라우팅한다.
학습은 단순한 속도 MSE 손실을 사용하며, 학습 대상은 낮은 노이즈 학생 유도 상태이다.
생성 필드는 공유 흐름 상태 공간 상의 속도 필드로 정의되어, 전문가 능력을 합성할 수 있다.
분류기-프리 가이던스(CFG)와 같은 연산자 정의 필드를 흡수할 수 있다.

핵심 아이디어

DanceOPD는 생성 모델이 여러 생성 능력을 독립적으로 유지하면서도 통합적으로 학습할 수 있도록 설계되었다. 기존 접근법에서는 텍스트-이미지 생성, 지역 편집, 전역 편집 등이 서로 간섭하여 성능이 저하되는 문제가 있었다. 이에 반해, DanceOPD는 각 샘플이 특정 생성 능력에 해당하는 필드로 라우팅되며, 학습 과정에서 해당 필드의 속도 정보를 기반으로 학습한다. 학생 모델은 자신의 롤아웃 상태에서 전문가 필드를 쿼리하여 능력을 합성하며, 이는 분류기-프리 가이던스와 같은 외부 조작을 자연스럽게 흡수할 수 있게 한다.

기술적 접근법

모델: 흐름 일치(flow-matching) 기반 생성 모델
학습 방식: 온-폴리시(on-policy) 학습
손실 함수: 속도 MSE 손실
학습 대상: 낮은 노이즈 학생 유도 상태
필드 정의: 공유 흐름 상태 공간 상의 속도 필드로 정의된 생성 능력
흡수 가능한 필드: 분류기-프리 가이던스(CFG)

주요 결과

텍스트-이미지 생성, 편집, 현실성 필드 흡수, CFG 흡수 실험에서 다중 능력 구성이 개선되었다.
학습된 모델은 목표 능력을 강화하면서 기준 생성 품질을 유지했다.
구체적인 수치는 명시되지 않지만, 실험적으로 능력 간 간섭이 감소한 것으로 나타났다.

의의 및 한계

DanceOPD는 흐름 일치 모델에서 생성 능력을 통합하는 실용적인 방법을 제시하며, 생성 모델의 다중 태스크 학습에 기여할 수 있다. 특히, 생성 필드를 속도 필드로 정의함으로써 전문가 능력과 외부 조작을 유연하게 흡수할 수 있다는 점에서 학술적 의의가 있다. 그러나 초록에서는 구체적인 성능 향상 수치나 비교 실험 세부 사항이 명시되지 않았으며, 실제 산업 적용 가능성에 대한 평가도 포함되어 있지 않다.

실용적 활용

DanceOPD는 텍스트-이미지 생성, 이미지 편집, 생성 모델의 다중 능력 학습이 필요한 디지털 콘텐츠 산업 및 연구 분야에서 활용될 수 있다. 특히, 생성 모델이 다양한 작업을 독립적으로 수행하면서도 일관된 품질을 유지해야 하는 상황에 적합하다.