Intrinsic Distribution Matching

One-step and few-step text-to-image generation must accurately render the details specified in the prompt despite limited opportunities for refinement. Distribution matching distillation (DMD) uses score differences to bring the generated distribution closer to a reference distribution. Following prior work, we estimate this difference with internal velocity branches, avoiding a separate fake-score network. We ask whether an explicit moment constraint improves this learned score supervision. A decomposition of the reverse-KL field into a Gaussian moment component and a non-Gaussian residual identifies statistics that can be constrained explicitly. We introduce Intrinsic Distribution Matching (IDM), which retains the full DMD correction and matches feature means and per-coordinate standard deviations using the generator's exponential-moving-average (EMA) copy, requiring no external feature encoder. Experiments use full-parameter and low-rank adaptation (LoRA) tuning on Z-Image-Turbo 6B and Qwen-Image 20B. At two network evaluations, IDM reaches 94.25% and 90.20% on Chinese and English LongText-Bench, the highest scores among the compared methods at this budget. Controlled ablations show gains from the added moment loss, while generator EMA features perform competitively with an external DINOv2 encoder across the five reported metrics. Code is available at https://github.com/inclusionAI/IDM.

한 줄 요약

Intrinsic Distribution Matching (IDM)은 생성 모델의 EMA 특성을 활용해 분포 일치를 향상시키며, 2회 네트워크 평가에서 LongText-Bench에서 최고 성능을 달성한다.

핵심 기여도

생성기의 EMA 복사본을 사용해 특징 평균과 표준편차를 일치시키는 새로운 통계적 감독 방식 제안.
DINOv2 외부 인코더 없이 생성기 내부에서 특징 추출 및 점수 추정을 수행.
Z-Image-Turbo 6B에서 LongText-Bench(중국어 94.25%, 영어 90.20%)에서 기존 방법 대비 2.63% 및 0.32% 개선.
LoRA와 전체 매개변수 조정을 통해 6B 및 20B 백본 모델에서 실험 수행.

핵심 아이디어

기존 DMD는 생성 분포와 참조 분포 간 점수 차이를 사용해 분포 일치를 학습하지만, 이는 학습된 점수 추정치와 유한한 학습으로 인해 불확실성이 발생할 수 있다. 본 연구는 reverse-KL 점수 차이를 가우시안 모멘트 성분과 비가우시안 잔차로 분해함으로써, 통계적 제약을 명시적으로 도입할 수 있음을 제시한다. 이에 따라, 생성기의 EMA 복사본을 활용해 특징 평균과 표준편차를 일치시키는 새로운 통계적 손실 함수를 추가한 IDM을 제안한다. 이는 외부 인코더 없이 생성기 내부에서 점수 추정과 특징 추출을 동시에 수행할 수 있는 구조를 갖는다.

기술적 접근법

**IDM**: DMD에 생성기 EMA 복사본을 사용한 평균 및 표준편차 일치 손실(ℒ<sub>pop</sub>) 추가.
**EMA 활용**: 생성기의 EMA 복사본을 사용해 생성 샘플과 참조 샘플의 공유 표현을 제공.
**LoRA 및 전체 매개변수 조정**: Z-Image-Turbo 6B와 Qwen-Image 20B 모델에서 실험 수행.
**네트워크 평가 수**: 2회 평가(NFE=2)에서 LongText-Bench 성능 평가.
**점수 추정**: 내부 velocity branch를 사용해 별도의 fake-score 네트워크 없이 점수 차이 추정.

주요 결과

Z-Image-Turbo 6B에서 LongText-Bench 중국어 94.25%, 영어 90.20% 달성.
기존 Z-Image-Turbo++ 대비 각각 2.63% 및 0.32% 개선.
생성기 EMA 특징은 DINOv2 외부 인코더와 5개 메트릭에서 경쟁력 있는 성능 보임.
통제된 ablation 실험에서 추가된 ℒ<sub>pop</sub> 손실이 성능 향상에 기여함을 확인.

의의 및 한계

IDM은 생성기 내부에서 통계적 일치를 구현함으로써 외부 인코더에 의존하지 않는 새로운 분포 일치 방법을 제시한다. 이는 few-step 이미지 생성에서 높은 정확도와 효율성을 동시에 달성할 수 있음을 보여준다. 그러나, IDM은 복잡한 비가우시안 분포를 완전히 포착하지 못할 수 있으며, 이는 추가적인 연구가 필요하다. 또한, 모델 크기(6B, 20B)에 따라 성능 차이가 발생할 수 있으므로, 다양한 규모의 모델에서의 일반화 가능성도 검증이 필요하다.

실용적 활용

IDM은 빠른 이미지 생성이 필요한 산업 분야(예: 실시간 콘텐츠 생성, 디지털 마케팅)에서 유용하게 활용될 수 있다. 또한, 생성 모델의 효율적 미세조정(LoRA)이 필요한 연구 상황에서도 적용 가능하다.