Continuous-Time Distribution Matching for Few-Step Diffusion Distillation

Step distillation has become a leading technique for accelerating diffusion models, among which Distribution Matching Distillation (DMD) and Consistency Distillation are two representative paradigms. While consistency methods enforce self-consistency along the full PF-ODE trajectory to steer it toward the clean data manifold, vanilla DMD relies on sparse supervision at a few predefined discrete timesteps. This restricted discrete-time formulation and mode-seeking nature of the reverse KL divergence tends to exhibit visual artifacts and over-smoothed outputs, often necessitating complex auxiliary modules -- such as GANs or reward models -- to restore visual fidelity. In this work, we introduce Continuous-Time Distribution Matching (CDM), migrating the DMD framework from discrete anchoring to continuous optimization for the first time. CDM achieves this through two continuous-time designs. First, we replace the fixed discrete schedule with a dynamic continuous schedule of random length, so that distribution matching is enforced at arbitrary points along sampling trajectories rather than only at a few fixed anchors. Second, we propose a continuous-time alignment objective that performs active off-trajectory matching on latents extrapolated via the student's velocity field, improving generalization and preserving fine visual details. Extensive experiments on different architectures, including SD3-Medium and Longcat-Image, demonstrate that CDM provides highly competitive visual fidelity for few-step image generation without relying on complex auxiliary objectives. Code is available at https://github.com/byliutao/cdm.

📋 한 줄 요약

**[확산 모델 / 디스틸레이션]** 이산 시점 anchor에 묶여 있던 DMD를 연속 시간으로 확장한 CDM을 통해 보조 GAN·보상 모델 없이도 우수한 few-step 이미지 생성 충실도를 달성한다.

🎯 핵심 기여도

DMD의 고질적 한계인 sparse한 이산 anchor 감독을 처음으로 연속 시간 최적화로 일반화한 Continuous-Time Distribution Matching(CDM) 제안
고정 이산 스케줄을 임의 길이의 동적 연속 스케줄로 대체해 샘플링 궤적 위 임의 지점에서 분포 매칭 수행
학생 모델의 속도장으로 외삽한 latent에서 적극적으로 off-trajectory 정렬을 수행하는 연속 시간 정렬 목적함수 도입
SD3-Medium, Longcat-Image 등 다양한 아키텍처에서 GAN·보상 모델 같은 보조 모듈 없이도 경쟁력 있는 few-step 생성 품질 달성

💡 핵심 아이디어

DMD의 reverse KL 모드 추구 성향과 sparse한 이산 timestep 감독은 결과물에서 시각적 아티팩트와 과도한 평활화를 만들어 흔히 GAN이나 보상 모델이라는 외부 보강이 필요했다. 분포 매칭을 PF-ODE 궤적 전반의 임의 지점에서 연속적으로 강제하면 이런 보조 장치 없이도 일관성 학습의 장점을 흡수할 수 있다.

🔬 기술적 접근법

**모델/방법론**: CDM — DMD를 연속 시간으로 확장한 step distillation 프레임워크
**핵심 기법**: (1) 고정된 몇 개 timestep 대신 무작위 길이의 동적 연속 스케줄을 사용해 샘플링 궤적 위 어디에서나 분포 매칭을 강제, (2) 학생 모델의 속도장을 이용해 궤적 밖으로 외삽한 latent에서 적극적으로 분포 정렬을 수행하는 연속 시간 alignment objective로 일반화 성능과 미세 시각 디테일을 동시에 보존

📊 주요 결과

SD3-Medium과 Longcat-Image에서 few-step 생성 시각 충실도가 기존 DMD 계열 대비 우수
별도의 GAN, 보상 모델, 강화학습 없이도 경쟁력 있는 결과 도출
코드가 GitHub(byliutao/cdm)에서 공개되어 재현·확장 가능

💭 의의 및 한계

**의의**: DMD 계열의 step distillation에서 보조 모델 의존을 줄이는 정공법을 제시해, 더 단순하고 안정적인 few-step 디퓨전 가속 학습 패러다임을 연다. **한계**: 연속 시간 스케줄과 외삽 기반 정렬이 추가 학습 비용을 일부 동반하며, 매우 짧은 step 수(예: 1-step)에서의 한계는 기존 디스틸레이션과 유사하게 남을 수 있다.

🚀 실용적 활용

모바일·엣지 환경을 위한 few-step 텍스트-투-이미지 생성 모델 가속
기존 SD3·Longcat 같은 대형 백본의 추론 속도 최적화
GAN·보상 모델 없이도 안정적인 디스틸레이션이 필요한 영상·디자인 도구