Perceptual Flow Matching for Few-Step Generative Modeling

We propose Perceptual Flow Matching (PFM), a simple yet effective framework for few-step generation in flow-matching models. Rather than performing velocity regression in the conventional VAE latent space, PFM supervises flow matching in a perceptual feature space using pretrained perceptual models. This simple change substantially improves the few-step generation capability of flow-matching models, reducing the number of sampling steps from 35-50 to 4-8 while preserving generation quality. Unlike existing acceleration and distillation approaches, PFM requires neither teacher models nor auxiliary score networks and can be integrated into standard flow-matching training pipelines with minimal modifications. Extensive experiments on image generation, video generation, and image editing tasks demonstrate that PFM consistently produces high-quality results while producing fewer artifacts than existing distillation-based methods. We further show that perceptual supervision shifts the regression minimizer from mean-seeking to mode-seeking, biasing predictions toward on-manifold modes that remain accurate under coarse few-step integration. Our results reveal that standard flow-matching training can naturally yield high-quality few-step generators when supervised in an appropriate representation space. We hope this insight inspires future research into representation-aware objectives for efficient generative modeling.

한 줄 요약

Perceptual Flow Matching(PFM)은 4~8단계로도 높은 품질의 생성을 가능하게 하는 간단한 흐름 일치 프레임워크이다.

핵심 기여도

기존 VAE 잠재 공간에서의 속도 회귀 대신, 사전 학습된 perceptual 모델을 사용한 perceptual feature 공간에서 흐름 일치를 감독함으로써, 생성 단계 수를 35~50에서 4~8로 줄임.
교사 모델, 보조 점수 네트워크, 또는 별도의 디스틸레이션 파이프라인 없이 기존 흐름 일치 훈련 파이프라인에 최소한의 수정만으로 통합 가능.
COCO 2014 val 벤치마크에서 8단계 생성 기준 FID 33.93, CLIP 31.70, HPSv3 11.42 성능 달성.
Perceptual 감독이 회귀 최소화자를 mean-seeking에서 mode-seeking으로 전환하여, few-step에서도 정확한 on-manifold 예측을 유도함.

핵심 아이디어

기존 흐름 일치 모델은 VAE 잠재 공간에서 속도를 회귀하는 방식을 사용하지만, 이는 다중 모드 분포에서 평균을 추정하는 경향이 있어 few-step에서는 흐릿한 결과를 유발한다. PFM은 이 문제를 해결하기 위해, 사전 학습된 perceptual 모델(예: DINOv2, SigLIP)을 사용하여 decoded 이미지의 perceptual feature 공간에서 흐름 일치를 감독한다. 이는 흐름 일치의 최적화 목표를 mean-seeking에서 mode-seeking으로 전환하여, few-step에서도 on-manifold에 가까운 예측을 유도한다. 이는 흐름 일치 훈련 과정에서 감독 공간의 선택이 생성 품질에 결정적인 영향을 미친다는 통찰을 제공한다.

기술적 접근법

**Perceptual Flow Matching(PFM)**: 흐름 일치 훈련 과정에서 VAE 잠재 공간 대신, decoded 이미지의 perceptual feature 공간에서 흐름 일치를 감독.
**Perceptual 모델**: DINOv2, SigLIP, ConvNeXt 등.
**Classifier-free Guidance(CFG)**: 훈련 시 포함 가능하며, 추론 시 추가 unconditional forward pass 없이도 효과적.
**Sampling 단계**: 4~8단계에서 높은 품질 유지. 1~2단계에서는 흐릿한 결과가 나타남.
**Perceptual loss 적용 레이어**: DINOv2의 여러 레이어를 평균화하여, 추상적 특성과 세부 표현력을 균형 있게 유지.

주요 결과

**COCO 2014 val**: 8단계 기준 FID 33.93 (기존 distillation 기반 방법 대비 +10% 이상 개선), CLIP 31.70, HPSv3 11.42.
**이미지 편집 및 동영상 생성**: few-step baseline 대비 상당한 성능 향상, 일부 경우 multi-step 모델과 유사한 결과.
**Perceptual 감독 vs. VAE 잠재 공간 감독**: PFM은 훈련 시 흐릿한 결과를 줄이고, 8단계에서도 높은 품질 유지.

의의 및 한계

PFM은 흐름 일치 모델의 few-step 생성 능력을 향상시키는 간단한 방법으로, 기존 훈련 파이프라인에 최소한의 수정만으로 적용 가능하다는 점에서 실용적 가치가 높다. 특히, perceptual 감독이 mean-seeking에서 mode-seeking으로 최적화 방향을 전환한다는 이론적 통찰은 향후 효율적인 생성 모델 연구에 기여할 수 있다. 그러나 1~2단계에서는 품질 저하가 발생하며, 최적의 perceptual 공간 선택에 대한 연구는 아직 미흡하다는 한계가 있다.

실용적 활용

PFM은 이미지 생성, 편집, 동영상 생성 등 다양한 생성 작업에서 few-step으로도 높은 품질을 유지할 수 있어, 실시간 생성이 필요한 산업(예: 게임, 콘텐츠 제작)에 유용하게 활용될 수 있다. 또한, 대규모 훈련 환경에서도 적용 가능하며, 별도의 교사 모델이나 디스틸레이션 과정이 필요하지 않아 훈련 비용을 절감할 수 있다.