Multi-Resolution Flow Matching: Training-Free Diffusion Acceleration via Staged Sampling

Hardware-agnostic strategies for accelerating text-to-image diffusion, such as timestep distillation and feature caching, can reduce inference time without custom kernels or system-level optimization. Among them, multi-resolution generation strategies have recently received broad attention, attaining more than 5x speedup without any training. However, the design of performing upsampling in the latent space, together with the selective modification of partial regions, causes these methods to exhibit noticeable blurring or artifacts. To this end, we propose MrFlow, a training-free multi-resolution acceleration strategy for pretrained flow-matching models built upon a staged low-to-high-resolution pipeline. MrFlow first rapidly generates the main structure at low resolution, then performs super-resolution in the pixel space using a lightweight pretrained GAN-based model, subsequently injects low-strength noise to enable high-frequency resampling, and finally refines the details at high resolution. Quantitative and qualitative results on FLUX.1-dev and Qwen-Image show that MrFlow exploits the quadratic token reduction and reduced step requirement of low-resolution sampling to achieve 10x end-to-end acceleration while keeping OneIG within a 1% gap relative to that before acceleration, significantly surpassing other training-free acceleration strategies, and requiring no training or runtime dynamic identification whatsoever. MrFlow can further be directly combined orthogonally with pre-trained timestep distillation strategies, achieving even higher generation acceleration of up to 25x.

한 줄 요약

MrFlow는 훈련 없이 FLUX.1-dev와 Qwen-Image에서 10× 가속을 달성하는 다중 해상도 확산 가속 전략이다.

핵심 기여도

MrFlow는 훈련 없이 10×의 end-to-end 가속을 달성하며, OneIG-Bench 지표는 1% 이내로 유지.
저해상도 구조 생성(12단계), GAN 기반 SR, 낮은 강도 노이즈 주입, 고해상도 1단계 정제로 구성된 파이프라인 제안.
기존 훈련 없는 방법 대비 5× 이상, timestep distillation과 결합 시 최대 25× 가속 가능.
런타임 동적 식별 없이도 훈련 없이 작동하며, 유연한 구성 가능.

핵심 아이디어

MrFlow는 확산 모델의 저해상도 구조 생성 능력과 고해상도 세부 정제 능력을 결합한 다단계 파이프라인을 제안한다. 기존 다중 해상도 방법은 레이턴트 공간에서 업샘플링을 수행하는 방식으로 블러링이나 아티팩트를 유발했으나, MrFlow는 픽셀 공간에서 GAN 기반 SR 모델을 활용해 구조를 보존하고 고주파 신호를 추가한다. 이후 낮은 강도의 노이즈를 주입하여 SR 과정에서 발생할 수 있는 오류를 제거하고, 고해상도 레이턴트 공간에서 최소한의 정제 단계를 수행함으로써 빠른 가속과 높은 품질을 동시에 달성한다. 특히, 저해상도 단계에서 토큰 수가 제곱 비례로 감소하고, 단계 수가 줄어들어 자연스럽게 가속 효과가 발생한다.

기술적 접근법

**저해상도 레이턴트 샘플링**: 12단계로 전체 구조 생성.
**VAE 디코딩 + 픽셀 공간 SR**: Real-ESRGAN 기반 GAN 모델을 사용해 고해상도 구조 복원.
**노이즈 주입**: SR 후 0.1의 낮은 강도 노이즈를 주입해 고주파 오류 제거.
**고해상도 레이턴트 샘플링**: 단 1단계로 세부 정제.
**전체 파이프라인**: low-to-high resolution pipeline으로 구성.
**하이퍼파라미터**: SR 후 노이즈 강도는 0.1, 고해상도 단계는 1단계.

주요 결과

**FLUX.1-dev와 Qwen-Image**에서 MrFlow는 10× end-to-end 가속을 달성.
**OneIG-Bench** 지표는 기존 확산 대비 1% 이내로 유지.
**기존 훈련 없는 방법 대비 5× 이상**, timestep distillation과 결합 시 최대 **25×** 가속 가능.
**SR 네트워크 비교 실험**에서 Real-ESRGAN이 가장 높은 정확도와 효율성을 보임.

의의 및 한계

MrFlow는 훈련 없이도 확산 모델의 가속과 품질을 동시에 유지하는 데 성공하며, 기존 훈련 의존적 방법과 비교해 유연성과 단순성을 갖춘다. 특히, 픽셀 공간 SR과 레이턴트 노이즈 주입을 결합한 방식은 기존 레이턴트 공간 업샘플링 방식의 한계를 극복한다. 그러나, SR 네트워크의 선택에 따라 결과 품질이 달라질 수 있으며, 일부 고주파 세부 정보는 정제 단계에서 완전히 복원되지 않을 수 있다. 또한, 저해상도 단계의 단계 수를 줄이면 품질 저하가 발생할 수 있으므로, 정확도와 속도 간의 트레이드오프가 필요하다.

실용적 활용

MrFlow는 텍스트-이미지 생성 모델이 대규모 배치 작업이나 실시간 응용에서 요구되는 빠른 추론 속도를 제공할 수 있다. 특히, Qwen-Image와 같은 대형 확산 모델에서 47초에서 4.7초 이하로 추론 시간을 단축할 수 있어, 클라우드 인프라, 모바일 기기, 또는 실시간 생성 시스템에 적용 가능하다.