Applying Guidance in a Limited Interval Improves Sample and Distribution Quality in Diffusion Models

Guidance is a crucial technique for extracting the best performance out of image-generating diffusion models. Traditionally, a constant guidance weight has been applied throughout the sampling chain of an image. We show that guidance is clearly harmful toward the beginning of the chain (high noise levels), largely unnecessary toward the end (low noise levels), and only beneficial in the middle. We thus restrict it to a specific range of noise levels, improving both the inference speed and result quality. This limited guidance interval improves the record FID in ImageNet-512 significantly, from 1.81 to 1.40. We show that it is quantitatively and qualitatively beneficial across different sampler parameters, network architectures, and datasets, including the large-scale setting of Stable Diffusion XL. We thus suggest exposing the guidance interval as a hyperparameter in all diffusion models that use guidance.

한 줄 요약

이 연구는 확산 모델에서 가이던스를 제한된 노이즈 구간에만 적용함으로써 샘플 품질과 추론 속도를 동시에 향상시킨다.

핵심 기여도

**ImageNet-512 데이터셋에서 FID를 1.81에서 1.40으로 개선**
**가이던스 구간을 제한함으로써 과도한 가이던스의 부작용을 줄임**
**Stable Diffusion XL을 포함한 다양한 아키텍처와 데이터셋에서 효과 검증**
**가이던스 구간을 하이퍼파라미터로 제안**

핵심 아이디어

기존의 확산 모델에서 가이던스는 모든 샘플링 단계에서 동일한 가중치로 적용되었으나, 이 연구는 노이즈 수준에 따라 가이던스의 효과가 달라진다는 점을 발견했다. 특히, 높은 노이즈 수준에서는 가이던스가 결과 다양성을 줄이고, 낮은 노이즈 수준에서는 불필요하며, 중간 수준에서만 유익하다는 점을 분석했다. 이를 바탕으로, **가이던스를 특정 노이즈 구간에만 적용하는 방식**을 제안한다. 이는 기존의 **Classifier-Free Guidance (CFG)**를 기반으로 하되, **가이던스 가중치는 그대로 유지하고 적용 구간만 제한**함으로써, **샘플 품질과 추론 속도를 동시에 향상**시킨다.

기술적 접근법

**가이던스 적용 구간 제한**: 노이즈 수준에 따라 가이던스를 중간 구간에만 적용
**ODE 기반 샘플링**: 확산 모델의 샘플링 과정은 ODE 기반으로 수행되며, 가이던스는 조건부와 비조건부 ODE의 선형 결합으로 표현됨
**CFG 사용**: 가이던스 가중치 $ w $를 사용하여 조건에 따라 샘플을 조정
**샘플링 단계**: 노이즈 수준 $ \sigma $가 $ \sigma_{\text{max}} $에서 0으로 감소하는 과정에서 여러 단계로 이산화됨
**가이던스 구간 하이퍼파라미터화**: 최적의 구간은 데이터셋과 모델에 따라 달라지므로, 사용자 정의 가능하도록 하이퍼파라미터로 설정

주요 결과

**ImageNet-512 데이터셋에서 FID 1.81 → 1.40 (베이스라인 대비 -0.40)**
**Stable Diffusion XL에서도 시각적 품질 향상**
**다양한 샘플러 파라미터, 네트워크 아키텍처, 데이터셋에서 일관된 개선 효과**
**가이던스 구간 제한으로 추론 속도 향상** (구체적 수치는 명시되지 않음)

의의 및 한계

이 연구는 확산 모델에서 가이던스의 효과적인 사용 방식을 제시함으로써, 샘플 품질과 추론 효율성을 동시에 개선하는 중요한 기여를 한다. 특히, 기존의 CFG가 모든 단계에서 동일하게 적용되던 관행을 재고하고, **노이즈 수준에 따른 가이던스 적용의 최적화 가능성을 제시**한다. 그러나, **가이던스 구간의 최적화는 데이터셋과 모델에 따라 달라지므로, 사용자 경험에 따라 조정이 필요**하다는 한계가 있다. 또한, **가이던스 구간의 자동 결정 방법**은 아직 연구 대상이다.

실용적 활용

이 연구는 이미지 생성 모델에서 샘플 품질과 추론 속도를 동시에 향상시키는 데 유용하며, 특히 **대규모 이미지 생성 모델 (예: Stable Diffusion XL)**에서 효과적이다. 또한, **텍스트-이미지 생성, 비디오 생성, 3D 모델 생성 등 다양한 모드에서 활용 가능**하다.