Spectral Prior for Reducing Exposure Bias in Diffusion Models

Diffusion models typically suffer from error accumulation during iterative sampling, commonly referred to as exposure bias. We reveal systematic frequency-dependent discrepancies between training and inference, which can be interpreted as frequency-dependent SNR error. Crucially, the direction of this mismatch varies across models and timesteps, indicating that fixed correction rules do not generalize. We propose Spectral Alignment (SPA), a lightweight, guidance-based method that calibrates the power spectrum of intermediate predictions to a pre-computed prior. Our approach consists of two stages: (1) offline fitting of a parametric spectrum model from training data, and (2) inference-time guidance via efficient FFT-based gradient computation. SPA introduces minimal computational overhead (3-4\%) and is complementary to Classifier-Free Guidance (CFG). We demonstrate consistent improvements across diverse architectures, from pixel-space models (DDPM, ADM) to latent diffusion models (SD2.0, SDXL) and flow-matching models (SD3.5, FLUX). Our implementation is available at https://github.com/SonyResearch/SPA.

한 줄 요약

Spectral Alignment (SPA)는 확산 모델의 주파수 의존적 노이즈 오류를 보정해 이미지 생성 품질을 향상시키는 가이던스 기반 방법이다.

핵심 기여도

주파수 의존적 노이즈 오류(SNR error)를 새로운 관점에서 분석하고, 이를 기반으로 SPA라는 보정 방법을 제안.
SPA는 3~4%의 계산 오버헤드만 추가하며, DDPM, SD2.0, SD3.5 등 다양한 아키텍처에 적용 가능.
HPSv3, ImageReward, FID 등 다양한 평가 지표에서 생성 품질 개선을 입증.
특히, 낮은 품질 샘플(하위 20%)에서 54.1±3.3%의 승률 향상 관찰.

핵심 아이디어

기존 연구는 노이즈 수준 불일치를 보정하는 데 초점을 맞췄지만, 이 논문은 확산 모델의 추론 과정에서 발생하는 주파수 의존적 SNR 오류를 새로운 관점으로 분석한다. 추론 중간 예측값 $\hat{x}_{0|t}$의 파워 스펙트럼을 분석한 결과, 모델과 타임스텝에 따라 오류 방향이 달라지는 것을 확인했다. 이는 고정된 보정 규칙이 일반화되지 않음을 시사한다. 이를 해결하기 위해 SPA는 훈련 데이터에서 사전 계산된 스펙트럼 프라이어를 기반으로, 추론 시 중간 예측의 파워 스펙트럼을 보정한다. 특히, 1D 파워 스펙트럼을 사용함으로써 분석 및 하이퍼파라미터 튜닝이 용이해지고, 회귀 모델의 안정성도 향상된다.

기술적 접근법

SPA는 두 단계로 구성된다:
1. **오프라인 단계**: 훈련 데이터를 기반으로 파라메트릭 스펙트럼 모델을 피팅.
2. **추론 단계**: FFT 기반의 효율적인 그래디언트 계산을 통해 스펙트럼 프라이어를 기반으로 샘플을 보정.

SPA는 RAPS(1D 파워 스펙트럼)를 사용하며, 이는 시각화 및 모델 피팅의 안정성을 높인다. 또한, 기존의 Classifier-Free Guidance (CFG)와 호환 가능하며, 3~4%의 추가 계산 오버헤드만 발생한다.

주요 결과

**SD3.5 모델**에서 HPSv3 기준, $w=2.5$일 때 하위 20% 샘플에서 54.1±3.3%의 승률 향상 (p=0.02).
**FLUX 모델**에서 $w=2.5$일 때 평균 점수 증가 0.70 (p=2.3×10⁻⁵).
**DDPM, ADM** 모델에서 FID와 KID 지표에서 개선 효과 관찰.
**SD2.0, SDXL** 모델에서 ImageReward와 HPSv3 기준, 생성 품질 향상.

의의 및 한계

SPA는 다양한 확산 모델 아키텍처에서 주파수 의존적 노이즈 오류를 보정함으로써 생성 품질을 개선하는 새로운 관점을 제시한다. 특히, 낮은 품질 샘플을 선택적으로 개선하는 기능은 실용적 가치가 크다. 그러나, 고 가이던스 스케일($w=3.5$)에서는 효과가 감소하며, 이는 훈련 중 스펙트럼 불일치가 완전히 제거되지 않았음을 시사한다. 또한, SPA는 기존 생성 파이프라인에 쉽게 통합될 수 있지만, 특정 모델 구조에 최적화된 보정 방법은 여전히 필요할 수 있다.

실용적 활용

SPA는 텍스트-이미지 생성 모델(SD2.0, SDXL, SD3.5, FLUX) 및 픽셀 공간 모델(DDPM, ADM)에서 즉각적으로 적용 가능한 보정 기법으로, 생성 이미지의 품질을 향상시키는 데 유용하다. 특히, 생성 결과의 일관성과 시각적 품질을 요구하는 산업 분야(예: 콘텐츠 생성, 디지털 마케팅)에서 활용 가능하다.