Spectral Guidance for Flexible and Efficient Control of Diffusion Models

We introduce Spectral Guidance, a framework for controlling diffusion models by leveraging the intrinsic geometry of the generative process. As data is progressively corrupted by noise, only a small number of features remain informative for control. We characterize them as the singular functions of a conditional expectation operator and show that they can be learned via a self-supervised objective. Once recovered, this basis enables the projection of arbitrary guidance signals, such as labels, CLIP embeddings, or masks, directly onto the sampling trajectory. This approach allows for stable, high-fidelity control without retraining or denoiser backpropagation during sampling. Empirically, we improve conditional accuracy on CIFAR-10 by 37 percentage points over the strongest training-free baseline while offering $4\times$ faster sampling. Moreover, the same representations that support label and CLIP guidance also enable spatial control, such as mask-based guidance, without auxiliary models. Finally, our framework reveals a phase transition in the generative process, pinpointing the optimal time window for effective guidance.

📋 한 줄 요약

**[Diffusion / Training-Free Control]** Spectral Guidance가 conditional expectation operator의 singular function을 self-supervise로 학습 — label·CLIP·mask를 sampling trajectory에 projection, CIFAR-10에서 conditional accuracy +37pp·4× faster sampling, 생성 과정의 phase transition 발견.

🎯 핵심 기여도

Diffusion 모델 제어를 생성 과정의 intrinsic geometry 활용으로 수행하는 Spectral Guidance 프레임워크 도입.
데이터가 noise로 progressively 손상됨에 따라 제어에 정보적인 feature가 small number만 남는다는 관찰.
이를 conditional expectation operator의 singular function으로 특성화, self-supervised 목적으로 학습 가능함을 입증.
회복된 basis가 임의 guidance 신호(label·CLIP embedding·mask)를 sampling trajectory에 직접 projection 가능, 재학습·denoiser backpropagation 없이 stable·high-fidelity 제어; CIFAR-10에서 가장 강력한 training-free baseline 대비 conditional accuracy +37pp·4× faster sampling; 동일 표현이 label·CLIP guidance뿐 아니라 mask 등 공간 제어까지 auxiliary 모델 없이 가능; 생성 과정의 phase transition을 드러내 효과적 guidance의 optimal time window pinpoint.

💡 핵심 아이디어

Diffusion 제어는 생성 과정 시간에 따라 정보적 feature가 collapse하는 intrinsic geometry를 따르며, conditional expectation operator의 singular function이라는 작은 basis만 학습하면 label·CLIP·mask 등 다양 guidance를 trajectory에 projection으로 통합·가속할 수 있고, 효과적 guidance의 optimal time window가 phase transition으로 드러난다.

🔬 기술적 접근법

**방법론**: Spectral Guidance — singular function basis + trajectory projection.
**핵심 기법**: (1) Conditional expectation operator의 singular function을 self-supervised 학습, (2) 임의 guidance 신호(label·CLIP·mask)를 basis에 projection, (3) Sampling trajectory에 직접 projection — 재학습·denoiser backprop 불필요, (4) 동일 표현으로 spatial mask guidance까지 auxiliary 모델 없이 지원, (5) 생성 과정 phase transition 분석으로 optimal guidance time window pinpoint.

📊 주요 결과

CIFAR-10에서 conditional accuracy +37 percentage point (vs 가장 강력한 training-free baseline).
4× faster sampling.
Label·CLIP·mask guidance 모두 같은 representation으로 지원.
생성 과정의 phase transition 발견·optimal guidance time window 식별.

💭 의의 및 한계

**의의**: Diffusion 제어를 intrinsic geometry로 재정초, 다양 guidance 신호 통합 처리·spatial control까지 auxiliary 모델 없이 확장, phase transition이 guidance scheduling의 원리적 가이드. **한계**: CIFAR-10 중심으로 high-resolution·복잡 conditioning 일반화는 후속, singular function basis 학습의 scaling 비용, 매우 fine-grained conditioning에서의 정확도는 추가 검증.

🚀 실용적 활용

이미지·비디오 diffusion 제어 가속.
Training-free CLIP·mask guidance.
효율적 conditional sampling 일반 기법.