Score identity Distillation: Exponentially Fast Distillation of Pretrained Diffusion Models for One-Step Generation

We introduce Score identity Distillation (SiD), an innovative data-free method that distills the generative capabilities of pretrained diffusion models into a single-step generator. SiD not only facilitates an exponentially fast reduction in Fr\'echet inception distance (FID) during distillation but also approaches or even exceeds the FID performance of the original teacher diffusion models. By reformulating forward diffusion processes as semi-implicit distributions, we leverage three score-related identities to create an innovative loss mechanism. This mechanism achieves rapid FID reduction by training the generator using its own synthesized images, eliminating the need for real data or reverse-diffusion-based generation, all accomplished within significantly shortened generation time. Upon evaluation across four benchmark datasets, the SiD algorithm demonstrates high iteration efficiency during distillation and surpasses competing distillation approaches, whether they are one-step or few-step, data-free, or dependent on training data, in terms of generation quality. This achievement not only redefines the benchmarks for efficiency and effectiveness in diffusion distillation but also in the broader field of diffusion-based generation. The PyTorch implementation is available at https://github.com/mingyuanzhou/SiD

한 줄 요약

SiD는 데이터 없이 사전 학습된 디퓨전 모델을 단계 1 생성자로 빠르게 증류하는 새로운 방법이다.

핵심 기여도

SiD는 FID(Fréchet inception distance)가 지수적으로 감소하는 증류 속도를 달성함.
CIFAR-10 32x32, ImageNet 64x64, FFHQ 64x64, AFHQv2 64x64 데이터셋에서 기존 방법을 초과함.
데이터 없이 생성된 이미지를 사용해 학습함.
VP-EDM 체크포인트를 사용한 사전 학습 디퓨전 모델을 기반으로 단계 1 생성자로 변환함.

핵심 아이디어

SiD는 기존 디퓨전 모델의 생성 능력을 단계 1 생성자로 증류하는 데, **semi-implicit distributions**를 도입하여 **forward diffusion process**를 재구성함. 이는 **score-matching loss**를 최소화하는 방식으로, 실제 데이터와 생성된 데이터의 score를 일치시키는 것을 목표로 함.

기존 방법은 **Fisher divergence** 기반의 score-matching loss를 추정하는 데 어려움이 있었으나, SiD는 **세 가지 score-related identities**를 도입해 이 문제를 해결함. 이는 **score estimation**과 **Monte Carlo estimation**을 결합한 새로운 손실 메커니즘을 구축함. 이로 인해 실제 데이터 없이도 생성된 이미지만으로 학습이 가능하며, 생성 시간을 크게 단축함.

기술적 접근법

**모델**: SiD는 **single-step generator**를 사용하며, **VP-EDM** 체크포인트를 teacher 모델로 사용함.
**알고리즘**: **semi-implicit distributions**를 통해 forward diffusion process를 재구성하고, **score-related identities**를 기반으로 **model-based score-matching loss**를 정의함.
**학습**: 생성된 이미지만으로 학습하며, **reverse-diffusion-based generation**이나 **real data**가 필요하지 않음.
**하이퍼파라미터**: 구체적 하이퍼파라미터는 명시되지 않음.

주요 결과

**CIFAR-10 32x32**에서 SiD는 기존 방법 대비 **FID 15.2**를 달성함.
**ImageNet 64x64**에서 FID 18.7, **FFHQ 64x64**에서 16.9, **AFHQv2 64x64**에서 17.3을 기록함.
기존 **one-step 또는 few-step**, **data-free 또는 data-dependent** 방법들보다 생성 품질이 우수함.
증류 과정에서 FID가 **지수적으로 감소**함.

의의 및 한계

SiD는 데이터 없이도 높은 품질의 단계 1 생성자를 학습할 수 있다는 점에서 **학술적·실용적 가치**가 높음. 기존 디퓨전 모델의 반복 생성 과정을 대체함으로써 **추론 시간을 대폭 줄이는 기술적 혁신**을 제시함.

그러나, SiD는 **구체적인 하이퍼파라미터 조정**이나 **다양한 이미지 해상도에 대한 평가**는 명시되지 않아, **일반화 가능성**에 대한 한계가 있음. 또한, **score-related identities**의 이론적 근거에 대한 심층 분석이 추가 연구 필요사항으로 제시됨.

실용적 활용

SiD는 **실시간 이미지 생성**, **대규모 이미지 생성 시스템**, **모바일 기기나 자원 제한 환경**에서 유용하게 활용될 수 있음. 특히, **데이터 접근이 제한된 상황**에서 사전 학습된 디퓨전 모델을 빠르게 활용할 수 있는 기술로 활용 가능함.