Cross-Space Distillation: Teaching One-Step Students with Modern Diffusion Teachers

Modern one-step diffusion models achieve impressive quality through distribution-based timestep distillation. Yet, they rely on a critical assumption: Teacher and Student must inhabit the same latent space. This Shared-Space constraint prevents knowledge transfer from modern high-capacity Teachers (e.g., SD 3.5 and Flux) into compact, deployment-friendly Students such as SD 1.5, whose latent resolution and VAE parameterization differ from the Teacher. We formalize this overlooked regime as Cross-Space Distillation, where Teacher and Student differ in both latent resolution and VAE space. To enable distillation under this mismatch, we introduce the Bridge, a lightweight latent interface that maps Student latents into the Teacher space without modifying the Student backbone. Bridge combines a frozen Student VAE decoder as a spatial prior with a compact learnable projector, and is trained with latent reconstruction and attention fidelity objectives for stable Teacher-space alignment. Across diverse modern Teachers, Bridge enables substantial gains for compact one-step Students; for example, it improves SD 1.5 from 5.4 to 9.4 HPSv3 while preserving one-step inference, low latency, and broad ecosystem compatibility. These results show that heterogeneous large Teachers can be distilled into efficient, deployable backbones through a lightweight latent-space interface.

한 줄 요약

Cross-Space Distillation을 통해 SD 1.5와 같은 소형 모델이 SD 3.5와 같은 대형 모델의 지식을 학습해 HPSv3 9.4 성능 달성.

핵심 기여도

Cross-Space Distillation이라는 새로운 지식 증류 설정을 정식화하여, Teacher와 Student가 서로 다른 잠재 공간과 해상도를 가질 수 있도록 허용.
Bridge(ℬϕ)라는 경량 잠재 인터페이스를 도입하여 Student 잠재 공간을 Teacher 공간으로 매핑.
SD 1.5를 대상으로 Cross-Resolution 및 Cross-VAE 증류를 통해 HPSv3 성능을 5.4에서 9.4로 향상.
기존 Student 백본을 변경하지 않고도 높은 품질의 생성을 유지하며, 배포 생태계와 호환성을 보장.

핵심 아이디어

기존의 one-step diffusion 모델은 Teacher와 Student가 동일한 잠재 공간을 사용하는 Shared-Space 가정에 의존한다. 그러나 SD 1.5와 같은 소형 Student는 SD 3.5와 같은 대형 Teacher와 잠재 해상도(VAE 파라미터화)가 다르기 때문에 지식 전달이 불가능하다. 이를 해결하기 위해 Cross-Space Distillation이라는 새로운 프레임워크를 제안한다. 이는 잠재 공간과 해상도가 다른 Teacher와 Student 간의 지식 전달을 가능하게 한다. 핵심 아이디어는 Bridge라는 경량 인터페이스를 통해 Student의 잠재 공간을 Teacher 공간으로 매핑하는 것이다. Bridge는 Student VAE 디코더의 일부를 고정한 spatial prior와, 학습 가능한 projection head(gϕ)를 결합하여, 공간 해상도와 잠재 표현을 동시에 정렬한다. 이는 기존 Student 구조를 변경하지 않으면서도 Teacher의 고해상도 및 고품질 생성 능력을 이식할 수 있게 한다.

기술적 접근법

**Bridge(ℬϕ)**: Student 잠재 공간을 Teacher 공간으로 매핑하는 경량 인터페이스.
Spatial Prior: Student VAE 디코더의 첫 n개 decoding block(𝒟S)을 고정하여 공간 해상도를 Teacher와 일치시킴.
Projection Head(gϕ): 학습 가능한 모듈로, spatial prior의 출력을 Teacher 잠재 표현으로 변환.
**Loss Function**: Latent Reconstruction Loss와 Attention Fidelity Loss를 사용하여 Teacher 공간과의 정렬을 안정화.
**하이퍼파라미터**: Bridge는 추가 학습 파라미터 없이 Student VAE 디코더의 일부만 재사용하며, 학습 가능한 파라미터는 gϕ에만 존재.
**데이터셋**: 명시되지 않음.
**VAE**: Student와 Teacher가 서로 다른 VAE 파라미터화를 사용.

주요 결과

SD 1.5를 대상으로 Cross-Space Distillation을 적용한 결과, HPSv3 성능이 5.4에서 9.4로 향상됨.
이는 Teacher(SD 3.5) 수준에 근접한 성능을 유지하면서도 Student의 one-step 추론, 낮은 지연, 생태계 호환성을 보존.
기존의 Shared-Space 기반 방법과 비교해, Cross-Resolution과 Cross-VAE 차이를 극복한 성능 향상.

의의 및 한계

**의의**: 기존 Shared-Space 가정을 벗어나, 서로 다른 잠재 공간과 해상도를 가진 Teacher와 Student 간의 지식 전달 가능성을 확장. Bridge는 기존 Student 백본을 변경하지 않으면서도 고품질 생성을 가능하게 하므로, 모델 재사용과 배포 효율성 측면에서 실용적 가치가 큼.
**한계**: Bridge는 특정 Teacher-Student 쌍에 최적화되었으며, 다른 아키텍처 간의 Cross-Mechanism 차이(예: flow matching vs. standard diffusion)는 여전히 해결되지 않은 문제. 또한, 데이터셋 명시가 없어 일반화 가능성에 대한 평가가 제한적임.

실용적 활용

Bridge는 SD 1.5와 같은 소형 모델에 대형 Teacher의 지식을 이식할 수 있어, 모바일 기기나 자원 제한 환경에서의 고품질 이미지 생성에 활용 가능. 또한, 기존 모델 생태계와 호환되므로, 기존 배포 파이프라인에 최소한의 변경만으로도 적용 가능.