Hyper-SD: Trajectory Segmented Consistency Model for Efficient Image Synthesis

Recently, a series of diffusion-aware distillation algorithms have emerged to alleviate the computational overhead associated with the multi-step inference process of Diffusion Models (DMs). Current distillation techniques often dichotomize into two distinct aspects: i) ODE Trajectory Preservation; and ii) ODE Trajectory Reformulation. However, these approaches suffer from severe performance degradation or domain shifts. To address these limitations, we propose Hyper-SD, a novel framework that synergistically amalgamates the advantages of ODE Trajectory Preservation and Reformulation, while maintaining near-lossless performance during step compression. Firstly, we introduce Trajectory Segmented Consistency Distillation to progressively perform consistent distillation within pre-defined time-step segments, which facilitates the preservation of the original ODE trajectory from a higher-order perspective. Secondly, we incorporate human feedback learning to boost the performance of the model in a low-step regime and mitigate the performance loss incurred by the distillation process. Thirdly, we integrate score distillation to further improve the low-step generation capability of the model and offer the first attempt to leverage a unified LoRA to support the inference process at all steps. Extensive experiments and user studies demonstrate that Hyper-SD achieves SOTA performance from 1 to 8 inference steps for both SDXL and SD1.5. For example, Hyper-SDXL surpasses SDXL-Lightning by +0.68 in CLIP Score and +0.51 in Aes Score in the 1-step inference.

한 줄 요약

Hyper-SD는 ODE 트레jectory 보존과 재구성의 장점을 결합한 이미지 생성 효율화 프레임워크로, 1~8단계에서 SOTA 성능을 달성한다.

핵심 기여도

**Trajectory Segmented Consistency Distillation (TSCD)** 도입: 시간 구간 내 일관성 보장을 통해 ODE 트레jectory 보존을 고차원적으로 수행.
**Human Feedback Learning** 적용: 1~8단계에서 성능 저하를 완화하고 생성 품질 향상.
**Score Distillation + Unified LoRA**: 1단계 생성 능력 향상 및 모든 단계에서 추론을 지원하는 통합 LoRA 제공.
**SDXL 및 SD1.5에서 1~8단계 SOTA 성능**: Hyper-SDXL은 1단계에서 CLIP Score +0.68, Aes Score +0.51 개선.

핵심 아이디어

기존의 ODE 트레jectory 보존과 재구성 기법은 각각 성능 저하나 도메인 이동 문제를 일으켰다. Hyper-SD는 이 두 접근을 통합하여, **Trajectory Segmented Consistency Distillation (TSCD)**를 통해 시간 구간별 일관성을 점진적으로 강화함으로써, ODE 트레jectory를 고차원적으로 보존한다. 이는 모델이 단계가 줄어들더라도 생성 품질을 유지하도록 돕는다. 또한, **Human Feedback Learning**을 도입하여 사용자 선호도를 반영한 학습을 수행함으로써, 1~8단계에서의 성능 저하를 완화하고 생성 이미지의 미학적 품질을 향상시킨다. 마지막으로, **Score Distillation**과 **Unified LoRA**를 결합하여 1단계 생성 능력을 향상시키고, 모든 추론 단계에서 동일한 LoRA를 사용할 수 있도록 통합 구조를 제안한다.

기술적 접근법

**Trajectory Segmented Consistency Distillation (TSCD)**: 시간 구간을 나누어 각 구간 내 일관성을 강화.
**Human Feedback Learning**: 사용자 피드백 기반의 보상 모델을 도입하여 1~8단계에서의 성능을 개선.
**Score Distillation**: 점수 기반 분포 일치를 통해 1단계 생성 품질 향상.
**Unified LoRA**: 1~8단계 추론을 지원하는 단일 LoRA 구조.
**하이퍼파라미터**: 구체적 하이퍼파라미터는 명시되지 않음.

주요 결과

**SDXL**: 1단계에서 CLIP Score +0.68, Aes Score +0.51 개선 (SDXL-Lightning 대비).
**SD1.5**: 1~8단계에서 SOTA 성능 달성.
**TSCD**: 1단계에서 성능이 기존 TCD 대비 우수, 단계가 증가할수록 성능 차이 감소.
**Unified LoRA**: 1, 2, 4, 8단계에서 일관된 CLIP Score 유지, 미학 점수는 단계 증가에 따라 약간 상승.

의의 및 한계

Hyper-SD는 기존의 ODE 트레jectory 보존과 재구성 기법의 한계를 극복하고, 1~8단계에서 모두 뛰어난 성능을 보이는 통합 프레임워크를 제시한다. 특히, **Unified LoRA**는 다양한 추론 단계에서 동일한 모델을 사용할 수 있어 실용성과 효율성을 동시에 확보한다. 그러나, **하이퍼파라미터 세부 사항**이나 **다양한 도메인에서의 일반화 성능**은 명시되지 않아 추가 연구가 필요하다. 또한, **사용자 피드백 학습의 과적합 가능성**이나 **LoRA의 확장성**에 대한 논의는 부재이다.

실용적 활용

Hyper-SD는 실시간 이미지 생성이 필요한 산업(예: 콘텐츠 제작, 광고, 게임)에서 유용하게 활용될 수 있다. 특히, **1단계 추론**을 지원하는 Unified LoRA는 모바일 기기나 클라우드 환경에서의 빠른 추론을 가능하게 하며, **ControlNet과의 호환성**은 조건 기반 이미지 생성을 확장할 수 있는 기반을 제공한다.