SANA 1.5: Efficient Scaling of Training-Time and Inference-Time Compute in Linear Diffusion Transformer

This paper presents SANA-1.5, a linear Diffusion Transformer for efficient scaling in text-to-image generation. Building upon SANA-1.0, we introduce three key innovations: (1) Efficient Training Scaling: A depth-growth paradigm that enables scaling from 1.6B to 4.8B parameters with significantly reduced computational resources, combined with a memory-efficient 8-bit optimizer. (2) Model Depth Pruning: A block importance analysis technique for efficient model compression to arbitrary sizes with minimal quality loss. (3) Inference-time Scaling: A repeated sampling strategy that trades computation for model capacity, enabling smaller models to match larger model quality at inference time. Through these strategies, SANA-1.5 achieves a text-image alignment score of 0.81 on GenEval, which can be further improved to 0.96 through inference scaling with VILA-Judge, establishing a new SoTA on GenEval benchmark. These innovations enable efficient model scaling across different compute budgets while maintaining high quality, making high-quality image generation more accessible. Our code and pre-trained models are released.

한 줄 요약

SANA-1.5는 텍스트-이미지 생성에서 학습 및 추론 시간의 계산 효율성을 동시에 달성한 선형 디퓨전 트랜스포머 모델이다.

핵심 기여도

**Efficient Training Scaling**: 1.6B에서 4.8B 파라미터로 확장하면서 60%의 학습 시간 감소를 달성.
**Model Depth Pruning**: 블록 중요도 분석 기반의 모델 압축으로 60블록 모델을 40/30/20블록으로 압축 가능.
**Inference-time Scaling**: 반복 샘플링 전략으로 1.6B 모델이 4.8B 모델의 품질에 근접 (GenEval 0.81 → 0.96).
**CAME-8bit 옵티마이저**: 메모리 사용량을 8배 감소시키며 단일 GPU에서도 4.8B 모델 미세조정 가능.

핵심 아이디어

SANA-1.5는 기존의 "더 큰 모델이 항상 더 좋다"는 관점을 벗어나, **전략적 모델 성장-가지치기-추론 확장**의 세 가지 접근을 결합하여 효율적인 스케일링을 실현한다.

**모델 성장**은 기존 1.6B 모델의 지식을 활용하여 4.8B 모델을 학습하면서 추가 블록을 전략적으로 초기화함으로써, 학습 시간을 60% 절약한다. 이는 기존의 '스クラ치에서 학습' 방식과 비교해 훨씬 효율적인 학습 경로를 제공한다.

**모델 가지치기**는 블록 중요도 분석을 통해 입력-출력 유사도 패턴을 기반으로 덜 중요한 블록을 제거하고, 5분의 GPU 학습만으로 품질을 회복한다. 이는 60블록 모델을 20블록까지 압축하면서도 품질 손실을 최소화한다.

**추론 시 확장**은 반복 샘플링과 VLM 기반 선택 메커니즘을 통해, 1.6B 모델이 4.8B 모델의 GenEval 점수(0.96)에 근접하게 만들 수 있다. 이는 계산 자원을 모델 파라미터 수 대신 활용하는 새로운 패러다임을 제시한다.

기술적 접근법

**모델 성장**: 1.6B(20블록) → 4.8B(60블록) 확장. 추가 블록은 기존 모델의 지식을 기반으로 초기화.
**가지치기**: 블록 중요도는 입력-출력 유사도 패턴을 분석하여 결정. 60블록 모델을 40/30/20블록으로 압축 가능.
**추론 확장**: 반복 샘플링 + VILA-Judge 기반 선택. GenEval 점수 0.81 → 0.96 향상.
**CAME-8bit 옵티마이저**: 블록 단위 8비트 정량화로 메모리 사용량 8배 감소. RTX 4090에서도 4.8B 모델 미세조정 가능.

주요 결과

**GenEval 점수**: SANA-1.5는 0.81 달성. 추론 확장 시 0.96 (VILA-Judge 기반)로 SOTA 기록.
**FID 점수**: 1.6B → 4.8B로 확장 시 5.76 → 5.42 (0.34 감소).
**DPG 점수**: 84.8 → 85.0 (0.2 향상).
**추론 속도**: FLUX-dev 대비 6.5배 높은 처리량 (0.04 samples/s → 0.26 samples/s).
**학습 시간**: 기존 방식 대비 60% 감소.

의의 및 한계

SANA-1.5는 **모델 성장-가지치기-추론 확장**의 통합적 접근을 통해, 높은 품질의 텍스트-이미지 생성을 저렴한 계산 비용으로 가능하게 한다. 특히, CAME-8bit 옵티마이저는 단일 GPU에서도 대규모 모델 학습이 가능하게 하며, 연구자와 개발자에게 실질적인 혜택을 제공한다.

그러나, **가지치기 후의 품질 회복은 100스텝 미세조정에 의존**하며, 이는 추가적인 자원이 필요하다. 또한, **모델 성장 전략은 기존 모델의 지식을 기반으로 하기 때문에**, 완전히 새로운 도메인에서는 효과가 제한될 수 있다.

실용적 활용

SANA-1.5는 **제한된 계산 자원을 가진 연구자나 개발자**에게 적합한 텍스트-이미지 생성 모델로 활용 가능하다. 특히, **단일 GPU 환경에서 4.8B 모델을 학습 및 미세조정**할 수 있어, 오픈소스 커뮤니티 및 중소 기업에서의 실용성이 높다. 또한, **모델 크기와 추론 자원을 유연하게 조절**할 수 있어, 다양한 애플리케이션에 맞춘 최적화가 가능하다.