Timestep Embedding Tells: It’s Time to Cache for Video Diffusion Model

As a fundamental backbone for video generation, diffusion models are challenged by low inference speed due to the sequential nature of denoising. Previous methods speed up the models by caching and reusing model outputs at uniformly selected timesteps. However, such a strategy neglects the fact that differences among model outputs are not uniform across timesteps, which hinders selecting the appropriate model outputs to cache, leading to a poor balance between inference efficiency and visual quality. In this study, we introduce Timestep Embedding Aware Cache (TeaCache), a training-free caching approach that estimates and leverages the fluctuating differences among model outputs across timesteps. Rather than directly using the time-consuming model outputs, TeaCache focuses on model inputs, which have a strong correlation with the modeloutputs while incurring negligible computational cost. TeaCache first modulates the noisy inputs using the timestep embeddings to ensure their differences better approximating those of model outputs. TeaCache then introduces a rescaling strategy to refine the estimated differences and utilizes them to indicate output caching. Experiments show that TeaCache achieves up to 4.41× acceleration over Open-Sora-Plan with negligible (-0.07% Vbench score) degradation of visual quality.

한 줄 요약

TeaCache는 디퓨전 모델의 추론 속도를 4.41× 가속화하면서 시각 품질 저하를 최소화하는 훈련 없이 작동하는 캐싱 전략이다.

핵심 기여도

TeaCache는 훈련 없이 작동하며, DiT 기반 디퓨전 모델과 완전 호환 가능하다.
입력 차이를 2단계 전략( timestep-embedding modulated noisy input + 다항식 피팅)으로 추정하여 출력 캐싱 여부를 결정한다.
Open-Sora-Plan 모델에서 4.41× 가속화를 달성하면서 Vbench 점수에서 -0.07%의 미미한 품질 저하만 발생시킨다.

핵심 아이디어

기존의 캐싱 전략은 고정 간격의 타임스텝에서 모델 출력을 재사용하는 방식을 사용하지만, 이는 타임스텝별 출력 차이가 일정하지 않다는 사실을 무시하여 효율성과 품질의 균형을 저해한다. TeaCache는 모델 출력의 변화를 미리 예측하기 위해 입력 차이를 기반으로 캐싱 여부를 결정한다. 이는 모델 입력(특히 timestep-embedding modulated noisy input)이 출력과 강한 상관관계를 가지며, 계산 비용이 낮다는 점을 활용한 것이다.

TeaCache는 먼저 노이즈 입력을 timestep embedding으로 변조하여 출력 차이를 더 잘 반영하도록 조정한다. 이후, 입력 차이와 출력 차이 간의 스케일링 편향을 보정하기 위해 다항식 피팅을 도입한다. 이를 통해 입력 차이를 정확하게 출력 차이로 추정하고, 캐싱 여부를 결정한다.

기술적 접근법

**모델**: DiT 기반 디퓨전 모델 (Open-Sora, Open-Sora-Plan, Latte 등).
**입력 조정**: timestep-embedding modulated noisy input을 사용하여 입력 차이를 추정.
**추정 전략**: 2단계로 구성된 알고리즘 — (1) 입력 차이의 대략적 추정, (2) 다항식 피팅을 통한 정밀 보정.
**캐싱 기준**: 추정된 입력 차이가 일정 임계값 이하일 경우, 이전 출력을 재사용.
**수치**: Open-Sora-Plan에서 4.41× 가속화, Vbench 점수 -0.07% 감소.

주요 결과

**Open-Sora-Plan 데이터셋**: 4.41× 추론 가속화, Vbench 점수 -0.07% (기존 대비).
**Latte, Open-Sora 모델**: 유사한 가속화 성능을 보이며, 품질 저하 없이 추론 효율성 향상.
**다중 GPU 환경**: Dynamic Sequence Parallelism과 결합하여 고해상도, 장시간 동영상에서도 일관된 성능 유지.

의의 및 한계

TeaCache는 기존 캐싱 전략의 단점을 극복하여, 고정 간격 캐싱보다 유연하고 정확한 캐싱을 가능하게 한다. 특히, 훈련 과정이 필요 없어 추가적인 계산 비용이나 데이터가 필요하지 않다는 점에서 실용적 가치가 높다. 또한, 다양한 디퓨전 모델과 호환되며, 고해상도 및 장시간 동영상 생성에서도 일관된 성능을 보인다.

그러나, TeaCache는 모델 입력과 출력 간의 상관관계가 높은 경우에만 효과적이며, 특정 모델 구조나 타임스텝 스케줄러에 따라 성능 차이가 발생할 수 있다. 또한, 다항식 피팅의 정확도는 모델 종류와 입력 특성에 따라 달라질 수 있어, 보다 일반적인 보정 방법이 필요할 수 있다.

실용적 활용

TeaCache는 고해상도 및 장시간 동영상 생성을 요구하는 산업(예: 콘텐츠 제작, 광고, 게임)에서 디퓨전 모델의 추론 속도를 향상시키는 데 활용할 수 있다. 또한, 대규모 모델을 사용하는 연구 환경에서 추론 효율성을 높이기 위한 캐싱 전략으로도 유용하다.