From Reusing to Forecasting: Accelerating Diffusion Models With Taylorseers

Diffusion Transformers (DiT) have revolutionized highfidelity image and video synthesis, yet their computational demands remain prohibitive for real-time applications. To solve this problem, feature caching has been proposed to accelerate diffusion models by caching the features in the previous timesteps and then reusing them in the following timesteps. However, at timesteps with significant intervals, the feature similarity in diffusion models decreases substantially, leading to a pronounced increase in errors introduced by feature caching, significantly harming the generation quality. To solve this problem, we propose TaylorSeer, which firstly shows that features of diffusion models at future timesteps can be predicted based on their values at previous timesteps. Based on the fact that features change slowly and continuously across timesteps, TaylorSeer employs a differential method to approximate the higher-order derivatives of features and predict features in future timesteps with Taylor series expansion. Extensive experiments demonstrate its significant effectiveness in both image and video synthesis, especially in high acceleration ratios. For instance, it achieves an almost lossless acceleration of $4.99 \times$ on FLUX and $5.00 \times$ on HunyuanVideo without additional training. On DiT, it achieves 3.41 lower FID compared with previous SOTA at $4.53 \times$ acceleration. Our codes have been released in Github: https://github.com/Shenyi-Z/TaylorSeer

한 줄 요약

TaylorSeer는 기존의 feature caching을 대체하는 "cache-then-forecast" 패러다임을 제안하여, 디퓨전 모델의 고속화를 4.99×~5.00×까지 달성한다.

핵심 기여도

"cache-then-forecast" 패러다임을 제안하여, 기존 "cache-then-reuse"의 단점을 극복.
TaylorSeer는 Taylor series expansion을 활용해 future timestep의 feature를 예측.
FLUX에서 4.99×, HunyuanVideo에서 5.00×, DiT에서 4.53×의 가속 성능을 달성.
DiT에서 FID 3.41로 기존 최고 성능 대비 개선.

핵심 아이디어

기존 feature caching 방법은 이전 timestep의 feature를 그대로 재사용하지만, timestep 간격이 커질수록 feature 유사도가 급격히 감소하여 생성 품질 저하를 초래한다. TaylorSeer는 feature 변화가 시간에 따라 연속적이고 천천히 일어난다는 점에 착안, Taylor series를 사용하여 future timestep의 feature를 예측한다. 이는 feature 변화의 1차, 2차, 3차 미분을 차분법으로 추정하고, 이를 기반으로 Taylor 전개를 통해 future feature를 계산하는 방식이다. 특히, 고차 미분을 활용하면 비선형 변화를 효과적으로 모델링할 수 있어, 고속화 비율이 높은 경우에도 생성 품질을 유지한다.

기술적 접근법

**TaylorSeer**: Taylor series expansion을 사용하여 future timestep의 feature를 예측.
**차분법**: 여러 timestep의 feature를 사용해 1차 이상의 미분을 추정.
**활성화 간격 (Activation Interval)**: 𝒩 (예: 3, 4, 5)로 설정.
**Taylor 전개 차수 (𝒪)**: 1차 이상의 전개를 통해 비선형 변화를 모델링.
**실험 모델**: FLUX, HunyuanVideo, DiT-XL/2.
**평가 지표**: Image Reward, CLIP Score, FID, sFID, Inception Score.

주요 결과

FLUX에서 4.99×, HunyuanVideo에서 5.00×의 lossless 가속 성능 달성.
DiT-XL/2에서 4.53× 가속 시 FID 3.41로 기존 최고 성능 대비 개선.
𝒪 ≥ 3일 경우, FID 2.78~3.15로 고속화에서도 품질 유지.
기존 방법 대비 36× 품질 손실 감소 (Figure 2 참조).

의의 및 한계

TaylorSeer는 기존 feature caching의 단점을 극복하고, 고속화 비율이 높아도 품질을 유지할 수 있는 새로운 패러다임을 제시한다. 특히, Taylor 전개를 통해 비선형 feature 변화를 모델링함으로써, 기존 방법이 실패하는 고속화 영역에서도 성능을 유지한다. 그러나 Taylor 전개는 계산 복잡도가 증가할 수 있으며, 고차 전개를 사용할 경우 메모리 요구량이 커질 수 있다. 또한, 모든 모델에서 동일한 성능을 보장하지는 않으며, 특정 모델 구조에 따라 최적의 𝒩과 𝒪 조합이 달라질 수 있다.

실용적 활용

TaylorSeer는 실시간 이미지/비디오 생성이 필요한 산업, 예를 들어 스트리밍, 게임, AR/VR 분야에서 유용하게 활용될 수 있다. 또한, 디퓨전 모델의 추론 속도 향상이 필요한 연구 분야, 특히 대규모 데이터셋 처리나 모바일 환경에서도 적용 가능하다.