SpecKCast: Spectral Kalman Forecasting for Diffusion Acceleration

Diffusion Transformers (DiTs) achieve high-fidelity image and video generation, but they suffer from substantial inference costs due to repeated transformer evaluations across many denoising steps. Feature caching reduces this cost by reusing features across denoising steps. Recent forecasting methods extend this idea by extrapolating features to skipped steps instead of reusing them. However, existing forecasting methods extrapolate the features they predict uniformly, even though the spatial-frequency components of these features change most at different stages of denoising. They also overlook that denoising progresses nonuniformly, so equal step intervals can correspond to very different amounts of change. These mismatches amplify forecast errors as more steps are skipped, limiting the achievable acceleration. We propose SpecKCast, a training-free method that forecasts the model output in the frequency domain. SpecKCast applies a 2D discrete cosine transform (DCT) to the output and tracks each coefficient with a lightweight Kalman filter along a band-specific time coordinate derived from the noise schedule. The filter tracks each coefficient's value and rate of change, and the transformer is evaluated only when the filter's forecast uncertainty exceeds a threshold. Experiments on FLUX.1-dev, Qwen-Image, Wan2.1-14B, and HunyuanVideo show that SpecKCast achieves a better trade-off between acceleration and fidelity than existing caching and forecasting methods, reaching up to 6x speedup with less than 0.05 GiB of additional memory.

한 줄 요약

SpecKCast는 주파수 영역에서 Kalman 필터를 활용해 디퓨전 트랜스포머의 추론 속도를 6배까지 높이는 훈련 없이 가능한 가속화 방법이다.

핵심 기여도

**주파수 분리 및 노이즈 스케줄러 기반 시간 좌표를 사용한 예측**: DCT를 통해 모델 출력을 주파수 영역으로 변환하고, 각 주파수 성분을 별도로 Kalman 필터로 추적.
**불확실성 기반 Kalman 예측**: Kalman 필터로 각 DCT 계수의 값과 변화율을 추적하며, 예측 불확실성이 임계값을 넘을 때만 트랜스포머 실행.
**FLUX.1-dev 등 모델에서 6× 가속, 0.05 GiB 미만 추가 메모리 소비**: 기존 캐싱 및 예측 방법 대비 최고 성능 보장.

핵심 아이디어

기존 예측 방법은 전체 특징을 균일하게 예측하거나 동일한 시간 간격을 가정하여, 주파수 성분의 비균일한 변화를 무시했다. SpecKCast는 모델 출력을 2D DCT를 통해 주파수 영역으로 변환하고, 각 주파수 대역의 시간적 진화를 별도로 추적한다. Kalman 필터는 각 DCT 계수의 값과 변화율을 추적하며, 노이즈 스케줄러에서 유도한 비선형 시간 좌표를 사용해 예측 정확도를 높인다. 이는 주파수 대역별로 다른 변화 패턴을 반영할 수 있게 하며, 예측 불확실성이 임계값을 넘을 때만 트랜스포머를 실행함으로써 계산 효율성을 극대화한다.

기술적 접근법

**2D DCT 적용**: 모델 출력을 공간-주파수 영역으로 변환.
**Kalman 필터 사용**: 각 DCT 계수의 값과 변화율 추적.
**비선형 시간 좌표**: 노이즈 스케줄러 기반으로 시간 좌표를 변형하여 주파수 대역별 진화 패턴과 정렬.
**불확실성 기반 트랜스포머 실행**: Kalman 필터의 예측 불확실성이 임계값을 넘을 때만 트랜스포머 실행.
**주파수 대역 분할**: 동일한 시간 좌표와 예측 불확실성을 공유하는 대역으로 계수 분류.

주요 결과

**FLUX.1-dev에서 6× 가속, 0.05 GiB 미만 추가 메모리 소비**: 기존 방법 대비 최고 성능.
**PSNR 4.2 dB 개선**: TaylorSeer 대비.
**시간 좌표 개선으로 3.3 dB PSNR 향상**: raw log-SNR 대비.
**불확실성 기반 스케줄링으로 2.2 dB PSNR 향상**: 고정 스케줄 대비.
**전체 모델에서 PSNR, SSIM, LPIPS, ImageReward 모두 최고**: 추가 지연 없이.

의의 및 한계

SpecKCast는 디퓨전 모델의 추론 속도를 훈련 없이 6배까지 높이며, 주파수 영역 예측과 Kalman 필터를 결합한 새로운 접근법을 제시한다. 주파수 대역별 시간 진화를 고려함으로써 예측 정확도를 높이고, 불확실성 기반 스케줄링을 통해 트랜스포머 실행을 최소화하여 메모리와 계산 비용을 줄였다. 그러나 이 방법은 시간적 중복만 활용하고, 트랜스포머 내부의 공간적 중복은 고려하지 않아, 공간-시간적 중복을 동시에 활용하는 방향으로의 확장이 필요하다.

실용적 활용

SpecKCast는 이미지 및 동영상 생성 시스템, 특히 실시간 응용(예: 스트리밍, AR/VR)에서 유용하게 사용될 수 있다. 고정된 모델 구조를 유지하면서 추론 속도를 높이므로, 기존 디퓨전 트랜스포머 기반 제품에 쉽게 통합 가능하다.