Sol-Attn: Accelerating Video Generation Inference via On-the-Fly Attention Sparsification

Diffusion transformers are essential for high-fidelity video generation, but long token sequences make attention a dominant inference bottleneck. Training-free dynamic sparse attention alleviates this bottleneck by computing only selected key-value blocks, yet existing methods struggle to sparsify attention both efficiently and accurately for two reasons: (1) Rigid, unpredictable, and costly routing: selecting a fixed fraction of top-ranked blocks by proxy score imposes fixed budgets, whereas retaining blocks to reach a target cumulative proxy probability mass yields dynamic but potentially imbalanced budgets; both incur non-negligible overhead from computing and materializing proxy scores. (2) Lossy keep-or-drop sparsification: unselected blocks are discarded entirely, degrading accuracy under aggressive sparsity. These limitations motivate cheaper dynamic-budget routing while limiting accuracy degradation. In this paper, we introduce training-free Sol-Attn (Sparsifying online attention), which unifies dynamic routing, sparse computation, and approximation correction in a single online-softmax pass, achieving a better accuracy-efficiency trade-off in sparse attention. The core of Sol-Attn is on-the-fly block thresholding with proxy-score reuse, which selects critical blocks by comparing block proxy scores against a threshold during online softmax. This design enables dynamic yet controllable block budgets without materializing the proxy map, while directly reusing the proxy scores of unselected blocks to approximate their contribution. Experiments across image and video generation tasks show that Sol-Attn advances the quality-efficiency frontier of training-free sparse attention, delivering 2.1 times and 2.3 times end-to-end speedups for video generation and editing, respectively, while preserving visual quality.

한 줄 요약

Sol-Attn은 비용 효율적인 동적 어텐션 스파스화를 통해 동영상 생성 추론 속도를 2.1~2.3배 향상시킨다.

핵심 기여도

**Sol-Attn**이라는 훈련 없이 동작하는 어텐션 스파스화 방법을 제안.
**proxy-score reuse**를 통해 어텐션 맵 재계산을 피하고, **online softmax** 단계에서 블록 선택.
**동영상 생성** 및 **편집** 작업에서 각각 **2.1배**, **2.3배**의 종단 간 속도 향상.
**시각적 품질 유지**를 통해 정확도 저하 없이 효율성 향상.

핵심 아이디어

기존의 어텐션 스파스화는 블록 선택 과정에서 proxy score 계산 및 재현 비용이 높고, 선택되지 않은 블록은 완전히 버려져 정확도가 저하된다. Sol-Attn은 이 문제를 해결하기 위해 **proxy-score reuse**를 도입하여, 선택되지 않은 블록의 기여도를 근사적으로 계산한다. 또한, **online softmax** 단계에서 블록 선택을 수행함으로써, proxy map을 재현하지 않고도 **동적 블록 예산**을 제어할 수 있다. 이는 기존의 고정 또는 불균형 예산 문제를 해결하며, 정확도와 효율성의 균형을 맞춘다.

기술적 접근법

**proxy-score reuse**: 선택되지 않은 블록의 proxy score를 재사용하여 기여도를 근사.
**online softmax**: 블록 선택과 스파스화를 단일 단계에서 처리.
**block thresholding**: proxy score와 threshold 비교를 통해 블록 선택.
**training-free**: 사전 훈련 없이 즉시 적용 가능.
**dynamic block budget**: proxy map 재현 없이 예산 조절 가능.

주요 결과

**video generation** 작업에서 **2.1배**, **video editing** 작업에서 **2.3배**의 종단 간 속도 향상.
**visual quality**는 유지되며, **정확도 저하 없이** 효율성 향상.
**proxy-score 기반 스파스화**를 통해 기존 방법 대비 **낮은 오버헤드** 달성.

의의 및 한계

Sol-Attn은 어텐션 기반 모델의 추론 효율성을 향상시키며, 훈련 없이 즉시 적용 가능한 점에서 실용적 가치가 높다. 특히, **동영상 생성** 분야에서 **성능-효율성 균형**을 개선한 점이 주목할 만하다. 그러나, **proxy score의 선택 기준**이 정확도에 영향을 줄 수 있으며, **극단적인 스파스화 비율**에서는 성능 저하가 발생할 수 있다는 한계가 있다.

실용적 활용

Sol-Attn은 **실시간 동영상 생성**, **편집 애플리케이션**, **저전력 장치에서의 추론** 등에 적용 가능하다. 특히, **대규모 어텐션 모델의 추론 효율성**을 향상시키는 데 유용하며, **비전-언어 모델**이나 **멀티모달 생성 모델**에도 확장 가능하다.