SparseVLM: Visual Token Sparsification for Efficient Vision-Language Model Inference

In vision-language models (VLMs), visual tokens usually bear a significant amount of computational overhead despite sparsity of information in them when compared to text tokens. To address this, most existing methods learn a network to prune redundant visual tokens using certain training data. Differently, we propose a text-guided training-free token optimization mechanism dubbed SparseVLM that eliminates the need of extra parameters or fine-tuning costs. Given that visual tokens complement text tokens in VLM's linguistic reasoning, we select relevant text tokens to rate the significance of visual tokens using self-attention matrices and, then, prune visual tokens using the proposed strategy to maximize sparsity while retaining information. In particular, we introduce a rank-based strategy to adaptively determine the sparsification ratio for each layer, alongside a token recycling method that compresses pruned tokens into more compact representations. Experimental results show that SparseVLM increases the efficiency of various VLMs in a number of image and video understanding tasks. For example, LLaVA when equipped with SparseVLM achieves 54% reduction in FLOPs, 37% decrease in CUDA latency while maintaining 97% of its original accuracy. Our code is available at https://github.com/Gumpest/SparseVLMs.

한 줄 요약

SparseVLM은 텍스트 유도적 토큰 최적화를 통해 VLM의 추론 효율성을 향상시키는 훈련 없이 작동하는 메커니즘이다.

핵심 기여도

훈련 없이 작동하는 텍스트 유도적 토큰 최적화 메커니즘(SparseVLM)을 제안.
시각 토큰의 중요도를 평가하기 위해 cross-attention 기반의 텍스트 토큰 선택 전략을 도입.
pruned 토큰을 재활용하는 reconstruction 메커니즘을 통해 정보 손실 최소화.
LLaVA에서 4.5× 압축률을 달성하면서 97%의 원본 정확도 유지.

핵심 아이디어

기존 VLM에서 시각 토큰은 텍스트 토큰에 비해 정보가 희소하지만, 계산 부담이 큰 문제가 있다. SparseVLM은 훈련 없이 텍스트 토큰의 cross-attention을 활용해 시각 토큰의 중요도를 평가하고, 불필요한 토큰을 제거하는 전략을 제안한다. 이는 기존 방법들이 추가적인 파라미터나 훈련 데이터를 요구하는 것과 대조된다.

구체적으로, SparseVLM은 self-attention 행렬을 활용해 시각 토큰과 관련된 텍스트 토큰("raters")을 선정하고, 해당 텍스트 토큰의 기준으로 시각 토큰의 기여도를 측정한다. 이후, 각 레이어별 attention 행렬의 rank를 기반으로 adaptive sparsification ratio를 결정하여 토큰을 제거한다. 제거된 토큰은 재활용(reconstruction) 메커니즘을 통해 정보 손실을 최소화한다.

기술적 접근법

**Cross-attention 기반 텍스트 토큰 선택**: 시각 토큰과 강하게 연관된 텍스트 토큰을 선정하여 "raters"로 활용.
**Rank-based adaptive sparsification**: attention 행렬의 rank를 기반으로 각 레이어별 sparsification 비율을 결정.
**Token recycling**: 제거된 토큰을 재활용하여 더 컴팩트한 표현으로 재구성.
**No extra parameters or fine-tuning**: 기존 VLM의 파라미터를 그대로 사용하며, 추가 훈련 없이 작동.

주요 결과

**LLaVA**: 4.5× 압축률, 97% 원본 정확도 유지, 37% CUDA latency 감소.
**VideoLLaVA**: 14.7% FastV 정확도 상회, 동영상 QA 벤치마크에서 성능 향상.
**MiniGemini**: 9.2–20.4% FastV 정확도 상회.
**LLaVA**: 11.2–17.3% FastV 정확도 상회.

의의 및 한계

SparseVLM은 기존 VLM의 추론 효율성을 훈련 없이 향상시키는 점에서 학술적·실용적 가치가 있다. 특히, 텍스트 유도적 토큰 최적화는 multimodal 추론의 본질에 부합하며, 기존 접근법보다 더 직관적이고 유연하다. 또한, 토큰 재활용 메커니즘은 정보 손실을 최소화함으로써 성능 저하를 방지한다.

한계로는, 특정 유형의 시각 입력에서 attention 기반의 중요도 평가가 정확하지 않을 수 있으며, 이는 토큰 선택의 오류로 이어질 수 있다. 또한, 모든 VLM 아키텍처에 동일하게 적용되는 보편적 성능 향상이 보장되지 않으며, 일부 모델에서는 약간의 정확도 하락(예: 0.9%)이 발생할 수 있다.

실용적 활용

SparseVLM은 클라우드 및 에지 기기에서의 VLM 배포에 유용하게 활용될 수 있다. 특히, 고해상도 이미지나 장시간 동영상 처리가 필요한 실시간 시스템에서 계산 효율성을 극대화할 수 있다. 또한, 기존 VLM을 최소한의 수정 없이 바로 적용할 수 있는 plug-and-play 모듈로서, 다양한 연구 및 산업 분야에서 활용 가능하다.