Stop Looking for Important Tokens in Multimodal Language Models: Duplication Matters More

Vision tokens in multimodal large language models often dominate huge computational overhead due to their excessive length compared to linguistic modality. Abundant recent methods aim to solve this problem with token pruning, which first defines an importance criterion for tokens and then prunes the unimportant vision tokens during inference. However, in this paper, we show that the importance is not an ideal indicator to decide whether a token should be pruned. Surprisingly, it usually results in inferior performance than random token pruning and leading to incompatibility to efficient attention computation operators.Instead, we propose DART (Duplication-Aware Reduction of Tokens), which prunes tokens based on its duplication with other tokens, leading to significant and training-free acceleration. Concretely, DART selects a small subset of pivot tokens and then retains the tokens with low duplication to the pivots, ensuring minimal information loss during token pruning. Experiments demonstrate that DART can prune 88.9% vision tokens while maintaining comparable performance, leading to a 1.99$\times$ and 2.99$\times$ speed-up in total time and prefilling stage, respectively, with good compatibility to efficient attention operators. Our codes are available at https://github.com/ZichenWen1/DART.

한 줄 요약

DART는 토큰 중복을 기반으로 88.9%의 비전 토큰을 제거하면서도 성능 저하 없이 1.99×, 2.99×의 속도 향상을 달성한 토큰 축소 기법이다.

핵심 기여도

기존 중요도 기반 토큰 제거가 랜덤 제거보다 성능 저하 및 FlashAttention과의 호환성 문제를 일으킴을 실증.
DART는 토큰 중복(Duplication)을 기준으로 88.9%의 비전 토큰을 제거.
DART는 훈련 없이 적용 가능하며, 0.08초 이내에 처리되어 FlashAttention과 호환됨.
LLaVA-1.5-7B에서 기존 최고 성능 대비 2.2% 개선 (93.7% vs. 91.5%).

핵심 아이디어

기존 토큰 제거 방법은 주로 어텐션 점수를 기반으로 토큰의 중요도를 정의하고, 중요도가 낮은 토큰을 제거하는 방식을 사용한다. 그러나 이 연구는 중요도 기반 토큰 제거가 토큰 간 상호작용을 무시하고, FlashAttention과의 호환성 문제, 위치 편향, 정확도 저하 등의 문제를 일으킨다는 점을 지적한다. 특히, 랜덤 제거보다 성능이 낮은 경우가 있음을 실험적으로 보여준다. 이에 반해, DART는 토큰의 중복성을 기준으로 제거 대상을 선정한다. 즉, 유사한 토큰이 여러 개 존재할 경우 그 중 하나만 남기고 나머지를 제거함으로써 정보 손실을 최소화하면서도 계산 효율성을 높인다. 이는 토큰 간 상호작용을 고려하지 않는 기존 방법과는 차별화된다.

기술적 접근법

**DART 알고리즘**:

1. 전체 토큰 중 2% 이하의 피벗 토큰을 선택 (노름 기반 또는 랜덤 선택).
2. 피벗 토큰과 나머지 토큰 간 코사인 유사도 계산.
3. 유사도가 낮은 토큰만 남기고, 유사한 토큰은 제거.

**처리 시간**: 0.08초 이내.
**호환성**: FlashAttention과 호환됨.
**제거 비율**: 최대 88.9%의 비전 토큰 제거 가능.

주요 결과

**LLaVA-1.5-7B**: 88.9% 토큰 제거 시 93.7% 정확도 달성 (기존 최고 91.5% 대비 +2.2%).
**전체 처리 시간**: 1.99× 가속.
**Prefilling 단계**: 2.99× 가속.
**13개 벤치마크, 5개 MLLM 모델**에서 성능-속도 균형 우수함.

의의 및 한계

DART는 기존 중요도 기반 토큰 제거의 한계를 극복하고, 토큰 중복성을 기준으로 효율적이고 정확한 토큰 제거를 가능하게 한다. 특히, FlashAttention과의 호환성과 빠른 처리 시간은 실시간 응용에 유리하다. 그러나 DART는 토큰의 중복성만 고려하므로, 비전 토큰의 의미적 중요도는 반영하지 못한다는 점이 한계이다. 또한, 특정 데이터셋에서 토큰 제거가 홀리스틱한 정보 손실을 유발할 가능성도 제기된다.

실용적 활용

DART는 고해상도 이미지나 다중 프레임 동영상 처리가 필요한 MLLM 응용에서 계산 비용을 줄이는 데 유용하다. 특히, 실시간 인퍼런스가 필요한 시스템, 예를 들어 자율주행, 스마트 홈, 클라우드 기반 AI 서비스 등에서 성능과 속도를 동시에 확보할 수 있다.