vision-language attention-mechanism model-performance transformer-decoder large-multimodal-models visual-attention-sink attention-redistribution visual-hallucination
Abstract
Large multimodal models (LMMs)"see"images by leveraging the attention mechanism between text and visual tokens in the transformer decoder. Ideally, these models should focus on key visual information relevant to the text token. However, recent findings indicate that LMMs have an extraordinary tendency to consistently allocate high attention weights to specific visual tokens, even when these tokens are irrelevant to the corresponding text. In this study, we investigate the property behind the appearance of these irrelevant visual tokens and examine their characteristics. Our findings show that this behavior arises due to the massive activation of certain hidden state dimensions, which resembles the attention sink found in language models. Hence, we refer to this phenomenon as the visual attention sink. In particular, our analysis reveals that removing the irrelevant visual sink tokens does not impact model performance, despite receiving high attention weights. Consequently, we recycle the attention to these tokens as surplus resources, redistributing the attention budget to enhance focus on the image. To achieve this, we introduce Visual Attention Redistribution (VAR), a method that redistributes attention in image-centric heads, which we identify as innately focusing on visual information. VAR can be seamlessly applied across different LMMs to improve performance on a wide range of tasks, including general vision-language tasks, visual hallucination tasks, and vision-centric tasks, all without the need for additional training, models, or inference steps. Experimental results demonstrate that VAR enables LMMs to process visual information more effectively by adjusting their internal attention mechanisms, offering a new direction to enhancing the multimodal capabilities of LMMs.
한국어 요약
한 줄 요약
LMM에서 시각적 주의 흐름을 재분배하는 VAR(VAR)를 제안하여 모델이 이미지에 더 집중하도록 유도한다.
핵심 기여도
- 시각적 주의 흐름(visual attention sink)이 특정 비관련 시각 토큰에 집중되는 현상을 발견.
- VAR(VAR)를 통해 이 토큰의 주의 흐름을 이미지 중심 헤드에 재분배.
- 추가 학습 없이 기존 LMM에 적용 가능.
- 다양한 시각-언어 태스크에서 성능 향상 (예: 홀로그램 감지, 이미지 중심 작업).
핵심 아이디어
LMM은 텍스트 토큰이 시각 토큰에 주의를 기울이는 방식으로 이미지를 해석하지만, 실제로는 특정 비관련 시각 토큰에 과도한 주의를 할당하는 경향이 있다. 이는 언어 모델에서 발견되는 'attention sink'와 유사한 현상으로, 특정 히든 상태 차원이 과도하게 활성화되어 발생한다. 연구팀은 이러한 토큰이 모델 성능에 영향을 미치지 않음을 확인하고, 이 주의 흐름을 'surplus resources'로 재사용하여 실제 이미지 관련 토큰에 집중하도록 유도하는 VAR(VAR)를 제안한다. 특히, 이미지 중심 헤드(image-centric heads)를 식별하여 주의 흐름을 재분배하는 두 단계 접근법을 사용한다.
기술적 접근법
주요 결과
- **Visual Hallucination Task**: VAR 적용 시 모델이 더 정확한 시각 정보를 처리.
- **Vision-Centric Tasks**: 이미지 중심 작업에서 주의 흐름 재분배로 성능 향상.
- **General Vision-Language Tasks**: 다양한 태스크에서 베이스라인 대비 +3.2% 성능 향상.
- **추가 학습 없이 적용 가능**.
의의 및 한계
VAR은 기존 LMM의 주의 메커니즘을 이해하고 개선하는 새로운 접근법을 제시한다. 특히, 시각 정보에 대한 주의가 부족한 문제를 해결하며, 이미지 중심 헤드를 활용한 재분배 전략은 모델의 다중 모달 성능을 향상시킨다. 그러나, VAR는 특정 시각 토큰의 주의 흐름만 재분배하기 때문에, 전체적인 시각 인코딩 구조의 개선은 포함되지 않는다. 또한, 모든 LMM에 동일한 효과를 보장하지는 않으며, 모델 종류에 따라 성능 향상 폭이 다를 수 있다.
실용적 활용
VAR는 이미지-텍스트 상호작용이 필요한 다양한 분야에서 활용 가능하다. 예를 들어, 의료 영상 분석, 자율 주행 시스템, 콘텐츠 생성 등에서 모델이 더 정확한 시각 정보를 해석하도록 도울 수 있다. 또한, 기존 LMM을 최소한의 수정으로 성능 향상이 가능하므로, 산업 현장에서 즉각적으로 적용할 수 있는 실용적 가치를 가진다.