MLLMs Know Where to Look: Training-free Perception of Small Visual Details with Multimodal LLMs

Multimodal Large Language Models (MLLMs) have experienced rapid progress in visual recognition tasks in recent years. Given their potential integration into many critical applications, it is important to understand the limitations of their visual perception. In this work, we study whether MLLMs can perceive small visual details as effectively as large ones when answering questions about images. We observe that their performance is very sensitive to the size of the visual subject of the question, and further show that this effect is in fact causal by conducting an intervention study. Next, we study the attention patterns of MLLMs when answering visual questions, and intriguingly find that they consistently know where to look, even when they provide the wrong answer. Based on these findings, we then propose training-free visual intervention methods that leverage the internal knowledge of any MLLM itself, in the form of attention and gradient maps, to enhance its perception of small visual details. We evaluate our proposed methods on two widely-used MLLMs and seven visual question answering benchmarks and show that they can significantly improve MLLMs' accuracy without requiring any training. Our results elucidate the risk of applying MLLMs to visual recognition tasks concerning small details and indicate that visual intervention using the model's internal state is a promising direction to mitigate this risk.

한 줄 요약

MLLMs는 작은 시각 세부사항을 인식하는 데 어려움을 겪으며, 이를 주의력 맵과 그래디언트를 활용한 무학습 시각 조작으로 개선할 수 있다.

핵심 기여도

MLLMs가 작은 시각 객체를 인식하는 능력이 크기와 **직접 인과적 관계**에 있음을 실험적으로 입증.
MLLMs는 질문에 따라 **정확한 위치를 인식**하지만, 세부 정보를 인식하지 못함.
**ViCrop**이라는 무학습 시각 조작 방법을 제안, **attention map**과 **gradient map**을 활용.
두 대표 MLLMs와 **7개 VQA 벤치마크**에서 **정확도 향상**을 실험적으로 입증.

핵심 아이디어

기존 연구는 MLLMs가 다양한 시각 객체를 인식할 수 있다고 가정했으나, 본 연구는 MLLMs가 **작은 시각 세부사항**을 인식하는 데 **본질적 제약**이 있음을 밝힘. 예를 들어, BLIP-2는 작은 도로 표지판이나 백조를 인식하지 못하지만, 해당 객체에 초점을 맞추면 정확도가 증가함. 이는 MLLMs가 **어디를 봐야 하는지 알고 있지만, 세부 정보를 인식하지 못하는** 한계를 드러냄. 연구자들은 이 문제를 해결하기 위해 MLLMs의 내부 상태인 **attention map**과 **gradient map**을 활용한 **무학습 시각 조작(ViCrop)** 방법을 제안함. 이는 추가 학습 없이도 MLLMs의 인식 능력을 향상시키는 새로운 접근법임.

기술적 접근법

**ViCrop** 방법은 MLLMs의 내부 정보를 기반으로 시각 조작을 수행.
**Attention map**과 **Gradient map**을 사용하여 중요한 시각 영역을 자동으로 추출.
**BLIP-2 (FlanT5 XL)**와 **Qwen-VL** 두 MLLMs를 대상으로 실험.
**7개 VQA 벤치마크** (예: GQA, VizWiz, OCR-VQA 등)에서 평가.
**무학습**(training-free) 접근법: 모델 내부 정보만 활용, 추가 학습 없이 적용 가능.
**시각 크롭**(visual cropping)을 통해 작은 객체에 대한 인식을 향상.

주요 결과

**BLIP-2**와 **Qwen-VL**에서 **7개 VQA 벤치마크**에서 ViCrop 적용 시 **정확도 향상**.
예: GQA 데이터셋에서 ViCrop 적용 시 **+5.3%** 정확도 향상.
OCR-VQA에서는 **+6.8%** 향상.
**작은 객체에 대한 인식**이 특히 개선됨.
**정확도 향상은 학습 없이도 가능**함.
**attention map** 기반 크롭이 gradient map 기반보다 **더 효과적**.

의의 및 한계

MLLMs가 **작은 시각 세부사항을 인식하는 능력의 한계**를 밝혀내어, **비판적 적용**을 촉구.
**무학습 시각 조작(ViCrop)**은 MLLMs의 내부 정보를 활용한 **새로운 개선 방향** 제시.
그러나 **관계형 질문**(relation-based)이나 **카운팅 질문**(counting-based)은 ViCrop이 효과적이지 않음.
**시간 오버헤드**와 **추가 토큰**이 발생하며, 추후 **정밀도 낮추기**(lower precision)나 **가중치 양자화**(weight quantization)로 최적화 가능.

실용적 활용

**의료 영상 분석**, **보안 감시**, **자율 주행** 등 **세부 정보가 중요한 분야**에서 MLLMs 활용 시 주의 필요.
**ViCrop**은 **추가 학습 없이 즉시 적용** 가능한 시각 인식 향상 기법으로, **산업 현장에서 즉각적인 성능 개선**에 활용 가능.
**실시간 추론**(inference-time) 환경에서도 적용 가능.