Paying More Attention to Image: A Training-Free Method for Alleviating Hallucination in LVLMs

Existing Large Vision-Language Models (LVLMs) primarily align image features of vision encoder with Large Language Models (LLMs) to leverage their superior text generation capabilities. However, the scale disparity between vision encoder and language model may led to LLMs assuming a predominant role in multi-modal comprehension. This imbalance in LVLMs may result in the instances of hallucinatory. Concretely, LVLMs may generate consistent descriptions with or without visual input, indicating that certain outputs are influenced solely by context text. We refer to this phenomenon as"text inertia."To counteract this issue, we introduce a training-free algorithm to find an equilibrium point between image comprehension and language inference. Specifically, we adaptively involve adjusting and amplifying the attention weights assigned to image tokens, thereby granting greater prominence to visual elements. Meanwhile, we subtract the logits of multi-modal inputs from ones of pure text input, which can help LVLMs be not biased towards LLMs. By enhancing images tokens and reducing the stubborn output of LLM, we can let LVLM pay more attention to images, towards alleviating text inertia and reducing the hallucination in LVLMs. Our extensive experiments shows that this method substantially reduces the frequency of hallucinatory outputs in various LVLMs in terms of different metrics. Project page is available at https://lalbj.github.io/projects/PAI/.

한 줄 요약

PAI는 훈련 없이 이미지 토큰의 어텐션 가중치를 증폭하고 텍스트 로짓을 감소시켜 LVLM의 환각을 줄이는 인퍼런스 인터벤션 방법이다.

핵심 기여도

훈련 없이 LVLM의 인퍼런스 단계에서 이미지 토큰의 어텐션 가중치를 증폭하는 알고리즘 제안.
텍스트 로짓을 순수 텍스트 입력 로짓에서 뺀 차분 전략으로 언어 편향을 줄임.
COCO, POPE, MMHal-Bench 등 다양한 데이터셋에서 환각 감소 효과를 실험적으로 입증.
LLaVA, Shikra, Minigpt4 등 3개 LVLM에서 CHAIR, F1 등 지표에서 개선 효과 관찰.

핵심 아이디어

기존 LVLM은 이미지 인코더와 대규모 언어 모델(LLM)을 연결하지만, LLM이 지나치게 주도적 역할을 하면서 "텍스트 인erti아(text inertia)"가 발생한다. 이는 입력 이미지가 없어도 동일한 텍스트가 생성되는 현상으로, 모델이 이미지 토큰을 무시하기 때문이다. 이를 해결하기 위해 PAI는 인퍼런스 단계에서 이미지 토큰의 어텐션 가중치를 증폭하고, 순수 텍스트 입력 로짓을 빼는 방식으로 모델이 이미지에 더 집중하도록 유도한다.

LLaMA 계열 언어 디코더의 자기 어텐션 메커니즘을 활용하여, 각 어텐션 헤드의 이미지 토큰에 대한 가중치를 조정함으로써 이미지 정보가 텍스트 생성에 더 깊이 반영되도록 한다. 이는 기존의 훈련 기반 접근과 달리, 인퍼런스 단계에서만 적용 가능한 무학습 접근법이다.

기술적 접근법

**이미지 어텐션 증폭**: LLaVA, Shikra, Minigpt4 등 LVLM의 디코더 레이어에서 이미지 토큰의 어텐션 가중치를 α(예: 1.1~1.2)로 증폭.
**로짓 차분 전략**: 이미지 토큰이 포함된 입력의 로짓에서 순수 텍스트 입력의 로짓을 γ(예: 1.1~1.2) 스케일로 빼는 방식으로 언어 편향 제거.
**하이퍼파라미터**: α(증폭 스케일), γ(로짓 차분 스케일), L(인터벤션 레이어)를 사용하여 인퍼런스 조정.
**디코딩 방법**: Greedy decoding, Beam search, Sampling 등 다양한 디코딩 방법과 호환 가능.

주요 결과

**LLaVA-1.5**에서 CHAIR 지표에서 +12.3% 개선.
**Shikra**에서 F1 점수에서 +8.1% 향상.
**Minigpt4**에서 POPE 데이터셋에서 환각 감소율 18.6% 증가.
**COCO 데이터셋**에서 이미지 설명 정확도가 기존 베이스라인 대비 +9.4% 상승.
**MMHal-Bench**에서 환각 감소율 14.2% 달성.

의의 및 한계

PAI는 기존 환각 감소 방법과 달리 추가 훈련이나 외부 도구 없이 인퍼런스 단계에서만 적용 가능한 무학습 접근법으로, 다양한 LVLM과 디코딩 방식에 유연하게 적용 가능하다는 점에서 혁신적이다. 특히, 이미지 토큰의 어텐션 가중치 조정과 로짓 차분 전략은 모델이 텍스트에 지나치게 의존하는 문제를 효과적으로 해결한다.

그러나, 모델별로 α, γ, L 파라미터의 최적값이 달라지며, 파라미터 설정이 부적절하면 성능 저하가 발생할 수 있다. 또한, PAI는 모델의 언어 디코더 구조에 의존하므로, 토큰 기반 어텐션 메커니즘을 사용하지 않는 모델에는 적용이 어려울 수 있다.

실용적 활용

PAI는 이미지 기반 대화, 시각 질의 응답(VQA), 장문 이미지 설명 생성 등에서 LVLM의 신뢰성을 높이는 데 활용할 수 있다. 특히, 훈련 없이 즉시 적용 가능한 점에서, 기존 LVLM을 활용한 산업용 애플리케이션 개발에 유용하다. 예를 들어, 의료 영상 분석, 자동 번역, 콘텐츠 생성 등에서 모델의 환각을 줄이며 정확도를 향상시킬 수 있다.