Multi-Modal Hallucination Control by Visual Information Grounding

Generative Vision-Language Models (VLMs) are prone to generate plausible-sounding textual answers that, however, are not always grounded in the input image. We investigate this phenomenon, usually referred to as “hallucination” and show that it stems from an excessive reliance on the language prior. In particular, we show that as more tokens are generated, the reliance on the visual prompt decreases, and this behavior strongly correlates with the emergence of hallucinations. To reduce hallucinations, we introduce Multi-Modal Mutual-Information Decoding (M3ID), a new sampling method for prompt amplification. M3ID amplifies the influence of the reference image over the language prior, hence favoring the generation of tokens with higher mutual information with the visual prompt. M3ID can be applied to any pre-trained autoregressive VLM at inference time without necessitating further training and with minimal computational overhead. If training is an option, we show that M3ID can be paired with Direct Preference Optimization (DPO) to improve the model's reliance on the prompt image without requiring any labels. Our empirical findings show that our algorithms maintain the fluency and linguistic capabilities of pre-trained VLMs while reducing hallucinations by mitigating visually ungrounded answers. Specifically, for the LLaVA 13B model, M3ID and M3ID+DPO reduce the percentage of hallucinated objects in captioning tasks by 25% and 28%, respectively, and improve the accuracy on VQA benchmarks such as POPE by 21% and 24%.

한 줄 요약

M3ID는 VLM의 환상 생성을 감소시키는 무학습 추론 시 간섭 방법으로, 시각적 정보와의 상호정보를 최대화하여 언어 사전에 대한 과도한 의존성을 줄인다.

핵심 기여도

**M3ID**를 제안하여 추론 시 시각 프롬프트의 영향력을 증폭시켜 환상 감소 (LLaVA 13B 기준, 캡션 생성에서 25% 감소).
**M3ID+DPO**를 통해 학습 없이도 시각 프롬프트 의존도를 향상시키며, POPE 벤치마크 정확도 24% 개선.
**PDM**(Prompt Dependency Measure)을 정의하여 토큰이 시각 정보와 얼마나 관련되어 있는지를 정량적으로 평가.
**Conditioning dilution**(조건 희석) 현상을 분석, 토큰 생성이 진행될수록 시각 정보 의존도가 감소함을 실증.

핵심 아이디어

기존 VLM은 토큰 생성이 진행될수록 시각 정보에 대한 의존도가 낮아지는 **conditioning dilution** 현상을 보이며, 이는 환상 생성과 강하게 상관된다. 이를 해결하기 위해, M3ID는 추론 시 **시각 프롬프트와의 상호정보**(mutual information)를 최대화하는 샘플링 방법으로, 언어 사전에 대한 과도한 의존성을 줄인다. M3ID는 기존 사전 학습된 모델에 추가 학습 없이 적용 가능하며, **두 번의 forward pass**(조건/비조건)를 통해 **PDM**(Prompt Dependency Measure)을 기반으로 토큰을 재가중치한다. 이는 **Hellinger 거리**를 기반으로 정의된 PDM-H를 사용하여, 토큰이 특정 이미지에 얼마나 의존적인지를 측정한다.

기술적 접근법

**M3ID**: 추론 시 **두 가지 확률 분포**(조건된 p(y|x,c)와 비조건된 p(y|x))를 비교하여, 시각 프롬프트와의 상호정보가 높은 토큰을 선호하는 샘플링 알고리즘.
**PDM-H**: Hellinger 거리를 기반으로 정의된 **Prompt Dependency Measure**.
**DPO**(Direct Preference Optimization): 모델 가중치에 접근 가능한 경우, M3ID와 결합하여 시각 프롬프트 의존도를 향상시키는 학습 방법.
**LLaVA 13B 모델**에 적용, **캡션 생성**에서 환상 객체 감소 25%, **POPE VQA** 정확도 21% 향상.
**MS COCO 데이터셋**에서 실험, 실제 이미지에 없는 객체 생성을 감지하여 평가.

주요 결과

**LLaVA 13B 모델**에서 M3ID는 캡션 생성 시 환상 객체 비율을 **25% 감소**, M3ID+DPO는 **28% 감소**.
**POPE VQA 벤치마크**에서 M3ID는 정확도를 **21%**, M3ID+DPO는 **24%** 개선.
**PDM-H**를 사용한 평가에서, 토큰 생성이 진행될수록 시각 프롬프트 의존도가 감소함을 실증.

의의 및 한계

M3ID는 기존 VLM의 환상 문제를 해결하면서도 **추가 학습 없이 즉시 적용 가능한 무학습 추론 간섭**(inference-time intervention) 방법으로, **LLaVA 13B**와 같은 대형 모델에서도 효과적이다. 특히, **시각 프롬프트에 대한 과도한 언어 사전 의존**이 환상의 주요 원인임을 밝혀내며, 이는 기존 연구에서 언급되지 않았던 통찰이다. 그러나 M3ID는 **추론 시 두 번의 forward pass**가 필요하여, **추론 속도에 영향**을 줄 수 있다. 또한, 언어 사전에 강하게 의존하는 객체는 **생략될 수 있는 단점**이 있다. 이는 **하이퍼파라미터 조정**으로 완화 가능하지만, **캡션 구조화**를 통한 해결 방안이 필요하다.

실용적 활용

M3ID는 **시각-언어 생성 모델**(VLM)이 사용되는 **이미지 캡션 생성**, **VQA**(Visual Question Answering) 등에서 **정확성과 신뢰도 향상**에 활용 가능하다. 특히, **의료 이미지 해석**, **자동 번역**, **로봇 시각 인식** 등에서 **실제 시각 정보에 기반한 정확한 텍스트 생성**이 요구되는 분야에 적용할 수 있다.