Beyond Visual Similarity: Entity-Aligned Retrieval for Knowledge-Based Visual Question Answering

Knowledge-Based Visual Question Answering (KB-VQA) relies on retrieving external information to answer queries involving long-tail entities. However, existing retrieval pipelines predominantly employ CLIP-style dual encoders, which prioritize surface-level visual similarity over entity-level semantic alignment. This paradigm often fails when semantically identical concepts exhibit large visual variations or when distinct entities appear visually similar. To address this, we propose KBMR, the first MLLM-based embedding retriever tailored for KB-VQA. Leveraging the robust autoregressive capabilities of MLLMs, KBMR maps images into a semantic space that better preserves concept identity. To tackle the challenge of noisy supervision in Wikipedia-scale retrieval, we introduce an MLLM-based semantic discriminator that generates continuous entity-consistency weights. These weights guide a novel continuous semantic distillation objective, enabling effective hard negative sampling and soft supervision beyond rigid binary labels. Extensive experiments demonstrate that KBMR significantly outperforms CLIP baselines, yielding up to a 14.7% improvement in retrieval Recall@1 and a 9.4% gain in end-to-end VQA accuracy. Code is available at https://github.com/realHarryX/KBMR.

한 줄 요약

KBMR은 KB-VQA에서 CLIP 기반 검색의 한계를 극복한 MLLM 기반 검색기로, 최대 14.7%의 Recall@1 개선을 달성했다.

핵심 기여도

KBMR은 KB-VQA 최초의 MLLM 기반 검색기로, CLIP보다 엔티티 수준 의미 일치를 반영한 검색 성능을 제공.
MLLM 기반 의미 판별기(semantic discriminator)를 도입해 연속적인 엔티티 일관성 가중치를 생성.
연속 의미 증류(continuous semantic distillation) 목표를 제안해, CLIP 기반 검색에서의 이진 라벨 제약을 극복.
E-VQA, InfoSeek, OK-VQA 데이터셋에서 최대 14.7%의 Recall@1 개선과 9.4%의 VQA 정확도 향상 기록.

핵심 아이디어

기존 CLIP 기반 검색기는 시각적 유사성에 집중하여, 엔티티 수준 의미 일치를 반영하지 못해 KB-VQA에서 한계를 보인다. 예를 들어, 같은 개념이 다양한 시점이나 스타일로 표현될 때, 또는 서로 다른 엔티티가 시각적으로 유사할 때 정확한 검색이 어려운 문제가 발생한다. KBMR은 이러한 문제를 해결하기 위해 MLLM의 자동 회귀적 의미 임베딩을 활용해, 엔티티 수준 의미를 보존하는 공유 의미 공간을 구축한다.

또한, KBMR은 의미 판별기(Qwen2.5-VL-7B)를 사용해 쿼리-후보 쌍이 타겟 엔티티를 참조하는지 판단하고, 이에 따라 연속적인 엔티티 일관성 가중치를 생성한다. 이 가중치는 단순 이진 라벨이 아닌, 후보 간 의미적 유사도를 반영한 부드러운 지도(signals)를 제공하여, 더 정교한 하드 네거티브 샘플링과 의미 기반 학습을 가능하게 한다.

기술적 접근법

**모델**: KBMR은 Qwen2-VL과 LLaVA-OneVision을 기반으로 훈련된 MLLM 기반 검색기.
**임베딩 생성**: EVA-CLIP-8B로 쿼리와 후보 임베딩을 추출하고, MLLM의 마지막 토큰 hidden state를 검색 임베딩으로 사용.
**하드 네거티브 샘플링**: 의미 판별기(Qwen2.5-VL-7B)로 생성된 연속 엔티티 일관성 가중치를 기반으로 하드 네거티브를 선택.
**훈련 전략**: 연속 의미 증류(continuous semantic distillation)를 통해 검색기의 유사도 분포와 의미 판별기의 가중치 분포를 정렬.
**하이퍼파라미터**: 학습률은 Qwen2-VL에 1e-4, LLaVA-OneVision에 2e-5 적용. 배치 크기 1024, 하드 네거티브 수 8, 훈련 스텝 5,000.

주요 결과

**E-VQA**: KBMR은 CLIP 기반 검색기 대비 Recall@1에서 최대 14.7% 개선.
**InfoSeek**: VQA 정확도에서 9.4% 향상.
**OK-VQA**: 다양한 도메인에서 지식 기반 검색 성능 향상.
**AUC 분석**: 의미 판별기의 AUC는 0.91로, CLIP 유사도(0.79)보다 엔티티 일치도를 더 잘 반영.
**하드 네거티브 수**: 8개로 설정 시 최적 성능, 10개 이상 증가 시 효과 감소.

의의 및 한계

KBMR은 KB-VQA에서 엔티티 수준 의미 일치를 반영한 검색 성능을 획기적으로 향상시켰으며, MLLM의 자동 회귀적 임베딩과 의미 판별기 기반 연속 가중치를 결합한 새로운 훈련 전략을 제시했다. 특히, CLIP 기반 검색에서의 이진 라벨 제약을 극복한 연속 의미 증류는 KB-VQA뿐만 아니라 다른 의미 기반 검색 분야에도 적용 가능하다는 점에서 학술적 의의가 크다.

그러나 KBMR은 여전히 MLLM의 계산 비용이 높아, 실시간 검색이나 대규모 시스템에 적용하기에는 제한이 있다. 또한, 의미 판별기의 성능은 모델 크기와 데이터셋에 따라 달라지며, 일부 모델(예: InternVL3-14B)은 Qwen2.5-VL-7B보다 약간 낮은 성능을 보였다. 이는 의미 판별기의 선택이 최종 검색 성능에 큰 영향을 미친다는 점을 시사한다.

실용적 활용

KBMR은 지식 기반 이미지 QA 시스템, 웹 스케일 이미지 검색, 멀티모달 콘텐츠 추천 등에서 활용 가능하다. 특히, 엔티티 수준 의미 일치가 중요한 의료, 법학, 역사 분야의 이미지 기반 QA 시스템에서 유용할 것으로 기대된다.