Think Before You Link: Rarity, Reasoning, and Retrieval in Multilingual Entity Linking

Multimodal entity linking grounds entity mentions in text and images to knowledge-base entries. These systems degrade on rare entities, but prior work measures rarity primarily through popularity-based metrics such as pageviews. We broaden this view using knowledge-graph structural metrics that capture how well an entity is documented and connected. These metrics identify many rare entities that popularity metrics miss. Across the resulting rare-entity slices, state-of-the-art accuracy drops by 15.4-39.9%, showing that different rarity definitions expose different failure modes. To address these failures, we introduce a simple, training-free framework in which a reasoning-capable vision-language model iteratively searches and reasons over Wikipedia, gathering evidence dynamically. Controlled experiments show that reasoning and retrieval are complementary. Reasoning alone does not significantly improve accuracy on rare entities. Retrieval without reasoning improves rare-entity accuracy but can hurt overall accuracy. Their combination performs best. On MERLIN, a multilingual multimodal entity linking benchmark over five languages (Hindi, Indonesian, Japanese, Tamil, Vietnamese), our best system improves over the state of the art by 6.9% overall and by up to 23.3% on rare-entity slices. We release MERLIN-Rare, rare-entity test slices for targeted evaluation, with our framework.

한 줄 요약

다국어 다모달 엔티티 링킹에서 희귀 엔티티 처리를 위해 추론과 검색을 결합한 훈련 없는 프레임워크를 제안한다.

핵심 기여도

희귀 엔티티를 정의하는 데 지식 그래프 구조적 메트릭(Wikidata)을 도입하여, 기존 인기 기반 메트릭(pageviews)가 누락하는 엔티티를 식별함.
추론 능력 있는 VLM(Qwen3-VL)과 위키백과 검색을 결합한 훈련 없는 프레임워크를 제안함.
MERLIN 데이터셋에서 기존 최고 성능 대비 +6.9% 개선, 희귀 엔티티 슬라이스에서 최대 +23.3% 개선.
추론 없이 검색만 사용하면 전체 정확도가 하락할 수 있음을 밝힘.

핵심 아이디어

기존 연구는 엔티티의 희귀성을 주로 인기 기반 지표(pageviews, 링크 수)로 정의했으나, 이는 문화적 특이성을 반영하지 못한다. 본 연구는 Wikidata 구조적 메트릭(문서화 수준, 연결 관계)을 도입하여, 인기 지표가 누락하는 희귀 엔티티를 식별한다. 예를 들어, 인기 지표가 37.7% 감소를 보이면, 구조적 메트릭은 37.0% 감소를 보이지만, 이는 다른 엔티티 집합을 포착한다. 이는 단일 지표로는 다양한 실패 모드를 포착할 수 없다는 점을 강조한다.

이를 해결하기 위해, 추론 능력 있는 VLM(Qwen3-VL)이 위키백과를 반복적으로 검색하고 증거를 수집하는 프레임워크를 제안한다. 이는 훈련 없이 외부 지식을 동적으로 활용하는 방식으로, 희귀 엔티티 링킹 문제를 해결한다.

기술적 접근법

**모델**: Qwen3-VL의 Thinking(추론 기반) 및 Instruct(일반 지시 학습) 버전을 2B, 4B, 8B 파라미터 크기로 사용.
**프레임워크**: 추론 모델이 위키백과를 반복적으로 검색하며 증거를 수집하는 방식.
**데이터셋**: 다국어 다모달 엔티티 링킹 평가 기준 MERLIN(Hindi, Indonesian, Japanese, Tamil, Vietnamese 포함).
**메트릭**: Wikidata 구조적 메트릭(문서화, 연결 관계)을 사용하여 희귀 엔티티를 정의.
**실험**: 추론, 검색, 그 결합의 효과를 비교. 추론 없이 검색만 사용하면 전체 정확도가 하락할 수 있음.

주요 결과

MERLIN 데이터셋에서 기존 최고 성능 대비 +6.9% 개선.
희귀 엔티티 슬라이스에서 최대 +23.3% 개선.
추론 없이 검색만 사용하면 전체 정확도가 -3.8% 감소.
추론 + 검색 조합 시, 구조적으로 희귀한 엔티티에서 +18.8% 개선 (기존 +3.8% 대비 5.0× 가속).
4B 추론 모델 + 검색이 8B Instruct 모델을 +5~+7% 초과.

의의 및 한계

본 연구는 희귀 엔티티의 정의를 확장하고, 추론과 검색의 상호보완적 효과를 실증적으로 입증함으로써, 다국어 다모달 엔티티 링킹의 한계를 드러낸다. 특히, MERLIN-Rare라는 새로운 평가 집합을 공개하여, 희귀 엔티티에 대한 타깃 평가를 가능하게 한다.

그러나, 72%의 잔여 오류가 검색 실패에서 비롯되며, 다국어 검색 능력 향상이 필요하다는 한계가 있다. 또한, 희귀 엔티티의 링킹은 여전히 추론 모델에서도 해결되지 않은 문제로 남아 있다.

실용적 활용

본 연구는 다국어 콘텐츠 분석, 언어별 지식 격차 해소, 문화적 특이성 있는 엔티티 처리에 활용 가능하다. 특히, 훈련 없이 외부 지식을 활용하는 프레임워크는 리소스가 제한된 환경에서 유용할 수 있다.