MuirBench: A Comprehensive Benchmark for Robust Multi-image Understanding

We introduce MuirBench, a comprehensive benchmark that focuses on robust multi-image understanding capabilities of multimodal LLMs. MuirBench consists of 12 diverse multi-image tasks (e.g., scene understanding, ordering) that involve 10 categories of multi-image relations (e.g., multiview, temporal relations). Comprising 11,264 images and 2,600 multiple-choice questions, MuirBench is created in a pairwise manner, where each standard instance is paired with an unanswerable variant that has minimal semantic differences, in order for a reliable assessment. Evaluated upon 20 recent multi-modal LLMs, our results reveal that even the best-performing models like GPT-4o and Gemini Pro find it challenging to solve MuirBench, achieving 68.0% and 49.3% in accuracy. Open-source multimodal LLMs trained on single images can hardly generalize to multi-image questions, hovering below 33.3% in accuracy. These results highlight the importance of MuirBench in encouraging the community to develop multimodal LLMs that can look beyond a single image, suggesting potential pathways for future improvements.

한 줄 요약

MuirBench는 12개의 다양한 다중 이미지 태스크를 포함한, 다중 이미지 이해 능력을 평가하는 포괄적 벤치마크로, GPT-4o와 Gemini Pro가 각각 68.0%와 49.3%의 정확도를 기록했다.

핵심 기여도

MuirBench는 12개의 다중 이미지 태스크와 10개의 다중 이미지 관계 범주를 포함하며, 11,264장의 이미지와 2,600개의 선택형 질문으로 구성됨.
각 질문은 정답 가능한 인스턴스와 의미 차이가 최소한인 비정답 가능한 인스턴스로 구성된 '쌍' 형식을 채택하여 평가 신뢰도를 높임.
20개의 다중 모달 LLM을 평가한 결과, GPT-4o는 68.0%, Gemini Pro는 49.3%의 정확도를 기록하며, 단일 이미지 학습 모델은 33.3% 미만의 정확도를 보임.
MuirBench는 단일 이미지 기반 모델의 일반화 능력 부족을 드러내며, 다중 이미지 이해 모델 개발을 촉진하는 테스트베드 역할을 함.

핵심 아이디어

MuirBench는 단일 이미지 기반 평가의 한계를 극복하고, 인간처럼 다중 이미지를 종합적으로 이해하는 능력을 평가하기 위해 설계되었다. 기존 평가가 단일 이미지에 집중한 반면, MuirBench는 시퀀스, 다중 뷰, 시간적 관계 등 10가지 다중 이미지 관계를 포함한 12개의 태스크를 통해 복합적인 시각적 추론 능력을 평가한다. 특히, 각 질문은 정답 가능한 인스턴스와 비정답 가능한 인스턴스로 구성된 '쌍' 형식을 채택하여, 모델이 단순히 시각적/언어적 단서만으로 정답을 유추하는 것을 방지한다. 이는 모델의 실제 이해 능력을 보다 정확하게 평가할 수 있도록 설계되었다.

기술적 접근법

**데이터셋**: MuirBench는 11,264장의 이미지와 2,600개의 선택형 질문으로 구성되며, 질문은 데이터셋에서 추출되거나 전문가가 작성됨.
**쌍 형식 설계**: 각 질문은 정답 가능한 인스턴스와 의미 차이가 최소한인 비정답 가능한 인스턴스로 구성되어 있음.
**태스크 범주**: 12개의 다중 이미지 태스크(예: 시나리오 이해, 순서 결정)와 10개의 다중 이미지 관계(예: 다중 뷰, 시간적 관계)를 포함.
**평가 대상**: 20개의 다중 모달 LLM(예: GPT-4o, Gemini Pro, 단일 이미지 학습 모델)을 평가함.
**정확도 측정**: GPT-4o는 68.0%, Gemini Pro는 49.3%의 정확도를 기록하며, 단일 이미지 학습 모델은 33.3% 미만의 정확도를 보임.

주요 결과

GPT-4o는 MuirBench에서 68.0%의 정확도를 기록했으며, 이는 인간 정확도보다 25.1% 낮음.
Gemini Pro는 49.3%의 정확도를 기록하며, 인간 정확도보다 43.8% 낮음.
단일 이미지 학습 모델은 33.3% 미만의 정확도를 보이며, 다중 이미지 질문에 대한 일반화 능력이 부족함.
GPT-4o와 Gemini Pro는 비정답 질문에서 각각 26.8%와 21.5%의 정확도 격차를 보임.

의의 및 한계

MuirBench는 단일 이미지 기반 평가의 한계를 드러내며, 다중 이미지 이해 능력을 체계적으로 평가할 수 있는 테스트베드를 제공한다. 특히, 쌍 형식 설계를 통해 모델의 실제 이해 능력을 보다 정확하게 평가할 수 있으며, 단일 이미지 학습 모델의 일반화 능력 부족을 명확히 드러낸다. 그러나 MuirBench는 특정 태스크와 관계에만 초점을 맞춘 것이므로, 보다 다양한 시각적 상황을 반영한 확장이 필요하다. 또한, 모델이 비정답 질문에 대한 답을 회피하지 않는 경향이 있어, 추후에는 모델의 추론 신뢰도를 평가하는 메커니즘이 추가될 필요가 있다.

실용적 활용

MuirBench는 의료 영상 분석, 자동차 운전 시각 시스템, 교육용 시각 자료 분석 등 다중 이미지를 종합적으로 이해해야 하는 분야에서 모델 평가에 활용될 수 있다. 또한, 시각 정보를 기반으로 한 인공지능 시스템의 신뢰성 향상에 기여할 수 있으며, 연구자들이 단일 이미지 기반 모델의 한계를 극복하는 방향으로 모델을 설계하도록 유도할 수 있다.