Large vision-language models (LVLMs) have recently achieved rapid progress, sparking numerous studies to evaluate their multi-modal capabilities. However, we dig into current evaluation works and identify two primary issues: 1) Visual content is unnecessary for many samples. The answers can be directly inferred from the questions and options, or the world knowledge embedded in LLMs. This phenomenon is prevalent across current benchmarks. For instance, GeminiPro achieves 42.9% on the MMMU benchmark without any visual input, and outperforms the random choice baseline across six benchmarks over 24% on average. 2) Unintentional data leakage exists in LLM and LVLM training. LLM and LVLM could still answer some visual-necessary questions without visual content, indicating the memorizing of these samples within large-scale training data. For example, Sphinx-X-MoE gets 43.6% on MMMU without accessing images, surpassing its LLM backbone with 17.9%. Both problems lead to misjudgments of actual multi-modal gains and potentially misguide the study of LVLM. To this end, we present MMStar, an elite vision-indispensable multi-modal benchmark comprising 1,500 samples meticulously selected by humans. MMStar benchmarks 6 core capabilities and 18 detailed axes, aiming to evaluate LVLMs' multi-modal capacities with carefully balanced and purified samples. These samples are first roughly selected from current benchmarks with an automated pipeline, human review is then involved to ensure each curated sample exhibits visual dependency, minimal data leakage, and requires advanced multi-modal capabilities. Moreover, two metrics are developed to measure data leakage and actual performance gain in multi-modal training. We evaluate 16 leading LVLMs on MMStar to assess their multi-modal capabilities, and on 7 benchmarks with the proposed metrics to investigate their data leakage and actual multi-modal gain.
한 줄 요약
MMStar는 1,500개의 인간 검수된 시각-언어 평가 샘플로 LVLM의 실제 멀티모달 능력을 정확히 평가하는 새로운 벤치마크이다.
핵심 기여도
- 기존 벤치마크에서 42.9% (GeminiPro, MMMU)의 LLM이 시각 입력 없이 정답을 유추하는 현상이 심각함을 밝힘.
- 43.6% (Sphinx-X-MoE, MMMU)의 LVLM이 이미지 없이도 정답률이 높아지며 데이터 누수 문제를 지적.
- MMStar는 1,500개의 샘플로 구성되며, 6개 핵심 능력과 18개 세부 축을 평가.
- 멀티모달 학습의 실제 성능 향상(MG)과 누수(ML)를 측정하는 두 가지 새로운 메트릭 제안.
핵심 아이디어
기존 멀티모달 평가에서 LVLM이 시각 정보 없이도 높은 정답률을 보이는 현상이 두 가지 주요 원인에서 비롯된다. 첫째, 질문과 옵션만으로 정답을 유추할 수 있는 샘플이 많다. 예를 들어, MMMU 벤치마크에서 GeminiPro는 시각 입력 없이 42.9%의 정확도를 달성하며, 6개 벤치마크 평균 24% 이상 랜덤 기준선을 상회한다. 둘째, LLM과 LVLM 학습 과정에서 의도치 않은 데이터 누수가 발생한다. Sphinx-X-MoE는 MMMU에서 43.6%의 정확도를 기록하며, LLM 백본 대비 17.9% 높은 성능을 보인다. 이는 학습 데이터에 포함된 샘플을 암기한 결과로 추정된다. 이러한 문제는 LVLM의 실제 멀티모달 능력을 잘못 평가하게 만들며, 연구 방향을 오도할 수 있다. 이를 해결하기 위해 MMStar는 인간 검수를 통해 시각 의존성과 데이터 누수 최소화를 보장한 샘플을 엄선한다.
기술적 접근법
MMStar는 기존 벤치마크에서 자동 필터링한 샘플을 인간 검수를 통해 1,500개의 고질량 샘플로 구성된다. 8개의 강력한 LLM(GPT4-Turbo, GeminiPro, LLaMA-70B 등)을 사용해 시각 의존성과 데이터 누수 여부를 평가하고, 16개 LVLM(GPT4V, GeminiPro-Vision, LLaVA 등)을 통해 샘플 난이도를 분류한다. 최종적으로 6개 핵심 능력과 18개 세부 축을 평가하는 샘플로 구성된다. 또한, 멀티모달 학습의 실제 성능 향상(MG)과 누수(ML)를 측정하는 메트릭을 개발하여 LVLM의 학습 효과를 정량적으로 평가한다.
주요 결과
- GPT4V는 MMStar에서 57.1%의 정확도를 기록하며 LVLM 중 최고 성능.
- LLaVA-Next는 수학(MA) 핵심 능력에서 GPT4V와 GeminiPro-Vision을 상회.
- MMMU 벤치마크에서 GeminiPro는 42.9% (랜덤 기준선 대비 +24%)의 성능을 보이며, 시각 입력 없이도 높은 정답률.
- MMStar는 1.9%의 평균 ML로 가장 낮은 데이터 누수를 기록하며 공정한 평가 환경 제공.
의의 및 한계
MMStar는 기존 벤치마크의 시각 의존성 부족과 데이터 누수 문제를 해결하여 LVLM의 실제 멀티모달 능력을 정확히 평가할 수 있는 기반을 제공한다. 특히, 1,500개의 인간 검수 샘플과 6개 핵심 능력, 18개 세부 축을 통해 LVLM의 고급 멀티모달 능력을 체계적으로 평가할 수 있다. 그러나 MMStar는 기존 벤치마크와 비교해 샘플 수가 상대적으로 적고, 일부 LVLM이 60% 미만의 평균 정확도를 기록해 기존 모델의 한계를 드러낸다. 또한, 데이터 누수를 완전히 제거하기는 어렵고, 인간 검수 과정에서의 주관성도 한계로 작용할 수 있다.
실용적 활용
MMStar는 LVLM의 실제 멀티모달 능력을 정확히 평가하는 데 활용될 수 있으며, 연구자들이 모델 개선 방향을 설정하는 데 기준이 될 수 있다. 특히, GPT4V와 같은 고성능 모델의 멀티모달 학습 전략을 분석하거나, LLaVA-Next와 같은 오픈소스 모델의 성능을 비교하는 데 유용하다. 또한, 멀티모달 학습의 데이터 누수 문제를 진단하는 데 MG/ML 메트릭이 활용될 수 있다.