MMVU: Measuring Expert-Level Multi-Discipline Video Understanding

We introduce $\color{Blue}{\text{MMVU}}$, a comprehensive expert-level, multi-discipline benchmark for evaluating foundation models in video understanding. $\color{Blue}{\text{MMVU}}$ includes 3,000 expert-annotated questions spanning 27 subjects across four core disciplines: Science, Healthcare, Humanities & Social Sciences, and Engineering. Compared to prior benchmarks, $\color{Blue}{\text{MMVU}}$ features three key advancements. First, it challenges models to apply domain-specific knowledge and perform expert-level reasoning to analyze specialized-domain videos, moving beyond the basic visual perception typically assessed in current video benchmarks. Second, each example is annotated by human experts from scratch. We implement strict data quality controls to ensure the high quality of the dataset. Finally, each example is enriched with expert-annotated reasoning rationals and relevant domain knowledge, facilitating in-depth analysis. We conduct an extensive evaluation of 36 frontier multimodal foundation models on $\color{Blue}{\text{MMVU}}$. The latest System-2-capable models, o1 and Gemini 2.0 Flash Thinking, achieve the highest performance among the tested models. However, they still fall short of matching human expertise. Through in-depth error analyses and case studies, we offer actionable insights for future advancements in expert-level, knowledge-intensive video understanding for specialized domains.

한 줄 요약

MMVU는 전문 분야 영상에 대한 전문가 수준의 이해와 추론 능력을 평가하는 다학문 벤치마크로, 3,000개의 전문가 주석 질문을 포함한다.

핵심 기여도

27개 주제, 4개 핵심 분야(과학, 의료, 인문사회, 공학)를 아우르는 3,000개의 전문가 주석 질문을 포함.
기존 벤치마크와 비교해 전문 지식과 전문가 수준 추론을 요구하는 영상 분석을 평가.
CoT(Chain-of-Thought) 추론을 사용한 모델이 66.7%의 정확도를 기록 (o1 모델은 최고 성능).
32개의 최첨단 멀티모달 기반 모델을 평가하며, 인간 전문가의 86.8% 정확도에 근접한 o1 모델을 제시.

핵심 아이디어

MMVU는 기존 영상 이해 벤치마크가 주로 시각 인식에 집중하는 반면, 전문 분야 영상에서 전문 지식과 전문가 수준의 추론을 요구하는 새로운 평가 기준을 제시한다. 예를 들어, 화학 반응 영상 분석 시 색상 변화나 침전물 형성과 같은 시각적 단서를 전문 지식과 결합해 해석해야 한다. 이는 단순 시각 인식을 넘어, 시간적 동적, 절차적 지식, 복잡한 상호작용을 이해하는 능력을 평가한다. MMVU는 교과서 기반 주석 프로세스를 통해 전문가가 직접 질문과 추론 과정을 생성하여, 평가의 깊이와 질을 보장한다.

기술적 접근법

MMVU는 1,529개의 전문 분야 영상에 3,000개의 전문가 주석 QA 쌍을 포함.
4개 핵심 분야: 과학, 의료, 인문사회, 공학.
CoT(Chain-of-Thought) 추론 방식을 사용한 모델 평가.
32개의 최첨단 멀티모달 기반 모델을 17개 기관에서 평가.
o1 모델은 86.8%에 근접한 성능을 보임 (인간 전문가 수준).
GPT-4o는 66.7%의 정확도로, 인간 수준에 크게 뒤처짐.
전문가 주석된 추론 과정과 관련 도메인 지식을 포함해 세부 평가 가능.

주요 결과

o1 모델이 86.8%에 근접한 성능을 보이며 최고 성능 기록.
GPT-4o는 66.7%의 정확도로, 인간 전문가 수준(86.8%) 대비 20% 이상 낮음.
CoT 추론을 사용한 모델이 직접 답변 생성 모델보다 일관되게 높은 성능을 보임.
32개 모델 평가에서, 대부분의 모델이 인간 전문가 수준에 도달하지 못함.

의의 및 한계

MMVU는 전문 분야 영상에서 전문 지식과 추론 능력을 평가하는 첫 번째 다학문 벤치마크로, 멀티모달 기반 모델의 전문성 평가에 중요한 기준을 제공한다. 특히, CoT 추론의 효과성을 입증하며, 추론 과정의 명시성이 모델 성능에 긍정적인 영향을 미친다는 점을 보여준다. 그러나, o1 모델조차 인간 전문가 수준에 완전히 도달하지 못하는 점에서, 전문 분야 영상 이해에 대한 모델의 한계가 여전히 존재함을 드러낸다. 또한, 데이터셋의 규모(3,000개 QA)는 전문 분야의 폭넓은 평가에는 충분하지만, 더 많은 샘플이 필요할 수 있다.

실용적 활용

MMVU는 의료 영상 해석, 과학 실험 분석, 공학 시뮬레이션 등 전문 분야에서 모델의 전문성과 추론 능력을 평가하는 데 활용될 수 있다. 교육, 연구, 산업 현장에서 전문가 수준의 영상 이해가 필요한 시스템 개발에도 기초 자료로 활용 가능하다.