Can MLLMs Reason in Multimodality? EMMA: An Enhanced MultiModal ReAsoning Benchmark

The ability to organically reason over and with both text and images is a pillar of human intelligence, yet the ability of Multimodal Large Language Models (MLLMs) to perform such multimodal reasoning remains under-explored. Existing benchmarks often emphasize text-dominant reasoning or rely on shallow visual cues, failing to adequately assess integrated visual and textual reasoning. We introduce EMMA (Enhanced MultiModal reAsoning), a benchmark targeting organic multimodal reasoning across mathematics, physics, chemistry, and coding. EMMA tasks demand advanced cross-modal reasoning that cannot be addressed by reasoning independently in each modality, offering an enhanced test suite for MLLMs' reasoning capabilities. Our evaluation of state-of-the-art MLLMs on EMMA reveals significant limitations in handling complex multimodal and multi-step reasoning tasks, even with advanced techniques like Chain-of-Thought prompting and test-time compute scaling underperforming. These findings underscore the need for improved multimodal architectures and training paradigms to close the gap between human and model reasoning in multimodality.

한 줄 요약

EMMA는 MLLMs의 유기적 다중모달 추론 능력을 평가하기 위한 새로운 벤치마크로, 기존 기법이 부족함을 드러냄.

핵심 기여도

EMMA: 수학, 물리, 화학, 코딩 분야에서 유기적 다중모달 추론을 평가하는 새로운 벤치마크.
992개 기존 문제 + 1,796개 신규 문제로 구성.
최신 MLLMs가 CoT 프롬프팅, 테스트-타임 컴퓨트 스케일링을 사용하더라도 45.75% 이하 성능 (o1 모델 기준).
시각적 추론 능력 부족이 다중모달 추론 성능 저하의 주요 원인으로 드러남.

핵심 아이디어

EMMA는 단순히 텍스트 또는 이미지 단일 모달로 해결할 수 없는 문제를 중심으로 설계되었다. 예를 들어, 물리 문제에서 전기력 방향을 판단하는 과제는 GPT-4o가 텍스트 기반 지식은 이해하지만, 시각적 추론에서 오류를 범한다. 이는 MLLMs가 시각적 정보를 정확히 해석하고 이를 추론 과정에 통합하는 능력이 부족함을 보여준다. EMMA는 3D 공간 변환, 화학 구조 인식, 다단계 물리 시뮬레이션, 프로그램 출력 시각화 등 시각적 도움이 필수적인 문제를 포함한다. 이는 기존 벤치마크가 시각적 정보를 텍스트로 변환해 처리하는 경향이 있음을 지적하며, MLLMs가 실제 시각적 추론을 수행해야 하는 상황을 모의한다.

기술적 접근법

**EMMA 데이터셋**: 기존 벤치마크에서 992개 문제를 필터링하고, 전문가와 협력해 1,796개 문제를 신규 생성.
**테스트-타임 컴퓨트 스케일링**: Majority Voting, Best-of-N, Tournament-Style Selection 방법을 사용.
**CoT 프롬프팅**: 후보 응답 생성에 사용.
**Reward 모델**: Gemini 2.0 Flash Thinking 모델을 Best-of-N 및 Tournament-Style Selection에서 사용.
**N 값**: 1, 2, 4, 8, 16으로 실험.
**최고 성능 모델**: o1 (45.75%)가 Qwen2-VL (37.25%)보다 8.5% 높지만, 인간 전문가보다 32% 낮음.

주요 결과

**o1 모델**: EMMA에서 45.75% 성능.
**Qwen2-VL 모델**: 37.25% 성능.
**CoT 프롬프팅**: 모든 모델에서 효과 미미.
**테스트-타임 컴퓨트 스케일링**: 최대 16배까지 확장해도 성능 개선 없음.
**시각적 추론 문제**: 다중 훅 시각 추론, 정밀 공간 시뮬레이션, 시각-텍스트 통합 문제에서 MLLMs가 실패함.
**CoT의 부정적 영향**: 시각 추론 중심 문제에서 텍스트 기반 CoT가 성능 저하를 유발.

의의 및 한계

EMMA는 MLLMs가 단일 모달 추론을 넘어, 텍스트와 이미지를 유기적으로 결합해 문제를 해결하는 능력을 평가하는 데 중요한 기준을 제공한다. 특히, 기존 연구가 텍스트 중심 또는 표면적 시각 정보에 의존하는 경향을 지적하며, MLLMs가 실제 시각적 추론을 수행하는 능력을 평가하는 새로운 접근법을 제시한다. 그러나 EMMA는 일부 분야(예: 물리)가 부족하며, 향후 확장이 필요하다. 또한, MLLMs의 시각적 추론 능력 향상을 위한 새로운 아키텍처와 훈련 패러다임이 요구된다.

실용적 활용

EMMA는 MLLMs의 다중모달 추론 능력을 평가하는 표준 테스트 도구로 활용될 수 있다. 교육, 과학 연구, 엔지니어링 설계 등 시각적 정보와 텍스트를 결합해 문제를 해결해야 하는 분야에서 모델 성능을 정확히 평가하는 데 유용하다. 특히, 시각적 추론이 중요한 의료, 건축, 제조 분야에서 모델의 신뢰성을 검증하는 데 기여할 수 있다.