MMAR: A Challenging Benchmark for Deep Reasoning in Speech, Audio, Music, and Their Mix

We introduce MMAR, a new benchmark designed to evaluate the deep reasoning capabilities of Audio-Language Models (ALMs) across massive multi-disciplinary tasks. MMAR comprises 1,000 meticulously curated audio-question-answer triplets, collected from real-world internet videos and refined through iterative error corrections and quality checks to ensure high quality. Unlike existing benchmarks that are limited to specific domains of sound, music, or speech, MMAR extends them to a broad spectrum of real-world audio scenarios, including mixed-modality combinations of sound, music, and speech. Each question in MMAR is hierarchically categorized across four reasoning layers: Signal, Perception, Semantic, and Cultural, with additional sub-categories within each layer to reflect task diversity and complexity. To further foster research in this area, we annotate every question with a Chain-of-Thought (CoT) rationale to promote future advancements in audio reasoning. Each item in the benchmark demands multi-step deep reasoning beyond surface-level understanding. Moreover, a part of the questions requires graduate-level perceptual and domain-specific knowledge, elevating the benchmark's difficulty and depth. We evaluate MMAR using a broad set of models, including Large Audio-Language Models (LALMs), Large Audio Reasoning Models (LARMs), Omni Language Models (OLMs), Large Language Models (LLMs), and Large Reasoning Models (LRMs), with audio caption inputs. The performance of these models on MMAR highlights the benchmark's challenging nature, and our analysis further reveals critical limitations of understanding and reasoning capabilities among current models. We hope MMAR will serve as a catalyst for future advances in this important but little-explored area.

한 줄 요약

MMAR은 음성, 오디오, 음악, 혼합 모달리티를 아우르는 1,000개의 질문-답변 세트로 구성된, 체계적인 딥 레이징 평가 벤치마크이다.

핵심 기여도

MMAR은 1,000개의 높은 품질의 audio-question-answer triplets으로 구성되며, 실생활 인터넷 영상에서 수집되어 반복적인 오류 수정과 품질 검사를 거침.
기존 벤치마크와 달리, MMAR은 사운드, 음악, 음성, 혼합 모달리티를 아우르는 광범위한 음성 시나리오를 포함.
질문은 Signal, Perception, Semantic, Cultural의 4단계 추론 계층으로 분류되며, 각 항목은 Chain-of-Thought (CoT) 라이트라노이드로 주석이 달려 있음.
30개의 오디오 모델(24개 오픈소스, 6개 클로즈드소스)을 평가하여, 현재 모델의 딥 레이징 능력 한계를 드러냄.

핵심 아이디어

MMAR은 기존의 단일 도메인(예: 음성 또는 음악)에 제한된 벤치마크를 넘어, 다양한 실생활 오디오 시나리오를 아우르는 다학제적 딥 레이징 평가를 목표로 한다. 이는 특히 인간 수준의 감각 이해와 다단계 추론을 요구하는 복잡한 오디오 입력을 처리하는 능력을 평가한다. MMAR의 핵심 아이디어는 ‘Audio Deep Reasoning’이라는 개념을 정의하고, 이를 구현하기 위해 4단계 추론 계층(Signal, Perception, Semantic, Cultural)과 CoT 주석을 도입한 것이다. CoT는 추론 과정을 명시적으로 기록하여, 모델의 추론 경로를 분석하고 개선 방향을 제시하는 데 활용된다.

기술적 접근법

MMAR은 1,000개의 audio-question-answer triplets로 구성되며, 각 항목은 Signal, Perception, Semantic, Cultural의 4단계 추론 계층으로 분류됨.
질문은 인간-LLM 협업을 통해 개발되며, CoT 주석이 수동으로 라벨링됨.
평가 방법은 다중 선택 문제 기반의 분류 정확도를 사용. 모델에 오디오, 질문, 선택지를 입력하고, 정답 여부를 정규식과 문자열 매칭으로 평가.
평가 모델은 LALMs, LARMs, OLMs, LLMs, LRMs 등 5개 카테고리의 30개 모델로 구성됨.
평가 입력은 오디오 캡션(audio caption) 형식을 사용.

주요 결과

MMAR은 기존 벤치마크 대비 훨씬 어려운 수준으로, 오픈소스 LALMs는 무작위 추측 수준에 불과함.
Qwen-2.5-Omni가 오픈소스 모델 중 가장 높은 성능을 보임.
Gemini 2.0 Flash가 모든 모델을 포함한 비교에서 가장 높은 성능을 기록, 클로즈드소스 시스템의 통합적 설계 우위를 드러냄.
추론 기능이 강화된 모델(예: LARMs)이 비추론 모델보다 MMAR의 딥 레이징 작업에서 일관되게 우수한 성능을 보임.

의의 및 한계

MMAR은 오디오 도메인에서 체계적인 딥 레이징 평가를 가능하게 하며, 특히 인간 수준의 감각 이해와 복잡한 추론을 요구하는 작업을 평가하는 데 중요한 역할을 한다. 또한, CoT 주석은 추론 과정의 해석 가능성을 높이고, 향후 연구에 기여할 수 있다. 그러나 MMAR은 일부 질문이 대학원 수준의 지식을 요구하기 때문에, 일반 사용자나 기존 모델에겐 접근성이 낮을 수 있다. 또한, 평가 모델 중 대부분이 오픈소스 모델이므로, 클로즈드소스 모델과의 성능 격차가 명확히 드러나는 한계가 있다.

실용적 활용

MMAR은 오디오-언어 모델의 딥 레이징 능력을 평가하고 개선하는 데 활용될 수 있으며, 특히 음성 인식, 음악 분석, 멀티모달리티 처리 등 다양한 산업 분야에서 모델 성능 향상을 위한 기준이 될 수 있다. 또한, 연구자들이 오디오 추론 알고리즘과 데이터셋 개선에 집중할 수 있도록 촉진할 것으로 기대된다.