M3CoT: A Novel Benchmark for Multi-Domain Multi-step Multi-modal Chain-of-Thought

Multi-modal Chain-of-Thought (MCoT) requires models to leverage knowledge from both textual and visual modalities for step-by-step reasoning, which gains increasing attention. Nevertheless, the current MCoT benchmark still faces some challenges: (1) absence of visual modal reasoning, (2) single-step visual modal reasoning, and (3) Domain missing, thereby hindering the development of MCoT. Motivated by this, we introduce a novel benchmark (M$^3$CoT) to address the above challenges, advancing the multi-domain, multi-step, and multi-modal CoT. Additionally, we conduct a thorough evaluation involving abundant MCoT approaches on Vision Large Language Models (VLLMs). In addition, we highlight that the current VLLMs still struggle to correctly reason in M$^3$CoT and there remains a large gap between existing VLLMs and human performance in M$^3$CoT, despite their superior results on previous MCoT benchmarks. To our knowledge, we take the first meaningful step toward the multi-domain, multi-step, and multi-modal scenario in MCoT. We hope that M$^3$CoT can serve as a valuable resource, providing a pioneering foundation in multi-domain, multi-step, multi-modal chain-of-thought research.

한 줄 요약

M$^3$CoT는 다영역, 다단계, 다모달 체인-오브-사고를 평가하는 새로운 벤치마크로, 기존 MCoT의 한계를 해결하고 VLLM의 성능 격차를 드러낸다.

핵심 기여도

기존 MCoT 벤치마크의 3가지 문제(시각 모달 결여, 단일 단계 중심, 도메인 미비)를 명확히 지적.
M$^3$CoT는 11,459개의 다단계, 다모달, 다영역 문제를 포함하며, 모든 샘플이 시각 정보를 필요로 함.
VLLM(예: GPT-4V, LLaVA)이 M$^3$CoT에서 인간 수준의 성능에 비해 18% 이하로 떨어짐.
파라미터 13B 이상의 모델에서 CoT 현상이 나타나며, 파인튜닝이 단순 프롬프팅보다 효과적임.

핵심 아이디어

기존 MCoT 연구는 단일 단계의 시각-텍스트 추론에 치우쳐 있어, 실제 세계의 복잡한 다단계 추론을 반영하지 못한다는 문제를 제기한다. M$^3$CoT는 이 문제를 해결하기 위해, (1) 시각 정보 없이 답을 유추할 수 있는 샘플 제거, (2) 전문가가 다단계 추론을 요구하는 샘플을 수작업으로 선정, (3) LLM 기반 증강을 통해 상식과 수학 도메인을 포함하는 방식으로 구성된다. 이는 MCoT가 단순한 시각-텍스트 결합을 넘어, 복합적 도메인과 단계를 요구하는 실제 문제 해결 능력을 평가하도록 유도한다.

기술적 접근법

**M$^3$CoT 구성**: ScienceQA 기반으로 100% 시각-텍스트 다단계 추론 샘플 포함.
**평가 모델**: GPT-4V, LLaVA-V1.5, CogVLM, Kosmos-2 등 다양한 VLLM.
**프롬프팅 전략**: Direct, CoT, Desp-CoT, CCoT 등 다양한 유도 방식 적용.
**파인튜닝**: LoRA 기반의 파라미터 효율적 학습을 사용.
**하이퍼파라미터**: 배치 사이즈 {2, 4, 8}, 학습률 [1e-6, 8e-5], 최대 시퀀스 길이 512 토큰.

주요 결과

**M$^3$CoT 성능**: GPT-4V가 18% 미만의 정확도를 기록하며, 인간 수준(100%)과 큰 격차 보임.
**단계 증가에 따른 성능 저하**: 단계가 증가할수록 정확도가 29.06% 이상 감소함.
**CoT 효과**: 13B 이상 파라미터 모델에서 CoT 효과 발생.
**프롬프팅 전략 비교**: CoT, CCoT가 단순 Direct 방식보다 5~10% 개선.
**파인튜닝 효과**: LoRA 기반 파인튜닝이 단순 프롬프팅 대비 15% 이상 성능 향상.

의의 및 한계

M$^3$CoT는 기존 MCoT 벤치마크가 다단계, 다모달, 다영역을 반영하지 못한 점을 보완하여, 실제 문제 해결 능력을 평가하는 기초를 제공한다. 특히, VLLM이 단일 단계 MCoT에서는 뛰어난 성능을 보이지만, 복잡한 다단계 MCoT에서는 여전히 한계가 있음을 드러내며, 추론 품질과 다모달 상호작용의 중요성을 강조한다. 그러나 M$^3$CoT는 ScienceQA 기반으로 구성되어 있어, 다른 도메인의 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

M$^3$CoT는 교육, 의료, 법학 등 복잡한 다단계 추론이 필요한 분야에서 모델 평가 및 개선에 활용될 수 있다. 특히, 시각-텍스트 결합이 필요한 자동화 시스템(예: 의료 영상 진단, 법적 증거 분석)에서 모델의 추론 능력을 정확히 평가하는 데 기여할 수 있다.