Video-MME-Logical: A Controlled Diagnostic Benchmark for Video Temporal-Logical Reasoning

Recent interest in multimodal large language models (MLLMs) raises a central question: can they reason over dynamic visual evidence rather than merely recognize objects or events in individual frames? This ability, which we refer to as video temporal-logical reasoning, requires models to maintain, update, and compose evidence as visual states evolve across frames. Existing video benchmarks often conflate this capability with scene complexity, static recognition, or uncontrolled temporal variation. To isolate this capability, we introduce Video-MME-Logical, a controlled benchmark organized around five temporal-logical operations: state tracking, sequential counting, temporal ordering, dynamic spatiality, and structural composition. The benchmark contains 25 fine-grained task categories generated with controlled object states, transitions, temporal dependencies, and logical compositions. It enables difficulty-controlled final-answer evaluation by varying temporal horizon and reasoning complexity, and supports intermediate-state diagnostics by verifying whether models recover the required logical reasoning trace before producing the final answer. Experiments with state-of-the-art MLLMs reveal a substantial human-model gap, especially as temporal-logical complexity increases. Supervised fine-tuning on up to 500K generated samples improves performance but remains insufficient to close the reasoning gap, positioning Video-MME-Logical as a scalable testbed for analyzing and improving temporal-logical reasoning in MLLMs.

한 줄 요약

Video-MME-Logical은 동영상 내 시간-논리적 추론 능력을 평가하기 위한 제어된 벤치마크이다.

핵심 기여도

5개의 시간-논리적 연산(Operation) 기반 25개 세부 태스크로 구성된 Video-MME-Logical 벤치마크 제안.
시간 범위와 추론 복잡도를 조절하여 난이도를 제어한 평가 환경 제공.
중간 상태 진단(Middle-state Diagnostics)을 통해 모델이 실제 논리적 추론을 수행하는지 검증 가능.
최대 500K 개의 생성된 샘플로 학습 실험을 수행, Qwen3-VL-8B 모델의 성능 향상(+40%)을 보여주며 데이터 확장의 한계를 드러냄.

핵심 아이디어

기존 동영상 벤치마크는 시간-논리적 추론을 장면 복잡도나 단순 인식과 혼동하여, 모델의 실제 추론 능력을 평가하기 어려웠다. 이를 해결하기 위해, Video-MME-Logical은 5가지 시간-논리적 연산(상태 추적, 순차적 카운팅, 시간 순서, 동적 공간성, 구조적 구성)을 기반으로 태스크를 정의하고, 객체 상태, 전이, 시간 의존성, 논리적 구성 등을 제어하여 추론 과정 자체를 평가할 수 있는 환경을 구축했다. 특히, 중간 상태 진단을 통해 모델이 단순히 최종 정답만 맞춘 것이 아니라, 실제 추론 과정을 거쳤는지 확인할 수 있다. 이는 기존의 단일 정답 평가 방식과는 차별화된 접근법이다.

기술적 접근법

**Benchmark 구성**: 5개의 연산(Operation) 기반 25개의 세부 태스크 생성.
**난이도 제어**: 시간 범위(Temporal Horizon)와 추론 복잡도(Reasoning Complexity)를 조절하여 3단계 난이도 설정.
**중간 상태 진단**: Video-MME-Logical-S라는 하위 집합을 통해 모델이 추론 과정에서 필요한 중간 증거를 정확히 복구하는지 검증.
**학습 실험**: 500K 개의 생성 샘플을 사용한 Qwen3-VL-8B 모델의 감독 학습(SFT) 실험 수행. 최대 375K 샘플에서 40% 정확도 달성.

주요 결과

**최종 정답 평가**: 기존 최신 MLLMs가 인간 전문가에 비해 시간-논리적 복잡도가 높아질수록 성능 차이가 커짐.
**중간 상태 평가**: 모델이 실제 추론 과정을 재현하지 못하는 경우가 다수.
**감독 학습 성능**: 375K 샘플에서 40% 정확도 달성, 하지만 추가 샘플은 성능 향상에 기여하지 않음.

의의 및 한계

Video-MME-Logical은 시간-논리적 추론을 독립적으로 평가할 수 있는 첫 번째 제어된 벤치마크로, MLLM의 실제 추론 능력을 정확히 진단할 수 있는 기반을 제공한다. 특히, 중간 상태 진단을 통해 단순 인식과 추론을 구분할 수 있어 학술적 가치가 크다. 그러나, 기존 모델이 장기 시간 범위와 복잡한 논리 구조를 처리하는 데 어려움을 겪는 한계가 있으며, 데이터 확장만으로는 성능 향상이 제한적이라는 점도 드러냈다.

실용적 활용

Video-MME-Logical은 동영상 기반 인공지능 모델의 추론 능력을 정확히 평가하고 개선하기 위한 연구에 활용될 수 있다. 특히, 자율주행, 영상 보안, 의료 영상 분석 등에서 시간에 따른 논리적 추론이 필요한 분야에서 모델 개선에 기여할 수 있다.