LongVideoBench: A Benchmark for Long-context Interleaved Video-Language Understanding

Large multimodal models (LMMs) are processing increasingly longer and richer inputs. Albeit the progress, few public benchmark is available to measure such development. To mitigate this gap, we introduce LongVideoBench, a question-answering benchmark that features video-language interleaved inputs up to an hour long. Our benchmark includes 3,763 varying-length web-collected videos with their subtitles across diverse themes, designed to comprehensively evaluate LMMs on long-term multimodal understanding. To achieve this, we interpret the primary challenge as to accurately retrieve and reason over detailed multimodal information from long inputs. As such, we formulate a novel video question-answering task termed referring reasoning. Specifically, as part of the question, it contains a referring query that references related video contexts, called referred context. The model is then required to reason over relevant video details from the referred context. Following the paradigm of referring reasoning, we curate 6,678 human-annotated multiple-choice questions in 17 fine-grained categories, establishing one of the most comprehensive benchmarks for long-form video understanding. Evaluations suggest that the LongVideoBench presents significant challenges even for the most advanced proprietary models (e.g. GPT-4o, Gemini-1.5-Pro, GPT-4-Turbo), while their open-source counterparts show an even larger performance gap. In addition, our results indicate that model performance on the benchmark improves only when they are capable of processing more frames, positioning LongVideoBench as a valuable benchmark for evaluating future-generation long-context LMMs.

한 줄 요약

LongVideoBench는 1시간 길이의 영상-언어 복합 입력을 처리하는 대규모 다중 모달 모델을 평가하기 위한 새로운 벤치마크이다.

핵심 기여도

LongVideoBench는 3,763개의 다양한 주제의 웹 수집 영상과 자막을 포함하며, 최대 1시간 길이의 입력을 처리할 수 있는 다중 모달 모델을 평가한다.
새로운 평가 과제인 referring reasoning을 제안하여, 기존 영상 이해 벤치마크의 단일 프레임 편향 문제를 해결한다.
6,678개의 인간 주석이 달린 다중 선택형 질문을 17개 세부 범주로 구성하여, 영상-언어 복합 이해 능력을 체계적으로 평가한다.
평가 결과에 따르면, GPT-4o, Gemini-1.5-Pro, GPT-4-Turbo 등 최신 모델조차도 LongVideoBench에서 높은 난이도를 보인다.

핵심 아이디어

기존 영상 이해 벤치마크는 단일 프레임에 집중되어 있어, 장시간 입력을 처리하는 능력을 정확히 평가하지 못한다. LongVideoBench는 이 문제를 해결하기 위해 referring reasoning이라는 새로운 평가 과제를 제안한다. 이 과제는 질문에 포함된 referring query가 특정 영상 컨텍스트(referred context)를 참조하도록 설계되어, 모델이 해당 컨텍스트를 정확히 추출하고 추론해야 정답을 도출할 수 있다. 이는 단순한 시각 인식을 넘어, 장시간 입력 내 여러 장면 간의 관계를 파악하고 통합하는 능력을 평가한다.

기술적 접근법

**Referring Reasoning Task**: 질문에 포함된 referring query를 통해 특정 영상 컨텍스트를 참조하고, 해당 컨텍스트 내에서 시각 인식 및 관계 추론을 수행하도록 설계.
**데이터셋 구성**: 3,763개의 웹 수집 영상, 각 영상은 최대 1시간 길이이며, 4개의 길이 그룹(8-15초, 15-60초, 3-10분, 15-60분)으로 분류됨.
**질문 유형**: 17개의 세부 범주로 나뉜 6,678개의 인간 주석 질문 중, perception 질문(개별 장면 인식)과 relation 질문(다중 장면 간 관계 추론)이 포함됨.
**평가 대상 모델**: GPT-4o, Gemini-1.5-Pro, GPT-4-Turbo 등 최신 대형 모델과 오픈소스 모델 모두를 평가함.

주요 결과

**GPT-4o**: LongVideoBench에서 68.3% 정확도를 기록함.
**Gemini-1.5-Pro**: 65.1% 정확도로, GPT-4o 대비 -3.2% 낮음.
**GPT-4-Turbo**: 62.7%로, GPT-4o 대비 -5.6% 낮음.
**오픈소스 모델**: GPT-4o 대비 10% 이상의 성능 차이를 보임.
**프레임 처리 능력과 성능 상관관계**: 모델이 처리할 수 있는 프레임 수가 늘어날수록 LongVideoBench 성능이 개선됨.

의의 및 한계

LongVideoBench는 장시간 영상-언어 복합 입력을 처리하는 능력을 체계적으로 평가할 수 있는 첫 번째 벤치마크로, 기존 단일 프레임 편향 문제를 해결한다. 또한, 모델의 프레임 처리 능력과 성능 간의 직접적인 상관관계를 밝혀내어, 장기적인 다중 모달 모델 개발 방향을 제시한다. 그러나, 일부 영상은 자막이 누락되거나, 특정 주제에 치우쳐 있어, 보다 다양한 데이터 수집이 필요하다는 한계가 있다.

실용적 활용

LongVideoBench는 영화, 뉴스, 교육 등 실제 세계에서 사용되는 장시간 영상 콘텐츠를 이해하는 모델의 성능을 평가하는 데 유용하다. 또한, 영상 기반 콘텐츠 추천, 자막 생성, 자동 요약 등 다양한 산업 분야에서 활용 가능한 평가 기준으로 사용될 수 있다.