OVO-Bench: How Far is Your Video-LLMs from Real-World Online Video Understanding?

Temporal Awareness—the ability to reason dynamically based on the timestamp when a question is raised—is the key distinction between offline and online video LLMs. Unlike offline models, which rely on complete videos for static, post hoc analysis, online models process video streams incrementally and dynamically adapt their responses based on the timestamp at which the question is posed. Despite its significance, temporal awareness has not been adequately evaluated in existing benchmarks. To fill this gap, we present OVO-Bench (Online-VideO-Benchmark), a novel video benchmark that emphasizes the importance of timestamps for advanced online video understanding capability benchmarking. OVO-Bench evaluates the ability of video LLMs to reason and respond to events occurring at specific timestamps under three distinct scenarios: (1) Backward tracing: trace back to past events to answer the question. (2) Real-time understanding: understand and respond to events as they unfold at the current timestamp. (3) Forward active responding: delay the response until sufficient future information becomes available to answer the question accurately. OVO-Bench comprises 12 tasks, featuring 644 unique videos and approximately human-curated 2,800 fine-grained meta-annotations with precise timestamps. We combine automated generation pipelines with human curation. With these high-quality samples, we further developed an evaluation pipeline to systematically query video LLMs along the video timeline. Evaluations of eleven Video-LLMs reveal that, despite advancements on traditional benchmarks, current models struggle with on-line video understanding, showing a significant gap compared to human agents. We hope OVO-Bench will drive progress in video LLMs and inspire future research in online video reasoning. Our benchmark and code can be accessed at https://github.com/JoeLeelyf/OVO-Bench.

한 줄 요약

OVO-Bench는 온라인 동영상 이해 능력을 평가하기 위한 새로운 벤치마크로, 시간戳 기반 추론 능력을 중점적으로 평가한다.

핵심 기여도

OVO-Bench는 3가지 시나리오(Backward Tracing, Real-time Understanding, Forward Active Responding)를 기반으로 시간戳 기반 추론을 평가한다.
644개의 고유 동영상과 2,814개의 정밀 시간戳 메타어노테이션을 포함한 12개의 태스크로 구성된다.
11개의 Video-LLMs를 평가한 결과, 기존 모델들이 온라인 동영상 이해에서 인간 수준과 큰 격차를 보인다.
Forward Active Responding은 기존 연구에서 다루어지지 않은 새로운 평가 범주이다.

핵심 아이디어

OVO-Bench는 기존 오프라인 벤치마크가 시간戳 기반의 동적 추론을 충분히 평가하지 못한다는 문제점을 해결하기 위해 설계되었다. 기존 모델은 전체 동영상을 기반으로 정적 분석을 수행하지만, 온라인 환경에서는 시간戳에 따라 동적으로 반응해야 한다. 이를 위해 OVO-Bench는 3가지 시나리오를 도입한다: (1) 과거 정보 추적 (Backward Tracing), (2) 현재 상황 인지 (Real-time Understanding), (3) 미래 정보 대기 (Forward Active Responding). 특히, Forward Active Responding은 기존 연구에서 다루어지지 않았으며, 모델이 충분한 미래 정보가 수집될 때까지 답변을 연기하도록 요구한다. 이는 인간의 동영상 이해 과정을 모방한 'Video Chain-of-Time' 추론 프로세스를 반영한다.

기술적 접근법

**OVO-Bench 구성**: 644개의 고유 동영상, 12개 태스크, 2,814개의 정밀 시간戳 메타어노테이션.
**데이터 생성**: 반자동 MLLM 생성과 인간 큐레이션을 결합한 하이브리드 방식.
**평가 파이프라인**: Video-LLMs를 동영상 타임라인 상에서 밀집적으로 질의하여 연속 정보 처리를 시뮬레이션.
**평가 방식**: Backward Tracing과 Real-Time Visual Perception은 다중 선택 평가를 사용.
**Forward Active Responding 평가**: 정확도 기반과 점수 기반 두 가지 평가 척도를 사용.
**GPT-4o 활용**: 일부 평가에서 GPT-4o를 활용하여 모델 응답의 효과성을 평가.

주요 결과

11개의 Video-LLMs(예: GPT-4o, Gemini-1.5-Pro, Qwen2-VL, LLaVA-OneVision)를 평가한 결과, 온라인 스타일 질문(예: "What is happening now?")에서 인간 수준과 큰 격차를 보임.
특히, Flash-VStream과 같은 최신 스트리밍 모델은 오프라인 모델 대비 더 큰 성능 저하를 보임.
Forward Active Responding 평가에서 모델들이 충분한 정보가 수집될 때까지 답변을 연기하는 능력이 부족함.
정확도 기반 평가에서 모델 응답의 정확도는 평균적으로 낮았으며, 점수 기반 평가에서도 타이밍과 정확도의 균형이 취약함.

의의 및 한계

OVO-Bench는 기존 벤치마크가 부족했던 시간戳 기반 온라인 동영상 이해 능력을 체계적으로 평가할 수 있는 플랫폼을 제공한다. 특히, Forward Active Responding은 기존 연구에서 다루어지지 않았던 새로운 평가 범주로, 모델의 동적 대응 능력을 정확히 평가할 수 있다. 그러나 현재로서는 온라인 환경에 최적화된 모델이 부족하여 이 평가 범주를 충분히 평가하기 어렵다는 한계가 있다. 또한, 일부 평가 항목은 GPT-4o를 기반으로 한 주관적 평가를 포함하므로, 객관성 측면에서 개선이 필요하다.

실용적 활용

OVO-Bench는 실시간 동영상 이해가 필요한 응용 분야, 예를 들어 스트리밍 플랫폼, 자율 주행 시스템, 실시간 영상 분석 시스템 등에서 Video-LLMs의 성능을 평가하고 개선하는 데 활용될 수 있다. 또한, 연구자들이 온라인 환경에서의 동영상 추론 능력을 강화하기 위한 알고리즘 개발에 중요한 기초 자료가 될 수 있다.