OmniPro: A Comprehensive Benchmark for Omni-Proactive Streaming Video Understanding

Omni-proactive streaming video understanding, i.e., autonomously deciding when to speak and what to say from continuous audio-visual streams, is an emerging capability of omni-modal large language models. Existing benchmarks fall short in three key aspects: they rely primarily on visual signals, adopt polling or fixed-timestamp protocols instead of true proactive evaluation, and cover only a limited range of tasks, preventing reliable assessment and differentiation of omni-proactive streaming models. We present OmniPro, the first benchmark to jointly evaluate omni-modal perception, proactive responding, and diverse video understanding tasks. It comprises 2,700 human-verified samples spanning 9 sub-tasks and 3 cognitive levels, covering 6 basic video understanding capabilities. Notably, 84% of samples require audio signals (speech or non-speech), and each sample is annotated with modality-isolation labels to enable fine-grained multimodal analysis. We further introduce a dual-mode evaluation protocol: Probe mode assesses content understanding by querying the model before and after each ground-truth trigger, while Online mode evaluates full proactive ability by requiring models to autonomously decide when to respond in streaming input. Evaluating 11 representative models reveals three key findings: (1) audio provides consistent gains but with highly variable utilization across models, (2) performance degrades significantly over time, indicating limited long-horizon robustness, and (3) non-speech audio perception remains the weakest dimension.

📋 한 줄 요약

**[Omni-Proactive Streaming Video / Benchmark]** OmniPro가 2,700 human-verified 샘플·9 sub-task·3 cognitive level의 첫 omni-proactive 벤치마크 — 84% 샘플이 audio 필요, Probe·Online dual-mode 평가, 11 모델 분석에서 audio·long-horizon·non-speech 등 발견.

🎯 핵심 기여도

Omni-proactive streaming video understanding(연속 audio-visual 스트림에서 언제 말할지·무엇을 말할지 자율 결정)이 omni-modal LLM의 emerging capability 배경 — 기존 벤치마크가 (1) 시각 신호에 주로 의존, (2) true proactive 평가 대신 polling·fixed-timestamp protocol 채택, (3) 제한된 task 범위로 omni-proactive streaming model의 신뢰성 있는 평가·차별화 방해 진단.
OmniPro 제시 — omni-modal perception·proactive responding·diverse video understanding task를 동시 평가하는 첫 벤치마크. 2,700 human-verified 샘플·9 sub-task·3 cognitive level·6 basic video understanding capability 커버.
84% 샘플이 audio signal(speech·non-speech) 요구, modality-isolation label로 fine-grained multimodal 분석 가능.
Dual-mode 평가 도입 — Probe mode는 각 ground-truth trigger 전후 query로 content understanding 평가, Online mode는 streaming 입력에서 모델이 자율적으로 응답 시점 결정하도록 요구해 full proactive 능력 평가.

💡 핵심 아이디어

Omni-proactive video understanding 평가의 발전은 audio 필수성·true proactive(자율 시점 결정)·다양 task 커버리지를 동시에 갖춰야 하며, Probe·Online dual-mode가 content 이해와 proactive 능력을 각각 분리 평가해 모델 차별화를 가능하게 한다.

🔬 기술적 접근법

**방법론**: OmniPro — 9 sub-task·3 cognitive level·6 capability·dual-mode 벤치마크.
**핵심 기법**: (1) 2,700 human-verified 샘플 큐레이션, (2) 84% audio 필요·modality-isolation label 부여, (3) Probe mode: ground-truth trigger 전후 query로 content understanding 평가, (4) Online mode: streaming 입력에서 자율 응답 시점 결정으로 proactive 능력 평가, (5) 11 representative omni-modal 모델 평가.

📊 주요 결과

11 representative 모델 평가에서 3 핵심 발견.
(1) Audio가 일관된 gain 제공하나 모델별 활용 매우 가변적.
(2) 시간 경과에 따라 성능 유의 저하 — long-horizon robustness 한계.
(3) Non-speech audio perception이 가장 약한 dimension.

💭 의의 및 한계

**의의**: Omni-proactive streaming의 첫 종합 벤치마크, dual-mode 평가의 분리 평가 원리, audio·long-horizon·non-speech 약점의 정량 진단으로 후속 연구 방향 제시. **한계**: 2,700 샘플의 도메인 커버리지, human verification 일관성, 11 모델의 시점적 한정.

🚀 실용적 활용

Omni-modal LLM·streaming AI assistant 개발.
자율주행·로봇·meeting agent의 proactive interaction.
Audio-visual streaming 모델 평가 표준.