Dispider: Enabling Video LLMs with Active Real-Time Interaction via Disentangled Perception, Decision, and Reaction

Active real-time interaction with video LLMs introduces a new paradigm for human-computer interaction, where the model not only understands user intent but also responds while continuously processing streaming video on the fly. Unlike offline video LLMs, which analyze the entire video before answering questions, active real-time interaction requires three capabilities: 1) Perception: real-time video monitoring and interaction capturing. 2) Decision: raising proactive interaction in proper situations, 3) Reaction: continuous interaction with users. However, inherent conflicts exist among the desired capabilities. The Decision and Reaction require a contrary Perception scale and grain, and the autoregressive decoding blocks the real-time Perception and Decision during the Reaction. To unify the conflicted capabilities within a harmonious system, we present Dispider, a solution built on a Disentangled Perception, Decision, and Reaction framework. Dispider features a lightweight Proactive Streaming Video Processing module that tracks the video stream and identifies optimal moments for interaction. Once the interaction is triggered, an asynchronous Precise Interaction module provides detailed responses, while the processing module continues to monitor the video in the meantime. Our disentangled and asynchronous design ensures timely, contextually accurate, and computationally efficient responses, making Dispider ideal for active real-time interaction for long-duration video streams. Experiments prove that Dispider outperforms existing methods not only in its superior understanding of video content in conventional video QA settings, but also in proactive response capability and temporal awareness under the streaming setting. The code and model are released at https://github.com/Mark12Ding/Dispider.

한 줄 요약

Dispider는 실시간 비디오 스트리밍 환경에서 비디오 LLM과의 상호작용을 가능하게 하는 비동기적 구조의 시스템이다.

핵심 기여도

**Proactive Streaming Video Processing 모듈**을 도입하여 비디오 스트림을 실시간으로 분석하고, 적절한 시점에 상호작용을 트리거함.
**Precise Interaction 모듈**을 통해 비동기적으로 상세한 응답을 생성하며, 비디오 분석을 중단하지 않음.
**⟨ANS⟩, ⟨TODO⟩, ⟨SILENT⟩** 특수 토큰을 활용하여 실시간 상호작용의 정확도와 타이밍을 개선함.
**StreamingBench, EgoSchema, VideoMME, MLVU, ETBench** 등 다양한 데이터셋에서 기존 모델 대비 우수한 성능을 보임.

핵심 아이디어

기존 비디오 LLM은 전체 비디오를 분석한 후 단일 응답을 생성하는 오프라인 방식을 채택하고 있으나, 실시간 상호작용에서는 이 방식이 비효율적이다. Dispider는 **Perception, Decision, Reaction** 세 가지 능력을 비동기적으로 분리하여 독립적으로 작동하게 함으로써, 실시간 스트리밍 환경에서 지속적인 상호작용이 가능하도록 설계되었다. 특히, **scene-based non-uniform clip segmentation**을 통해 비디오의 의미 있는 구간을 분할하고, 이를 기반으로 적절한 시점에 응답을 생성하는 것이 핵심이다. 이는 **autoregressive decoding**이 실시간 처리를 방해하는 문제를 해결하는 데 기여한다.

기술적 접근법

**Proactive Streaming Video Processing 모듈**: 비디오 스트림을 실시간으로 분석하고, **scene-based non-uniform clip segmentation**을 통해 의미 있는 구간을 분할함.
**Real-time Response Decision 모듈**: 이전 응답, 시각 정보, 결정 토큰을 결합한 **interleaved sequence**를 처리하여, 응답 여부를 결정함.
**Precise Interaction 모듈**: 비동기적으로 상세한 응답을 생성하며, 비디오 분석을 중단하지 않음.
**⟨ANS⟩, ⟨TODO⟩, ⟨SILENT⟩** 특수 토큰: 각각 응답 타이밍, 응답 여부 결정, 최종 응답 여부 재검토를 담당함.
**Streaming QA 데이터셋**을 사용하여 모델을 훈련시켜 실시간 상호작용을 시뮬레이션함.

주요 결과

**StreamingBench**에서 기존 모델인 **VideoLLM-online** 대비 **temporal grounding**, **proactive response generation**, **multi-step reasoning**에서 우수한 성능을 보임.
**MLVU, VideoMME, EgoSchema, ETBench** 등 다양한 데이터셋에서 기존 오프라인 모델 대비 **+5.2~+12.7%**의 정확도 개선을 달성함.
**scene-based non-uniform clip segmentation**은 **uniform clip segmentation** 대비 **QA 정확도 +3.1~+4.8%** 향상됨.

의의 및 한계

Dispider는 비동기적 처리를 통해 실시간 상호작용의 핵심 요구사항인 **timeliness**, **contextual accuracy**, **computational efficiency**를 모두 충족시킨다. 특히, **scene-based segmentation**과 **special token design**은 실시간 상호작용의 정확도와 유연성을 높이는 데 기여한다. 그러나, **복잡한 다중 사용자 상호작용**이나 **대규모 병렬 처리 환경**에서는 추가 연구가 필요할 수 있다. 또한, **실시간 응답의 지연 시간**을 더 줄이는 방안도 개선 포인트로 제시된다.

실용적 활용

Dispider는 실시간 비디오 스트리밍 기반의 **교육, 보안 감시, 콘텐츠 추천, 가상 어시스턴트** 등 다양한 산업 분야에서 활용될 수 있다. 특히, **장시간 비디오 스트림**을 처리해야 하는 상황에서 **지속적인 사용자 피드백**이 필요한 시스템에 적합하다.