VideoLLM-online: Online Video Large Language Model for Streaming Video

Recent Large Language Models (LLMs) have been en-hanced with vision capabilities, enabling them to compre-hend images, videos, and interleaved vision-language con-tent. However, the learning methods of these large multi-modal models (LMMs) typically treat videos as predeter-mined clips, rendering them less effective and efficient at handling streaming video inputs. In this paper, we pro-pose a novel Learning-In- Video-Stream (LIVE) framework, which enables temporally aligned, long-context, and real-time dialogue within a continuous video stream. Our LIVE framework comprises comprehensive approaches to achieve video streaming dialogue, encompassing: (1) a training ob-jective designed to perform language modeling for contin-uous streaming inputs, (2) a data generation scheme that converts offline temporal annotations into a streaming di-alogue format, and (3) an optimized inference pipeline to speed up interactive chat in real-world video streams. With our LIVE framework, we develop a simplified model called VideoLLM-online and demonstrate its significant advan-tages in processing streaming videos. For instance, our VideoLLM-online-7B model can operate at over 10 FPS on an A100 GPU for a 5-minute video clip from Ego4D narration. Moreover, VideoLLM-online also showcases state-of-the-art performance on public offline video bench-marks, such as recognition, captioning, and forecasting. The code, model, data, and demo have been made available at showlab.github. iolvideollm-online.

한 줄 요약

VideoLLM-online은 실시간 동영상 스트리밍 대화를 지원하는 LIVE 프레임워크를 기반으로 구축된 모델로, 10 FPS 이상의 처리 속도와 뛰어난 오프라인 벤치마크 성능을 보인다.

핵심 기여도

LIVE 프레임워크 제안: 실시간 스트리밍 대화를 위한 학습, 데이터 생성, 추론 방식을 포함.
Streaming EOS 예측 기법 도입: 모델이 언제 응답할지 학습하여 불필요한 컨텍스트를 줄임.
5분 길이의 Ego4D 동영상에서 10 FPS 이상 처리 가능 (A100 GPU 기준).
COIN 및 Ego4D LTA 벤치마크에서 최신 수준의 성능 달성.

핵심 아이디어

기존의 대규모 다중 모달 모델(LMM)은 동영상을 사전 정의된 클립으로 처리하여 실시간 스트리밍 대화에 적합하지 않다. 이를 해결하기 위해 LIVE 프레임워크를 제안하며, 특히 **Streaming EOS 예측**이라는 새로운 학습 목표를 도입한다. 이는 모델이 스트리밍 동영상에서 언제 응답할지 판단하도록 학습하여 불필요한 컨텍스트를 줄이고, 실시간 대화를 가능하게 한다. 또한, 오프라인 어노테이션을 실시간 대화 형식으로 변환하는 데이터 생성 기법과 **연속 키-밸류 캐싱**을 활용한 추론 파이프라인을 통해 처리 속도를 개선한다.

기술적 접근법

**모델 아키텍처**: CLIP ViT-L 이미지 인코더, MLP 프로젝터, Llama-2 또는 Llama-3 언어 모델을 사용.
**프레임 임베딩**: 2 FPS로 추출, 각 프레임 임베딩은 (1 + h_p × w_p) × c 형태.
**학습 손실**: 자동 회귀 언어 모델링(LM) 손실과 스트리밍 손실(Streaming Loss)을 결합.
**추론 최적화**: 연속 키-밸류 캐싱과 시각 인코딩/언어 디코딩 병렬화를 통해 처리 속도 향상.
**하이퍼파라미터**: 4096 컨텍스트 윈도우, 10 토큰당 프레임 임베딩, LoRA를 사용한 효율적 튜닝.

주요 결과

**Ego4D Narration 스트림**: 5분 길이 동영상에서 10 FPS 이상 처리 (A100 GPU 기준).
**COIN 벤치마크**: 단계 인식, 절차 예측 등에서 최신 수준의 성능.
**Ego4D LTA 벤치마크**: 8단계 이전 동영상 기반으로 20개의 다음 행동 예측 성공.
**메모리 효율성**: 5분 길이 스트리밍 대화 시 20GB 미만의 메모리 사용.

의의 및 한계

VideoLLM-online은 실시간 스트리밍 대화를 위한 체계적인 프레임워크를 제시하며, 기존 오프라인 중심의 LMM 접근법의 한계를 극복한다. 특히, **Streaming EOS 예측**과 **연속 키-밸류 캐싱**은 실시간 대화의 핵심 성능을 향상시켰다. 그러나, 제안된 평가 지표는 단순한 서술형 대화에 적합하며, 복잡한 자유형 대화 평가에는 한계가 있다. 또한, COIN 데이터셋의 개인정보 문제로 인해 대체 데이터셋(Ego4D)을 사용한 점도 한계로 작용할 수 있다.

실용적 활용

VideoLLM-online은 실시간 동영상 분석이 필요한 산업, 예를 들어 스마트 홈, 자율주행, 보안 감시 등에 적용 가능하다. 또한, 사용자와의 대화형 인터페이스를 필요로 하는 AI 어시스턴트 개발에도 활용될 수 있다. 특히, **Ego4D 데이터셋**을 기반으로 훈련된 모델은 개인적 행동 예측 및 알림 기능을 포함한 실시간 대화형 서비스에 적합하다.