Video-XL: Extra-Long Vision Language Model for Hour-Scale Video Understanding

Long video understanding poses a significant challenge for current Multi-modal Large Language Models (MLLMs). Notably, the MLLMs are constrained by their limited context lengths and the substantial costs while processing long videos. Although several existing methods attempt to reduce visual tokens, their strategies encounter severe bottleneck, restricting MLLMs’ ability to perceive fine-grained visual details. In this work, we propose Video-XL, a novel approach that leverages MLLMs’ inherent key-value (KV) sparsification capacity to condense the visual input. Specifically, we introduce a new special token, the Visual Summarization Token (VST), for each interval of the video, which summarizes the visual information within the interval as its associated KV. The VST module is trained by instruction fine-tuning, where two optimizing strategies are offered. 1. Curriculum learning, where VST learns to make small (easy) and large compression (hard) progressively. 2. Composite data curation, which integrates single-image, multi-image, and synthetic data to overcome the scarcity of long-video instruction data. The compression quality is further improved by dynamic compression, which customizes compression granularity based on the information density of different video intervals. Video-XL’s effectiveness is verified from three aspects. First, it achieves a superior long-video understanding capability, outperforming state-of-the-art models of comparable sizes across multiple popular benchmarks. Second, it effectively preserves video information, with minimal compression loss even at 16 × compression ratio. Third, it realizes outstanding cost-effectiveness, enabling high-quality processing of thousands of frames on a single A100 GPU.

한 줄 요약

Video-XL은 VST 모듈을 활용해 16× 압축에서도 높은 정확도를 유지하는 장시간 동영상 이해 모델이다.

핵심 기여도

VST(VST) 모듈을 도입하여 키-벨류(KV) 압축을 통해 시각 정보를 요약.
커리큘럼 학습과 합성 데이터(VICO)를 활용한 훈련 전략 제안.
16× 압축에서도 95% 정확도 달성하며 A100 GPU 하나로 2048 프레임 처리 가능.
MLVU, VideoMME 등 주요 벤치마크에서 기존 최고 모델을 상회.

핵심 아이디어

기존 장시간 동영상 처리 모델은 시각 토큰 수를 줄이려는 접근이 세부 정보 손실을 초래했다. Video-XL은 대신 LLM 자체의 KV 스파스화 능력을 활용해, 동영상의 시각 정보를 VST라는 새로운 특수 토큰을 통해 요약한다. VST는 동영상의 구간별 정보를 KV 형태로 압축하고, 정보 밀도에 따라 동적 압축을 수행해 정보 손실을 최소화한다. 이는 기존 토큰 감소 전략과는 차별화된 접근으로, 압축률 16×에서도 높은 정확도를 유지하는 것이 가능하다.

기술적 접근법

**VST 모듈**: 동영상의 구간별 시각 정보를 KV 형태로 요약.
**동적 압축**: 정보 밀도에 따라 압축 단위 조정. 정보 밀도 높은 구간은 작은 구간으로, 낮은 구간은 큰 구간으로 압축.
**커리큘럼 학습**: 훈련 초기에는 2×, 4× 압축부터 시작해 점차 8×, 16×로 확장.
**합성 데이터(VICO)**: 이미지 기반 데이터와 합성 데이터를 결합해 훈련 데이터 부족 문제 해결.
**하드웨어 효율성**: A100 GPU 하나로 2048 프레임 처리 가능.

주요 결과

**MLVU, VideoMME** 등 장시간 동영상 벤치마크에서 기존 최고 모델을 상회.
**16× 압축에서도 95% 정확도** 달성 (Needle-in-a-Haystack 평가).
**A100 GPU 하나로 2048 프레임 처리** 가능, 높은 비용 효율성 보임.
**동적 압축**이 고정 압축 대비 성능 향상 (Table 3 참조).

의의 및 한계

Video-XL은 장시간 동영상 처리에서 정보 손실과 계산 비용을 동시에 줄이는 새로운 접근법을 제시한다. 특히 VST 모듈과 커리큘럼 학습, 합성 데이터 활용은 MLLM의 장거리 이해 능력을 향상시키는 데 기여한다. 그러나 합성 데이터(VICO)는 5k 샘플로 매우 작아, 더 큰 데이터셋이 필요할 수 있다. 또한, 압축률 32×에서도 성능 유지가 가능하지만, 이는 훈련 없이 직접 테스트한 결과로, 실제 적용 시에는 추가 연구가 필요할 수 있다.

실용적 활용

Video-XL은 영상 분석, 자동 콘텐츠 요약, 영상 QA 시스템 등에 적용 가능하다. 특히 GPU 자원이 제한된 환경에서 수천 프레임을 처리하는 데 유용하며, 대규모 동영상 데이터셋을 효율적으로 분석할 수 있는 기반 기술이 될 수 있다.