LongVLM: Efficient Long Video Understanding via Large Language Models

Empowered by Large Language Models (LLMs), recent advancements in Video-based LLMs (VideoLLMs) have driven progress in various video understanding tasks. These models encode video representations through pooling or query aggregation over a vast number of visual tokens, making computational and memory costs affordable. Despite successfully providing an overall comprehension of video content, existing VideoLLMs still face challenges in achieving detailed understanding due to overlooking local information in long-term videos. To tackle this challenge, we introduce LongVLM, a simple yet powerful VideoLLM for long video understanding, building upon the observation that long videos often consist of sequential key events, complex actions, and camera movements. Our approach proposes to decompose long videos into multiple short-term segments and encode local features for each segment via a hierarchical token merging module. These features are concatenated in temporal order to maintain the storyline across sequential short-term segments. Additionally, we propose to integrate global semantics into each local feature to enhance context understanding. In this way, we encode video representations that incorporate both local and global information, enabling the LLM to generate comprehensive responses for long-term videos. Experimental results on the VideoChatGPT benchmark and zero-shot video question-answering datasets demonstrate the superior capabilities of our model over the previous state-of-the-art methods. Qualitative examples show that our model produces more precise responses for long video understanding. Code is available at https://github.com/ziplab/LongVLM.

한 줄 요약

LongVLM은 장시간 동영상의 세부 이해를 위해 지역적 특징과 전역 의미를 결합한 효율적인 VideoLLM을 제안한다.

핵심 기여도

LongVLM은 장시간 동영상의 지역 정보를 유지하면서 계산 비용을 절감하는 **계층적 토큰 병합 모듈**(hierarchical token merging module)을 제안한다.
**전역 의미 정보**([CLS] 토큰)를 지역 특징에 통합하여 장시간 동영상의 문맥 이해를 향상시킨다.
**VideoChatGPT 벤치마크**와 **zero-shot 비디오 질문-답변 데이터셋**에서 기존 최고 성능 모델 대비 우수한 결과를 보인다.
**M=30**의 토큰 수와 **E=5**의 [CLS] 토큰 수를 통해 성능과 메모리 사용량의 균형을 맞춘다.

핵심 아이디어

기존 VideoLLM은 장시간 동영상의 지역 정보를 무시하고 전역 정보만을 추출하여 세부 이해에 한계가 있었다. LongVLM은 이 문제를 해결하기 위해 장시간 동영상을 **짧은 세그먼트**로 분할하고, 각 세그먼트에서 지역 특징을 추출한다. 이를 위해 **계층적 토큰 병합 모듈**을 사용하여 토큰 수를 줄이고, 계산 비용을 절감한다. 또한, **[CLS] 토큰을 시간 축에 따라 평균화**하여 전역 의미 정보를 추출하고, 이를 지역 특징에 통합하여 문맥 이해를 강화한다. 이는 인간 시각 시스템이 지역과 전역 정보를 결합해 인식한다는 통찰을 반영한 설계이다.

기술적 접근법

**비디오 프레임**을 균일하게 샘플링하고, **CLIP-ViT-L/14**를 사용해 프레임별 시각 특징을 추출한다.
**패치 특징**은 마지막 두 번째 레이어에서 추출되며, **[CLS] 토큰**은 여러 레이어에서 추출된다.
**계층적 토큰 병합 모듈**을 통해 각 세그먼트의 패치 특징을 압축하여 지역 특징을 생성한다.
지역 특징은 시간 순서대로 연결되어 **시간 구조**를 유지한다.
**전역 의미 정보**는 [CLS] 토큰을 시간 축에 따라 평균화하여 추출하고, 지역 특징 앞에 추가된다.
**M=30**의 토큰 수와 **E=5**의 [CLS] 토큰 수가 최적 성능과 메모리 사용량의 균형을 제공한다.

주요 결과

**VideoChatGPT 벤치마크**에서 기존 최고 성능 모델 대비 **Contextual Understanding (CU)**과 **Consistency (C)** 지표에서 **+5.2%**, **+3.8%** 개선됨.
**ANET-QA**에서 **M=30**일 때, **GPU 메모리 사용량**은 1.6× 감소하면서도 정확도는 유지됨.
**M=40**일 경우 성능 개선은 미미하지만, 메모리 사용량은 증가함.
**E=5**일 때, [CLS] 토큰 수가 적절히 유지되어 생성 품질이 가장 높음.

의의 및 한계

LongVLM은 장시간 동영상의 세부 정보를 유지하면서도 계산 비용을 절감하는 새로운 접근법을 제시한다. **계층적 토큰 병합**과 **전역-지역 정보 통합**을 통해 기존 VideoLLM의 한계를 극복하고, **VideoChatGPT**와 **zero-shot QA**에서 우수한 성능을 보인다. 그러나 본 연구는 **비디오-텍스트 생성**에만 초점을 맞춘 것이며, **다중 모달 생성**이나 **초장시간 동영상** 학습에 대한 확장은 아직 이루어지지 않았다. 또한, **전역 의미 정보**는 [CLS] 토큰만을 사용하므로, 더 다양한 특징 통합이 필요할 수 있다.

실용적 활용

LongVLM은 **영상 분석**, **교육 콘텐츠 자동 요약**, **보안 영상 해석** 등 장시간 동영상 처리가 필요한 산업에서 활용 가능하다. 특히, **사용자 질문에 맞춘 정확한 응답 생성**이 필요한 시스템에 적합하며, **저비용 고성능 처리**가 요구되는 환경에서도 유용하다.