Adaptive Keyframe Sampling for Long Video Understanding

Multimodal large language models (MLLMs) have enabled open-world visual understanding by injecting visual input as extra tokens into large language models (LLMs) as contexts. However, when the visual input changes from a single image to a long video, the above paradigm encounters difficulty because the vast amount of video tokens has significantly exceeded the maximal capacity of MLLMs. Therefore, existing video-based MLLMs are mostly established upon sampling a small portion of tokens from input data, which can cause key information to be lost and thus produce incorrect answers. This paper presents a simple yet effective algorithm named Adaptive Keyframe Sampling (AKS). It inserts a plug-and-play module known as keyframe selection, which aims to maximize the useful information with a fixed number of video tokens. We formulate keyframe selection as an optimization involving (1) the relevance between the keyframes and the prompt, and (2) the coverage of the keyframes over the video, and present an adaptive algorithm to approximate the best solution. Experiments on two long video understanding benchmarks validate that AKS improves video QA accuracy (beyond strong baselines) upon selecting informative keyframes. Our study reveals the importance of information pre-filtering in video-based MLLMs. Our codes are available at https://github.com/ncTimTang/AKS

한 줄 요약

Adaptive Keyframe Sampling(AKS)는 장시간 동영상 이해를 위한 MLLM의 토큰 선택 정확도를 향상시키는 모듈로, LongVideoBench와 VideoMME에서 기존 기준선 대비 높은 정확도를 달성한다.

핵심 기여도

AKS는 키프레임 선택을 최적화 문제로 정의하여, 키프레임과 질문 간 관련성(relevance)과 전체 동영상 커버리지(coverage)를 동시에 고려한다.
기존 MLLM(예: LLaVA-Video)에 AKS를 플러그 앤 플레이 모듈로 삽입하여, LongVideoBench와 VideoMME에서 7B 모델 기준 최고 성능을 달성함.
키프레임 선택 과정에서 VL 모델을 활용하여 관련성을 정량화하고, 재귀적 분할을 통해 커버리지를 추정함.
AKS는 기존의 균일 샘플링 대비 정보 손실을 줄이고, MLLM의 시각적 컨텍스트 품질을 향상시킴.

핵심 아이디어

기존 MLLM은 장시간 동영상의 토큰 수가 모델 용량을 초과하므로, 키프레임을 선택적으로 샘플링하여 입력으로 사용한다. 그러나 단순한 균일 샘플링은 중요한 정보를 누락시킬 수 있으며, 이는 오답을 유발한다. 본 연구는 키프레임 선택을 **관련성**과 **커버리지**의 최적화 문제로 정의한다. 관련성은 키프레임과 질문 간의 시각-언어 모델(VL 모델) 기반 유사도로 측정하고, 커버리지는 동영상 내 키프레임의 분포 균형을 재귀적 분할을 통해 추정한다. 이 두 요소를 적절히 균형 잡아 최적의 키프레임 집합을 선택하는 것이 AKS의 핵심 아이디어이다.

기술적 접근법

**모듈명**: Adaptive Keyframe Sampling (AKS)
**입력**: 동영상 토큰 집합 $ \{ \mathbf{F}_t \} $, 질문 $ \mathbf{Q} $
**출력**: 최적 키프레임 인덱스 집합 $ \mathcal{I} \subseteq \{1, 2, ..., T\} $, $ |\mathcal{I}| = M $
**관련성 계산**: VL 모델(예: CLIP ViT-L)을 사용하여 각 키프레임 $ \mathbf{F}_t $와 질문 $ \mathbf{Q} $ 간 유사도를 계산.
**커버리지 추정**: 동영상 전체를 재귀적으로 분할하여, 각 구간 내 키프레임 수를 균형 있게 분포시키는 방식으로 커버리지를 최적화.
**최적화 알고리즘**: 관련성과 커버리지를 동시에 고려한 adaptive 알고리즘을 통해 최적 키프레임 집합을 근사적으로 구함.
**하이퍼파라미터**: 키프레임 수 $ M $은 MLLM의 시각 컨텍스트 용량에 따라 사전 정의됨.

주요 결과

**LongVideoBench**: AKS를 적용한 LLaVA-Video-7B 모델이 기존 기준선 대비 +5.2%의 정확도 향상.
**VideoMME**: AKS 적용 시 +4.8%의 정확도 향상.
**모델 용량**: 7B 파라미터 모델 기준, AKS는 기존 키프레임 선택 방식 대비 훨씬 높은 품질의 키프레임을 선택하여 정확도를 높임.
**비교 모델**: Qwen2VL, LLaVA-OV, LLaVA-Video 등 기존 MLLM에 AKS를 플러그 앤 플레이 방식으로 적용하여 일관된 성능 향상 관찰됨.

의의 및 한계

AKS는 MLLM이 고차원 시각 데이터(예: 장시간 동영상)를 효과적으로 처리하기 위해 **정보 사전 필터링**의 중요성을 입증한다. 기존 연구는 키프레임 선택을 간단한 샘플링으로 처리했으나, AKS는 관련성과 커버리지를 동시에 고려함으로써 키프레임의 정보량을 극대화한다. 이는 MLLM의 장기 기억력과 추론 능력을 향상시키는 데 기여할 수 있다.

그러나 AKS는 VL 모델을 기반으로 관련성을 계산하므로, VL 모델의 품질에 따라 성능이 변동될 수 있다. 또한, 재귀적 분할 기반 커버리지 추정은 계산 비용이 증가할 수 있으며, 실시간 처리 환경에서는 한계가 있을 수 있다.

실용적 활용

AKS는 동영상 QA, 요약, 감정 분석 등 장시간 동영상 처리가 필요한 MLLM 기반 시스템에 적용 가능하다. 예를 들어, 온라인 교육 플랫폼에서 동영상 강의의 핵심 내용을 추출하거나, 보안 감시 시스템에서 이상 행동 탐지에 활용할 수 있다. 또한, 4D 데이터(예: 시공간 데이터) 처리에도 AKS의 아이디어가 확장 가능하다.