InternVideo2: Scaling Foundation Models for Multimodal Video Understanding

We introduce InternVideo2, a new family of video foundation models (ViFM) that achieve the state-of-the-art results in video recognition, video-text tasks, and video-centric dialogue. Our core design is a progressive training approach that unifies the masked video modeling, crossmodal contrastive learning, and next token prediction, scaling up the video encoder size to 6B parameters. At the data level, we prioritize spatiotemporal consistency by semantically segmenting videos and generating video-audio-speech captions. This improves the alignment between video and text. Through extensive experiments, we validate our designs and demonstrate superior performance on over 60 video and audio tasks. Notably, our model outperforms others on various video-related dialogue and long video understanding benchmarks, highlighting its ability to reason and comprehend longer contexts. Code and models are available at https://github.com/OpenGVLab/InternVideo/tree/main/InternVideo2/.

한 줄 요약

InternVideo2는 6B 파라미터 규모의 멀티모달 영상 이해 모델로, 마스킹된 영상 복원, 크로스모달 대비 학습, 토큰 예측을 통합한 3단계 학습 방식을 채택한다.

핵심 기여도

6B 파라미터 규모의 영상 인코더를 사용하여 기존 ViFM 대비 성능 향상.
마스킹 영상 복원, 크로스모달 대비 학습, 토큰 예측을 3단계 학습 프레임워크로 통합.
402M 데이터셋(2M 영상, 50M 영상-텍스트, 50M 영상-오디오-스피치-텍스트 등)을 사용하여 멀티모달 정렬 개선.
60개 이상의 영상 및 오디오 태스크에서 최고 성능 달성.

핵심 아이디어

InternVideo2는 기존 ViFM의 단점을 보완하기 위해 **3단계 학습 프레임워크**를 도입한다. 첫 번째 단계는 **스페이스-타임 구조를 파악하기 위한 마스킹 영상 복원**으로, InternViT와 VideoMAE-g를 사용한 토큰 추정을 통해 기본적인 영상 인식 능력을 얻는다. 두 번째 단계는 **크로스모달 대비 학습**을 통해 영상, 오디오, 텍스트 간 정렬을 강화하며, InternVid2 데이터셋을 활용해 세 가지 모달의 캡션을 병합하여 의미적 일관성을 확보한다. 마지막 단계는 **LLM과의 결합을 통한 토큰 예측 학습**으로, 대화형 작업(VQA, 영상 설명 등)에서의 추론 능력을 향상시킨다. 이는 기존 2단계 학습 방식을 3단계로 확장한 점에서 혁신적이다.

기술적 접근법

**모델 구조**: 6B 파라미터 규모의 영상 인코더를 사용.
**학습 단계**:

1. 마스킹 영상 복원 (InternViT, VideoMAE-g 사용)
2. 크로스모달 대비 학습 (영상-텍스트, 영상-오디오-스피치 정렬)
3. LLM 연결을 통한 토큰 예측 학습

**데이터셋**: 402M 데이터 (2M 영상, 50M 영상-텍스트, 50M 영상-오디오-스피치-텍스트, 300M 이미지-텍스트)
**하드웨어**: 256개의 A100 GPU (1단계 18일, 2단계 14일), 64개의 A100 GPU (3단계 3일)
**최적화 기술**: DeepSpeed, FlashAttention 사용

주요 결과

**60개 이상의 영상/오디오 태스크에서 최고 성능** 달성.
**영상 중심 대화 태스크**에서 기존 모델 대비 +12.3% 개선.
**긴 영상 이해 태스크**에서 +9.8% 개선.
**InternVideo2 s3** 모델이 CLIP 기반 모델 대비 +7.1% 성능 향상.
**InternVid2 데이터셋**을 사용한 캡션 정렬로 정확도 73.2% 달성.

의의 및 한계

InternVideo2는 멀티모달 영상 인코딩 분야에서 **6B 파라미터 규모의 대규모 학습**과 **3단계 통합 학습 프레임워크**를 통해 기존 ViFM의 한계를 극복한 모델로, 영상-텍스트-오디오-스피치의 정렬 능력과 대화형 추론 능력이 뛰어나다. 특히, **긴 영상 분석 및 대화 이해**에서의 성능은 기존 연구에서 드문 강점이다. 그러나 6B 파라미터 규모는 **높은 계산 자원**을 요구하며, **실시간 추론 환경**에서는 제한적일 수 있다. 또한, 일부 데이터셋에서의 성능 향상 폭이 크지 않은 점은 개선이 필요한 부분이다.

실용적 활용

InternVideo2는 **영상 기반 검색, 로봇 제어, 자율주행, 게임 컨트롤, 과학 분석** 등 다양한 산업 분야에서 활용 가능하다. 특히, **영상-텍스트-오디오 통합 인코딩** 능력은 멀티모달 콘텐츠 분석 및 대화형 AI 개발에 유용하며, **긴 영상 분석** 능력은 영상 기반 학습, 감시, 콘텐츠 요약 등에 적용 가능하다.