ShareGPT4Video: Improving Video Understanding and Generation with Better Captions

We present the ShareGPT4Video series, aiming to facilitate the video understanding of large video-language models (LVLMs) and the video generation of text-to-video models (T2VMs) via dense and precise captions. The series comprises: 1) ShareGPT4Video, 40K GPT4V annotated dense captions of videos with various lengths and sources, developed through carefully designed data filtering and annotating strategy. 2) ShareCaptioner-Video, an efficient and capable captioning model for arbitrary videos, with 4.8M high-quality aesthetic videos annotated by it. 3) ShareGPT4Video-8B, a simple yet superb LVLM that reached SOTA performance on three advancing video benchmarks. To achieve this, taking aside the non-scalable costly human annotators, we find using GPT4V to caption video with a naive multi-frame or frame-concatenation input strategy leads to less detailed and sometimes temporal-confused results. We argue the challenge of designing a high-quality video captioning strategy lies in three aspects: 1) Inter-frame precise temporal change understanding. 2) Intra-frame detailed content description. 3) Frame-number scalability for arbitrary-length videos. To this end, we meticulously designed a differential video captioning strategy, which is stable, scalable, and efficient for generating captions for videos with arbitrary resolution, aspect ratios, and length. Based on it, we construct ShareGPT4Video, which contains 40K high-quality videos spanning a wide range of categories, and the resulting captions encompass rich world knowledge, object attributes, camera movements, and crucially, detailed and precise temporal descriptions of events. Based on ShareGPT4Video, we further develop ShareCaptioner-Video, a superior captioner capable of efficiently generating high-quality captions for arbitrary videos...

한 줄 요약

ShareGPT4Video는 GPT4V와 자체 개발된 Differential Sliding-Window Captioning을 기반으로 40K 고질량 영상-캡션 데이터와 4.8M 캡션을 생성하여 영상 이해 및 생성 모델 성능을 향상시킨다.

핵심 기여도

**40K 고질량 영상-캡션 데이터셋 ShareGPT4Video** 생성 (GPT4V 기반, 다양한 길이 및 출처 포함).
**4.8M 캡션을 생성한 ShareCaptioner-Video 모델** 개발 (고해상도, 다양한 종횡비, 길이에 대응).
**SOTA 성능을 달성한 ShareGPT4Video-8B LVLM** 제안 (3개 주요 영상 벤치마크에서 최고 성능).
**Differential Sliding-Window Captioning (DiffSW)** 전략 제안 (시간적 정확성, 확장성, 안정성 확보).

핵심 아이디어

기존 영상 캡션 생성 방식은 다중 프레임 입력이나 프레임 연결 방식을 사용하지만, 이는 시간적 혼란과 세부 정보 손실을 유발한다. 이를 해결하기 위해, 연구팀은 **Differential Sliding-Window Captioning (DiffSW)** 전략을 제안한다. 이 전략은 첫 프레임에 대한 캡션을 생성한 후, **2개 프레임을 슬라이딩 윈도우로 입력**하여 **프레임 간의 변화**를 기술하는 방식이다. 이는 시간적 변화를 정확히 포착하고, 전체 영상의 캡션을 구성할 수 있도록 한다. 또한, 입력 프레임 수가 일정하게 유지되므로 GPT4V의 세부 정보 처리 능력을 활용할 수 있으며, **임의 길이의 영상에도 확장 가능**하다. 이는 기존 방식에서 발생하는 시간 혼동 문제와 세부 정보 손실 문제를 극복하는 핵심 아이디어이다.

기술적 접근법

**Differential Sliding-Window Captioning (DiffSW)**: 첫 프레임에 대한 캡션 생성 후, 2개 프레임을 슬라이딩 윈도우로 입력하여 변화를 기술.
**Semantic-based Data Filtering**: 콘텐츠 동일성 감소를 위한 데이터 필터링 전략.
**Semantic-aware Key-frame Extraction**: 시간적 중복 제거를 위한 키프레임 추출.
**Hierarchical Prompt Design**: 캡션 생성 안정성 및 품질 향상을 위한 프롬프트 설계.
**ShareCaptioner-Video 학습 파라미터**: 학습률 2.5×10⁻⁵, 배치 크기 1024, HD-55/HD-25 해상도 전략 적용.

주요 결과

**ShareGPT4Video-8B**는 **3개 영상 벤치마크에서 최고 성능** 달성.
**ShareCaptioner-Video**는 **4.8M 고질량 캡션 생성** (3000시간 분량, 10초 영상 생성 태스크에서 검증).
**DiffSW 기반 캡션**은 **세부 객체 속성, 카메라 움직임, 시간적 변화**를 포함.
**GPT4V 기반 캡션**은 **40K 영상에 대해 정확한 시간 기술**을 제공.

의의 및 한계

**의의**: 영상-언어 모델(LVLM)과 텍스트-영상 생성 모델(T2VM)의 성능 향상을 위한 **고질량 캡션 데이터셋 및 모델** 제공. DiffSW는 시간적 정확성과 확장성을 동시에 달성한 **새로운 캡션 생성 전략**으로, 기존 방식의 한계를 극복.

실용적 활용

**영상 이해 및 생성 연구**: ShareGPT4Video는 LVLM과 T2VM 개발에 필수적인 고질량 데이터셋으로 활용 가능.
**영상 캡션 생성 서비스**: ShareCaptioner-Video는 다양한 해상도, 종횡비, 길이의 영상에 대응하는 **실용적 캡션 생성 모델**로 산업 현장에서 활용 가능.
**AI 영상 생성 플랫폼**: 4.8M 캡션 데이터는 **고해상도, 세부 제어가 필요한 영상 생성**에 사용 가능.