T2V-CompBench: A Comprehensive Benchmark for Compositional Text-to-video Generation

Text-to-video (T2V) generative models have advanced significantly, yet their ability to compose different objects, attributes, actions, and motions into a video remains unexplored. Previous text-to-video benchmarks also neglect this important ability for evaluation. In this work, we conduct the first systematic study on compositional text-to-video generation. We propose T2V-CompBench, the first benchmark tailored for compositional text-to-video generation. T2V-CompBench encompasses diverse aspects of compositionality, including consistent attribute binding, dynamic attribute binding, spatial relationships, motion binding, action binding, object interactions, and generative numeracy. We further carefully design evaluation metrics of multimodal large language model (MLLM)-based, detection-based, and tracking-based metrics, which can better reflect the compositional text-to-video generation quality of seven proposed categories with 1400 text prompts. The effectiveness of the proposed metrics is verified by correlation with human evaluations. We also benchmark various text-to-video generative models and conduct in-depth analysis across different models and various compositional categories. We find that compositional text-to-video generation is highly challenging for current models, and we hope our attempt could shed light on future research in this direction.

한 줄 요약

T2V-CompBench는 1400개의 텍스트 프롬프트를 기반으로 구성적 텍스트-비디오 생성을 평가하는 첫 번째 벤치마크로, 다양한 평가 지표와 분석을 통해 모델의 조합 능력을 체계적으로 평가한다.

핵심 기여도

T2V-CompBench: 7개 범주(1400개 프롬프트)로 구성된 첫 번째 구성적 텍스트-비디오 생성 벤치마크 제안.
평가 지표: MLLM 기반, 탐지 기반, 추적 기반 평가 지표를 제안하며, 인간 평가와의 상관관계를 통해 유효성 검증.
모델 벤치마킹: 다양한 T2V 생성 모델을 T2V-CompBench에서 평가하고, 구성적 범주별 성능 분석 제공.
발견: 현재 T2V 모델은 구성적 생성에 있어 매우 어려움을 겪는 것으로 나타남.

핵심 아이디어

기존 텍스트-비디오 생성 모델은 단순한 텍스트 프롬프트에 기반한 생성에 집중했으며, 다중 객체, 속성, 동작, 움직임을 조합하는 능력은 거의 연구되지 않았다. 이에 연구자들은 구성적 생성 능력을 평가할 수 있는 체계적인 벤치마크와 평가 지표가 필요하다고 판단했다. T2V-CompBench는 7개의 구성적 범주(consistent attribute binding, dynamic attribute binding, spatial relationships 등)를 정의하고, 각 범주에 맞는 평가 지표를 설계함으로써 모델의 조합 능력을 정확히 평가할 수 있도록 설계되었다. 특히, MLLM 기반 지표(D-LLaVA, Grid-LLaVA 등)는 속성 결합 및 행동 결합을 평가하고, 탐지 기반(G-Dino)과 추적 기반(DOT) 지표는 공간 관계와 움직임 결합을 평가한다.

기술적 접근법

**데이터셋**: T2V-CompBench는 7개 범주로 구성되며, 각 범주에 200개의 텍스트 프롬프트가 포함되어 총 1400개의 프롬프트를 제공.
**프롬프트 구성**: 각 프롬프트는 최소 한 개 이상의 동사(verb)를 포함하여 시간적 동적성을 강조.
**평가 지표**:
MLLM 기반: D-LLaVA, Grid-LLaVA, PLLaVA.
탐지 기반: G-Dino, VPEval-S.
추적 기반: DOT.
**비디오 샘플링**: MLLM 기반 평가에는 6프레임, 탐지 기반은 16프레임, 추적 기반은 8fps로 샘플링하여 평가.
**기존 지표 비교**: CLIPScore, BLIP-CLIP, B-BLEU, B-VQA, ViCLIP 등 기존 지표와 비교하여 T2V-CompBench 지표의 효과성 검증.

주요 결과

**MLLM 기반 지표**: D-LLaVA는 dynamic attribute binding 범주에서 인간 평가와 0.73의 상관관계를 보임.
**탐지 기반 지표**: G-Dino는 spatial relationships 범주에서 0.68의 상관관계를 나타냄.
**추적 기반 지표**: DOT는 motion binding 범주에서 0.65의 상관관계를 보임.
**모델 성능**: 대부분의 T2V 모델이 구성적 생성에 어려움을 겪으며, 특히 object interactions 범주에서 낮은 성능을 보임.
**전체 평가**: 기존 지표(CLIPScore 등)는 구성적 생성 능력을 정확히 반영하지 못하며, T2V-CompBench 지표가 더 효과적임을 확인.

의의 및 한계

T2V-CompBench는 텍스트-비디오 생성 모델의 조합 능력을 체계적으로 평가할 수 있는 첫 번째 벤치마크로, 향후 연구에 중요한 기초 자료가 될 수 있다. 특히, MLLM, 탐지, 추적 기반의 다양한 평가 지표를 제안함으로써, 구성적 생성의 복잡성을 포괄적으로 평가할 수 있다. 그러나, 현재 모델들이 구성적 생성에 있어 여전히 어려움을 겪는다는 점은 기존 기술의 한계를 드러내며, 더 나은 모델 아키텍처나 학습 전략이 필요하다는 것을 시사한다. 또한, 연구자들은 사회적 영향 및 윤리적 문제를 고려해야 한다고 언급하며, 이에 대한 분석은 부록에 포함되어 있다.

실용적 활용

T2V-CompBench는 영상 생성 AI의 조합 능력을 평가하는 데 활용될 수 있으며, 특히 콘텐츠 제작, 광고, 게임 산업에서 다중 객체와 동작을 포함한 복잡한 비디오 생성을 요구하는 상황에서 유용할 수 있다. 또한, 연구자들이 구성적 생성 능력을 개선하기 위한 모델 설계와 학습 전략을 개발하는 데 기초 자료로 활용될 수 있다.