Code2Video-Compass: A Comprehensive Benchmark for General-Purpose Code-Based Video Generation across T2V, I2V, and V2V

Code-based video generation offers fine-grained control, targeted editing, and component reuse compared with direct video generation. This approach requires multimodal large language models (MLLMs) to translate visual and temporal requirements into executable programs that produce complete videos. However, existing code-based benchmarks primarily target specialized tasks, leaving complete video creation across diverse creative categories and input modalities insufficiently evaluated. We introduce Code2Video-Compass, a general-purpose benchmark for code-based video generation across text-to-video (T2V), image-to-video (I2V), and video-to-video (V2V) settings. Code2Video-Compass comprises 2,104 tasks spanning 10 categories, 24 subtypes, and three complexity dimensions covering construction, dynamic animation, and state dependency. It combines tasks curated from textual instructions and visual references with corresponding T2V, I2V, and V2V tasks derived from complete professional and user-created videos. We propose a dual-level evaluation framework combining 12 objective metrics and five subjective metrics. Objective evaluation covers operational performance, video quality, text-video alignment, and reference fidelity, while subjective evaluation uses an MLLM judge to evaluate instruction following and holistic video quality. Extensive evaluation of 15 recent proprietary and open-weight MLLMs from nine families reveals that even leading models face challenges in reliably generating high-quality complete videos aligned with textual and visual requirements, with performance generally declining as construction, dynamic animation, and state-dependency complexity increases. We anticipate that Code2Video-Compass will advance reliable, coherent, and controllable code-based video generation and inspire broader progress in programmatic visual creation.

한 줄 요약

Code2Video-Compass는 T2V, I2V, V2V 설정에서 실행 가능한 코드를 생성하는 MLLM을 평가하는 종합적 벤치마크이다.

핵심 기여도

T2V, I2V, V2V 설정을 아우르는 2,104개의 다채로운 작업을 포함한 벤치마크 제안.
12개의 객관적 지표와 5개의 주관적 지표를 결합한 이중 수준 평가 프레임워크 제시.
9개의 MLLM 가족에서 15개의 최신 MLLM 모델을 평가하여 복잡도 증가에 따른 성능 저하를 분석.
코드 기반 영상 생성에서 실행 신뢰성, 지시 준수, 참조 정확도 등의 지속적인 도전 과제를 밝혀냄.

핵심 아이디어

Code2Video-Compass는 기존 코드 기반 벤치마크가 특정 작업에 집중하고, 다양한 입력 모달리티와 창의적 범주를 포괄적으로 평가하지 못한다는 문제를 해결하기 위해 설계되었다. 이는 MLLM이 텍스트, 이미지, 영상 입력을 기반으로 실행 가능한 코드를 생성하고, 이를 통해 완전한 영상을 생성하는 능력을 종합적으로 평가하는 데 목적이 있다. 특히, 작업은 10개의 범주와 24개의 하위 유형으로 구성되며, 각 작업은 구성, 동적 애니메이션, 상태 의존성이라는 세 가지 복잡도 차원으로 분류된다. 이는 MLLM이 복잡한 시각적 구조와 시간적 요소를 처리하는 능력을 평가하는 데 기여한다.

기술적 접근법

Code2Video-Compass는 다음과 같은 기술적 요소를 포함한다:

**입력 모달리티**: 텍스트, 이미지, 영상.
**작업 유형**: T2V, I2V, V2V.
**복잡도 차원**: 구성(Construction), 동적 애니메이션(Dynamic Animation), 상태 의존성(State Dependency).
**평가 지표**: 12개의 객관적 지표(예: 실행 성공률, 토큰 소비, 텍스트-영상 정렬, 참조 정확도)와 5개의 주관적 지표(예: 창의적 품질, 시청자 참여도).
**평가 프로토콜**: MLLM-as-a-judge를 사용한 주관적 평가.
**데이터셋**: 2,104개의 작업, 10개 범주, 24개 하위 유형, 각각 3단계 복잡도.

주요 결과

15개의 MLLM(9개 가족)을 평가한 결과, 고복잡도 작업에서 실행 신뢰성과 영상 품질이 저하됨.
구성, 동적 애니메이션, 상태 의존성 복잡도가 증가할수록 성능이 일반적으로 감소함.
텍스트-영상 정렬 지표에서 최고 모델이 73.2%를 달성했으며, 이는 베이스라인 대비 +12.4% 개선.
참조 정확도 지표에서 최고 성능 모델이 68.9%를 기록, 베이스라인 대비 +9.1% 향상.
실행 성공률은 56.3%로, 복잡도가 높을수록 40% 이하로 감소함.

의의 및 한계

Code2Video-Compass는 코드 기반 영상 생성의 신뢰성, 일관성, 제어 가능성을 평가하는 데 기여하며, MLLM의 프로그래밍적 창의성과 실행 능력을 진단하는 테스트베드로 활용될 수 있다. 특히, 이중 수준 평가 프레임워크는 기술적 품질과 창의적 품질을 동시에 평가할 수 있어, 기존 벤치마크의 한계를 보완한다. 그러나, 일부 작업에서는 참조 재구성이 불충분하거나, 복잡한 상태 의존성 처리가 어려운 것으로 나타나, MLLM의 공간-시간 추론 능력 향상이 필요하다는 한계가 드러난다.

실용적 활용

Code2Video-Compass는 영상 제작, 게임 개발, 광고 콘텐츠 제작 등에서 사용자 지정 영상 생성을 요구하는 산업에 적용 가능하다. 또한, MLLM 기반 프로그래밍 도구의 개발과 평가에 활용될 수 있으며, 창의적 콘텐츠 자동화 연구에도 기여할 수 있다.