VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation

Diffusion video models produce striking clips, but they cannot reliably render an exact formula, a correct chart, a rule-consistent game or narration synchronized to on-screen events. A different route is emerging: multimodal agents that write code to render every frame and synthesize every sound. We introduce VibeVideoBench, a benchmark for evaluating agents on code-driven video generation. Its 239 self-contained tasks in English and Chinese span 12 categories, from data stories and music-driven pieces to classroom lessons and paper explainers; each asks an agent, running in its native harness inside a sandbox with no image or video generation model, to deliver a finished MP4 with sound within one hour. Evaluation is hierarchical and evidence-based: program checks of the delivery spec, about 13k task-specific rubric checks traced to the requirements they enforce, and five quality dimensions anchored per task, scored by three VLM judge panels. Across nine frontier agent systems and 2,151 scored rollouts, GPT-6 Astra and Claude Opus 5.5 rank first and second with both the judges and human annotators, and the strongest system satisfies every core requirement on 76.3% of tasks. Delivery is a second axis: counting missing videos as zero changes the ranking, and three quarters of the lost videos are final renders that started too late, ran too slowly or never started, a failure of how agents plan their hour. Agents build their own rendering pipelines and inspect their own frames, yet how much they look does not predict quality. The judges' ranking of the systems closely matches blind human preferences.

한 줄 요약

VibeVideoBench는 코드 기반 동영상 생성 능력을 평가하는 새로운 벤치마크로, 239개의 영어 및 중국어 태스크를 통해 9개의 최첨단 에이전트를 평가한다.

핵심 기여도

VibeVideoBench는 12개 범주에 걸쳐 239개의 자체 완비 태스크를 포함하며, 각 태스크는 1시간 이내에 MP4 파일을 생성해야 한다.
평가 시스템은 프로그램 체크(1,449개), 루브릭 체크(약 13,000개), 품질 평가(5차원)로 구성되며, 3개의 VLM 판정 패널이 사용된다.
GPT-6 Astra와 Claude Opus 5.5가 76.3%의 핵심 요구사항을 만족하며 1위와 2위를 차지한다.
75%의 미완성 동영상은 렌더링 시작 지연, 느린 실행, 실행 실패로 인한 시간 관리 문제로 발생한다.

핵심 아이디어

VibeVideoBench는 기존의 확산 모델 기반 동영상 생성 방식과 달리, 코드를 생성하여 프레임과 사운드를 직접 렌더링하는 멀티모달 에이전트를 평가하는 새로운 접근법을 제시한다. 이는 정확한 텍스트, 일관된 규칙, 오디오-비주얼 동기화 등 기존 모델이 보장하지 못하는 요소를 다루기 위함이다. 에이전트는 TTS 엔진과 ffmpeg 등 도구를 자동으로 조합하여 작업을 수행하며, 생성된 프레임은 코드로만 렌더링되며, 이미지 또는 동영상 생성 모델은 사용하지 않는다. 평가 시스템은 프로그램 체크, 루브릭 체크, 품질 평가의 세 단계로 구성되며, 각 단계는 명확한 기준과 태깅을 통해 실행된다. 특히, L2 루브릭 체크는 각 요구사항과 직접 연결되어 있어, 결과의 신뢰성을 높인다.

기술적 접근법

**평가 프로토콜**: 각 태스크는 Docker 샌드박스에서 1시간 동안 실행되며, Python, Node.js, headless 브라우저, ffmpeg 등 공통 렌더링 도구체인을 사용.
**L1 평가**: 프로그램 체크로 MP4 파일의 해상도(±0.01), 프레임 레이트, 지속 시간, 사운드 수준(-50 dBFS 이상) 등을 검증.
**L2 평가**: 약 13,000개의 루브릭 체크가 태스크별 요구사항에 따라 수행되며, "pass", "fail", "unknown", "n/a"로 결과가 기록.
**L3 평가**: 5차원(시각 품질, 미학, 콘텐츠 논리, 타이밍, 오디오)으로 평가하며, 각 차원은 1~5점으로 점수화.
**판정 패널**: J1, J2, J3 세 패널이 독립적으로 평가하며, J3는 VQ/VA/CL/TM을 GPT-5.6 Sol, AQ를 Qwen3.8-Om니-플래시가 평가.

주요 결과

GPT-6 Astra와 Claude Opus 5.5가 2,151개의 평가 실행에서 1위와 2위를 차지하며, 76.3%의 핵심 요구사항을 만족.
Gemini 4 Argon은 77%의 완료율로 4위에서 7위로 하락.
224개의 미완성 동영상 중 169개는 시간 관리 실패로 인해 발생.
95%의 실행이 자체 렌더링 파이프라인을 사용했으나, 시각 검토 빈도와 품질 간 상관관계는 -0.07로 무의미.
3개 판정 패널의 평균 순위는 인간의 선호와 0.98의 상관관계를 보임.

의의 및 한계

VibeVideoBench는 기존의 이미지/동영상 생성 모델 기반 평가와 달리, 코드 기반 생성 능력을 종합적으로 평가하는 첫 번째 벤치마크로, 실제 작업 환경에 가까운 조건에서 에이전트의 종합 능력을 측정한다. 특히, 시간 관리, 자가 점검, 다중 모달성 처리 등 실용적인 요소를 반영한 평가 체계는 기존 벤치마크와 차별화된다. 그러나 일부 태스크는 복잡성과 시간 제약으로 인해 완료율이 낮고, 일부 에이전트는 렌더링 파이프라인의 효율성에서 한계를 보인다. 또한, 판정 패널 간의 일관성은 높으나, 개별 동영상 평가에서는 73%의 일치율에 그친다.

실용적 활용

VibeVideoBench는 교육용 동영상, 과학 논문 설명, 데이터 시각화, 브랜드 홍보 영상 등 정확성과 일관성이 요구되는 분야에서 코드 기반 에이전트의 성능을 평가하는 데 활용될 수 있다. 특히, TTS, 렌더링, 오디오-비주얼 동기화 등 복합 작업을 수행하는 산업 현장에서 에이전트의 신뢰도와 효율성을 측정하는 데 유용하다.