VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System

Text-to-video models have achieved remarkable visual quality, yet they still struggle to generate physically consistent dynamics because the temporal evolution of a scene must be inferred implicitly from a highly compressed text prompt. Existing chain-of-thought approaches introduce intermediate plans or visual states, but these representations are typically non-executable or temporally sparse, limiting their ability to instantiate and control the complete spatiotemporal process. To address this limitation, we introduce VideoCoCo, an agentic dual-engine framework in which executable Blender code serves as a process-level chain of thought. Given a text prompt, a coding agent synthesizes a Blender program that explicitly specifies the scene and its temporal evolution. The executable simulation engine runs the program to produce a deterministic spatiotemporal draft, which is subsequently transformed into a photorealistic video by a generative video engine through draft-conditioned editing. This decomposition separates process-level reasoning from high-fidelity visual realization. To adapt the video editor to simulated drafts, we construct VideoCoCo-3K, a curated dataset of draft-instruction-target triplets. VideoCoCo improves the OmniWeaving baseline from 0.475 to 0.558 on PhyGenBench and from 52.18 to 77.88 on VBench-2.0, achieving the best average score on both benchmarks. These results demonstrate that executable code provides an effective, controllable, and inspectable intermediate representation for physically consistent video generation.

한 줄 요약

VideoCoCo는 실행 가능한 코드를 이용해 물리적으로 일관된 동영상을 생성하는 이중 엔진 시스템을 제안한다.

핵심 기여도

**VideoCoCo**라는 실행 가능한 Blender 코드를 프로세스 수준의 사고 과정(Chain-of-Thought)으로 사용하는 이중 엔진 프레임워크를 제안.
**VideoCoCo-3K**라는 **draft–instruction–target** 트리플릿으로 구성된 데이터셋을 구축하여 생성 모델을 조정.
**PhyGenBench**에서 0.475 → 0.558, **VBench-2.0**에서 52.18 → 77.88로 기존 OmniWeaving 기반 모델 대비 성능 향상.
**물리적 일관성**과 **시공간 구조 유지**를 동시에 달성하는 체계적인 분리 구조 제시.

핵심 아이디어

기존 텍스트-동영상 생성 모델은 텍스트 프롬프트에서 물리적 동작을 암묵적으로 추론해야 하므로, 시공간적 일관성을 보장하기 어렵다. 이에 대해 VideoCoCo는 **Code-as-CoT**(Code as Chain-of-Thought)라는 새로운 아이디어를 제시한다. 즉, 텍스트 프롬프트를 바탕으로 **Blender 프로그램**을 생성하여 시공간적 진화를 명시적으로 정의하고, 이를 **실행 가능한 시뮬레이션 엔진**을 통해 결정적인 초안(draft)으로 변환한다. 이후, 이 초안을 조건으로 하여 **생성형 동영상 엔진**이 고해상도의 광학적 영상을 생성한다. 이는 **프로세스 수준의 추론**과 **시각적 표현**을 분리하여 각 엔진이 자신이 가장 잘 수행할 수 있는 역할에 집중하도록 유도한다.

기술적 접근법

**Coding Agent**: 텍스트 프롬프트를 입력으로 받아 **Blender 프로그램**을 생성.
**Executable Simulation Engine**: 생성된 코드를 실행하여 **결정적인 시공간 초안**을 생성.
**Generative Video Engine**: 초안을 조건으로 하여 **광학적 영상**을 생성.
**VideoCoCo-3K**: **draft–instruction–target** 트리플릿을 포함한 데이터셋으로, 생성 모델을 초안 기반 편집에 적응시킴.
**Inference 단계**: 시뮬레이션과 편집이 **end-to-end 방식**으로 수행됨.

주요 결과

**PhyGenBench**에서 0.475 → 0.558 (OmniWeaving 대비 +8.3% 개선).
**VBench-2.0**에서 52.18 → 77.88 (OmniWeaving 대비 +25.7% 개선).
**열적 및 재질 동역학**에서 특히 높은 성능 향상.
**VideoCoCo-3K** 데이터셋을 통해 생성 모델이 시뮬레이션 초안을 기반으로 광학적 영상을 생성하는 능력 향상.

의의 및 한계

VideoCoCo는 **물리적으로 일관된 동영상 생성**을 위한 체계적인 프레임워크를 제시하며, 실행 가능한 코드를 중간 표현으로 사용함으로써 **제어 가능성**과 **검증 가능성**을 높인다. 특히, **시공간 구조 유지**와 **시각적 표현 분리**를 통해 기존 모델의 한계를 극복한다. 그러나 이 접근법은 **추가적인 추론 지연**(inference latency)을 유발하며, **Blender 시뮬레이터의 표현력**에 제한되어 복잡한 현상(예: 난류 유체)은 **zero-shot 생성이 어렵다**는 한계가 있다.

실용적 활용

VideoCoCo는 **물리 기반 시뮬레이션**과 **고해상도 동영상 생성**이 필요한 산업 분야(예: 영화 제작, 게임 개발, VR/AR)에 적용 가능하다. 또한, **교육용 시뮬레이션**, **공학 설계**, **로봇 학습** 등에서 시공간적 일관성을 요구하는 시나리오에도 유용하게 활용될 수 있다.