OpenCoF: Learning to Reason Through Video Generation

Reasoning has become a core capability for large models, especially when reliable decisions require understanding logical consequences. Recent video generation models offer a reasoning path distinct from previous Chain-of-Thought (CoT): reasoning can unfold through temporally connected frames, known as Chain-of-Frame (CoF) reasoning. However, existing video generators are primarily trained on general video corpora, still lacking diverse supervision and dedicated designs for CoF reasoning. To address this gap, we introduce OpenCoF, a framework comprising the OpenCoF-17K dataset, a reasoning video dataset spanning 11 task families, and Wan-CoF, a fine-tuned video model for studying whether diverse temporal supervision improves CoF behavior. Across four video reasoning benchmarks, Wan-CoF achieves considerable gains over the Wan2.2-I2V-A14B baseline. Building on this, we empirically explore more advanced designs for CoF capabilities, i.e., equipping the model with visual and textual reasoning tokens. This mechanism respectively captures low-level visual cues and high-level semantic priors for spatial and temporal reasoning. Through performance comparisons and attention analysis, we examine how these tokens contribute across model depth, denoising steps, space, and time. Our results suggest that stronger video reasoning requires both broad temporal supervision and explicit mechanisms for organizing intermediate reasoning state. We open-source the dataset, model, and code to facilitate future research on reasoning-oriented video generation.

한 줄 요약

OpenCoF는 비디오 생성 모델의 추론 능력을 향상시키기 위해 17K개의 다양한 비디오를 포함한 데이터셋과 추론 토큰 기법을 제안한 연구이다.

핵심 기여도

OpenCoF-17K 데이터셋: 11개 태스크 패밀리에 걸쳐 17,312개의 비디오를 포함하며, 4가지 생성 방식을 통한 확장 가능 파이프라인 제공.
Wan-CoF 모델: Wan2.2-I2V-A14B 기반으로 OpenCoF-17K로 fine-tuning하여 4개의 비디오 추론 벤치마크에서 기존 베이스라인 대비 성능 향상.
Visual Reasoning Token (vt) 및 Textual Reasoning Token (tt) 제안: 각각 저수준 시각적 단서와 고수준 의미적 사전 정보를 포착하여 추론 상태를 조직화.
LoRA 기반 fine-tuning: vt와 tt는 각각 5에포크 동안 학습되며, 모델 아키텍처는 변경 없이 데이터셋만을 통해 향상 가능성 검증.

핵심 아이디어

기존 비디오 생성 모델은 정적 이미지 기반 추론(Chain-of-Thought, CoT)에 의존적이며, 동적 비디오 프레임을 통한 추론(Chain-of-Frame, CoF)에 대한 연구가 부족했다. OpenCoF는 CoF 추론을 강화하기 위해, 다양한 태스크와 상황을 포함한 OpenCoF-17K 데이터셋을 구축하고, 이를 기반으로 비디오 모델을 fine-tuning하여 CoF 추론 능력을 평가한다. 또한, vt와 tt를 도입하여 모델이 시공간적 추론을 보다 효과적으로 수행하도록 돕는다. vt는 시각 잠재 공간에 삽입되어 저수준 시각적 단서를 포착하고, tt는 텍스트 조건에 추가되어 고수준 의미적 정보를 제공한다. 이는 CoF 추론 과정에서 중간 상태를 명시적으로 조직화하는 데 기여한다.

기술적 접근법

**데이터셋**: OpenCoF-17K는 11개 태스크 패밀리에 걸쳐 17,312개의 비디오를 포함하며, 인스턴스 기반 렌더링, 전문가 지도 렌더링, 절차적 장면 합성, 기존 비디오 재사용의 4가지 방식으로 구성된다.
**모델**: Wan2.2-I2V-A14B 기반으로 fine-tuning하여 Wan-CoF를 생성. LoRA를 사용한 fine-tuning으로 모델 아키텍처는 변경 없이 데이터셋만을 통해 향상 가능성 검증.
**추론 토큰**: Visual Reasoning Token (vt)와 Textual Reasoning Token (tt)는 각각 16개씩 삽입되며, vt는 시각 잠재 공간, tt는 텍스트 조건에 추가된다.
**학습 설정**: Wan-CoF는 2에포크, vt와 tt는 각각 5에포크 동안 학습된다.

주요 결과

**Wan-CoF**: 4개의 비디오 추론 벤치마크(MME-CoF, RULER-Bench, VIPER, Gen-ViRe)에서 기존 베이스라인(Wan2.2-I2V-A14B) 대비 "상당한 성능 향상"을 보임.
**추론 토큰**: vt와 tt는 각각 외부 벤치마크에서 성능을 추가 개선하며, 태스크 차원에서 서로 다른 강점을 보임.
**결과 분석**: vt는 저수준 시각적 단서를 포착하여 공간적 추론에 유리하고, tt는 고수준 의미적 정보를 제공하여 시간적 추론에 유리함.

의의 및 한계

OpenCoF는 비디오 생성 모델의 CoF 추론 능력을 평가하고 향상시키기 위한 체계적인 데이터셋과 모델 구조를 제시한다. 특히, 다양한 태스크를 포함한 OpenCoF-17K는 CoF 추론 연구의 기초 자료로 활용될 수 있으며, vt와 tt는 추론 과정을 명시적으로 조직화하는 데 기여한다. 그러나 vt와 tt는 독립적으로 연구되었으며, 이들을 효과적으로 결합하는 방법은 아직 탐구되지 않았다는 한계가 있다. 또한, 모델 아키텍처 자체를 CoF 추론에 맞게 설계하는 연구는 여전히 부족하다.

실용적 활용

OpenCoF는 비디오 생성 모델이 물리적, 인과적, 시공간적 추론을 수행하는 능력을 향상시켜, 자율 시스템, 인공지능 교육, 시뮬레이션 기반 의사결정 등 다양한 분야에 활용될 수 있다. 특히, 시각적 추론이 필요한 자동화 시스템이나, 복잡한 상황 판단이 필요한 AI 어시스턴트 개발에 기여할 수 있다.