YoCausal: How Far is Video Generation from World Model? A Causality Perspective

As video diffusion models (VDMs) advance toward world models, a key question arises: do they truly understand causality, or merely overfit to statistical temporal patterns? Existing benchmarks mostly rely on synthetic data, limiting real-world generalization due to the sim-to-real gap. We present YoCausal, a two-level benchmark inspired by the Violation of Expectation (VoE) paradigm from cognitive science. By temporally reversing real-world videos at zero cost as natural counterfactual samples, YoCausal establishes an arbitrarily extensible evaluation protocol. Level 1 introduces the Reverse Surprise Index (RSI), quantifying arrow-of-time perception via denoising loss. Level 2 introduces the Causality Cognition Index (CCI), which leverages a VLM to stratify datasets into causal and non-causal subsets, disentangling genuine causal reasoning from temporal bias. Evaluation of 13 state-of-the-art VDMs reveals that perceiving the arrow of time does not imply understanding causality, and a significant gap persists relative to human-level causal cognition.

📋 한 줄 요약

**[비디오 생성 인과성 / 벤치마크]** YoCausal이 실세계 비디오 역시간 reverse로 zero-cost counterfactual 구성, Level 1 RSI(arrow-of-time denoising loss)·Level 2 CCI(VLM causal stratification)로 13 SOTA VDM 평가 — arrow of time 인지가 causality 이해를 의미하지 않음.

🎯 핵심 기여도

비디오 diffusion model(VDM)이 world model로 진화하는 과정에서 인과성을 진정 이해하는지, 단순 통계적 시간 패턴에 overfit하는지 핵심 질문 제기.
기존 벤치마크 대부분이 synthetic data 의존으로 sim-to-real 격차에 실세계 일반화 한계 지적.
YoCausal — 인지과학 Violation of Expectation(VoE) paradigm에서 영감 받은 two-level 벤치마크. 실세계 비디오의 시간 역전을 zero cost natural counterfactual로 사용 — arbitrarily extensible 평가 프로토콜 정립.
Level 1 — Reverse Surprise Index(RSI)로 denoising loss 통한 arrow-of-time 인지 정량화. Level 2 — Causality Cognition Index(CCI)로 VLM을 활용해 데이터셋을 causal·non-causal subset으로 stratify, genuine 인과 추론과 temporal bias를 disentangle.

💡 핵심 아이디어

비디오 생성 모델의 world model 능력 평가는 시간 역전이라는 zero-cost natural counterfactual로 충분히 가능하며, arrow-of-time 인지(denoising loss)와 causal cognition(VLM stratification)을 분리 측정해야 통계 시간 bias로부터 진짜 인과 이해를 disentangle할 수 있다.

🔬 기술적 접근법

**방법론**: YoCausal — two-level VoE 기반 벤치마크.
**핵심 기법**: (1) 실세계 비디오의 시간 역전을 natural counterfactual로 사용, (2) Level 1 RSI = denoising loss 기반 arrow-of-time 인지 정량화, (3) Level 2 CCI = VLM으로 causal·non-causal subset stratify, (4) Genuine 인과 추론과 temporal bias disentangle, (5) 13 SOTA VDM 평가로 분야 현 상태 진단.

📊 주요 결과

13 SOTA VDM 평가에서 arrow of time 인지가 causality 이해를 의미하지 않음 확인.
인간 수준 causal cognition과의 significant gap 잔존.
Arbitrarily extensible 평가 프로토콜 정립.
Zero-cost counterfactual로 sim-to-real 격차 우회.

💭 의의 및 한계

**의의**: VDM의 world model 주장에 대한 엄밀 평가 프레임 제공, 시간 역전이라는 cost-free counterfactual 아이디어의 일반화 가능성, RSI·CCI 분리로 통계 vs 인과 disentangle. **한계**: 시간 역전이 모든 인과 violation을 커버하지 않음, VLM 기반 stratification 자체의 bias 가능, 13 모델 평가의 모델 다양성·시점 한계.

🚀 실용적 활용

VDM·world model 평가 표준.
비디오 인과 추론 모델 개발.
인지과학·AI causality 연구 testbed.