How Far is Video Generation from World Model: A Physical Law Perspective

OpenAI's Sora highlights the potential of video generation for developing world models that adhere to fundamental physical laws. However, the ability of video generation models to discover such laws purely from visual data without human priors can be questioned. A world model learning the true law should give predictions robust to nuances and correctly extrapolate on unseen scenarios. In this work, we evaluate across three key scenarios: in-distribution, out-of-distribution, and combinatorial generalization. We developed a 2D simulation testbed for object movement and collisions to generate videos deterministically governed by one or more classical mechanics laws. This provides an unlimited supply of data for large-scale experimentation and enables quantitative evaluation of whether the generated videos adhere to physical laws. We trained diffusion-based video generation models to predict object movements based on initial frames. Our scaling experiments show perfect generalization within the distribution, measurable scaling behavior for combinatorial generalization, but failure in out-of-distribution scenarios. Further experiments reveal two key insights about the generalization mechanisms of these models: (1) the models fail to abstract general physical rules and instead exhibit"case-based"generalization behavior, i.e., mimicking the closest training example; (2) when generalizing to new cases, models are observed to prioritize different factors when referencing training data: color>size>velocity>shape. Our study suggests that scaling alone is insufficient for video generation models to uncover fundamental physical laws, despite its role in Sora's broader success. See our project page at https://phyworld.github.io

한 줄 요약

비디오 생성 모델이 물리 법칙을 학습하는 능력은 확장만으로는 한계가 있으며, 특정 조건에서 색상>크기>속도>형태 순으로 데이터 속성에 의존하는 경향이 있다.

핵심 기여도

2D 시뮬레이션 환경에서 물리 법칙(일정 직선 운동, 완전 탄성 충돌, 포물선 운동)을 기반으로 생성된 영상 데이터셋을 사용한 대규모 실험.
확장 실험에서 in-distribution (ID) 일반화는 완벽했으나, out-of-distribution (OOD) 일반화는 실패함.
combinatorial generalization에서 600K → 6M 데이터 확장으로 비정상 영상 비율이 67% → 10%로 감소함.
비디오 생성 모델이 "case-based" 방식으로 일반화하며, 색상 > 크기 > 속도 > 형태 순으로 데이터 속성에 우선순위를 두는 경향을 발견함.

핵심 아이디어

기존 연구에서 Sora와 같은 대규모 비디오 생성 모델이 물리 법칙을 학습할 수 있는지 여부는 여전히 미지수였다. 본 연구는 확장된 데이터와 모델 크기만으로 물리 법칙을 학습할 수 있는지 검증하기 위해 2D 시뮬레이션 환경을 구축하고, ID, OOD, combinatorial generalization 세 가지 시나리오를 평가했다. 핵심 통찰은 확장이 모든 일반화 문제를 해결하지 못하며, 모델이 물리 법칙을 추상화하지 못하고 대신 훈련 데이터와 유사한 경우를 모방하는 경향이 있다는 점이다. 예를 들어, 빨간 공이 일정 속도로 움직이는 훈련 데이터가 주어지면, 모델은 빨간 사각형을 공으로 변환하는 등 색상에 우선순위를 두는 "case-based" 방식으로 일반화한다.

기술적 접근법

**데이터셋**: 2D 시뮬레이션 환경에서 생성된 영상, 물리 법칙(일정 직선 운동, 완전 탄성 충돌, 포물선 운동)에 기반.
**모델**: 확산 기반 비디오 생성 모델.
**훈련 데이터 크기**: 30K → 3M, 모델 파라미터: 22M → 310M.
**평가 지표**: 비정상 영상 비율 (manually labeling), combinatorial generalization 환경에서 8개 객체 중 4개 조합 (총 70가지, 60개 훈련, 10개 테스트).
**색상, 크기, 속도, 형태** 등의 속성 우선순위 분석.

주요 결과

**ID 일반화**: 모든 물리 법칙에서 100% 정확도 달성.
**OOD 일반화**: 데이터/모델 확장에도 불구하고 실패.
**Combinatorial generalization**: 600K → 6M 데이터 확장으로 비정상 영상 비율 67% → 10% 감소.
**속성 우선순위**: color > size > velocity > shape.

의의 및 한계

본 연구는 비디오 생성 모델이 물리 법칙을 학습하는 능력이 단순히 확장만으로는 한계가 있음을 입증한다. 특히, 모델이 물리 법칙을 추상화하지 못하고 대신 훈련 데이터와 유사한 경우를 모방하는 "case-based" 방식으로 일반화한다는 점은 중요한 발견이다. 이는 Sora의 성공이 단순 확장에 의존한다는 한계를 드러낸다. 한계점으로는 2D 시뮬레이션 환경이 실제 비디오 생성과는 다소 차이가 있으며, 복잡한 객체와 운동을 다루는 비디오에서는 색상과 외형이 물리 법칙을 판단하는 데 방해가 될 수 있다는 점이 언급된다.

실용적 활용

본 연구는 로봇공학, 자율주행 등에서 사용되는 시뮬레이션 모델 개발에 중요한 시사점을 제공한다. 비디오 생성 모델이 물리 법칙을 학습하는 능력을 평가할 수 있는 2D 시뮬레이션 환경은 연구 초기 단계에서 유용하게 활용될 수 있으며, 모델이 어떤 속성에 우선순위를 두는지 파악함으로써 모델 설계 및 훈련 전략을 개선할 수 있다.