diffusion-models video-world-models out-of-distribution motion-prediction extrapolation low-parameter latent-dynamics-reasoning physics-benchmark
Abstract
The world evolves following its dynamics, i.e., its laws of motion. However, leading video diffusion models largely fit the pixels without modeling how the pixels transit over time. Thus, they render visually plausible frames but may not accurately obey the laws. To capture the dynamics purely from pixels, we introduce Latent Dynamics Reasoning (LDR). LDR casts the latent transition as an explicit kinematic integration, where the lower-order dynamics are integrated numerically and the model regresses only the third- and higher-order residual that drives the rollout. For this integration to extrapolate better, LDR runs it on a structured latent rather than dense convolutional features. Following PhyWorld, we validate LDR on a controlled white-box physics benchmark spanning five tasks (uniform motion, parabola, collision, bouncing, looming), focusing on out-of-distribution scenarios that reveal whether a model has truly learned the underlying dynamics. LDR extrapolates the learned dynamics far better: the gap between its in- and out-of-distribution error is over 20times smaller than the video diffusion baseline's, under both single- and joint-task training at 256^2 resolution, while using 26times fewer parameters and running 143times faster. LDR can even generalize under severe shift: for example, trained only on red balls moving left-to-right, it correctly predicts the motion of a blue square moving right-to-left. To our knowledge, this is the first video world model that extrapolates learned dynamics beyond its training distribution. Project page: https://lat-dyn-reason.github.io/
한국어 요약
한 줄 요약
LDR은 구조화된 잠재 공간에서 운동적 통합을 통해 동적을 학습하고, 기존 비전 확산 모델보다 훨씬 빠르고 정확하게 외삽하는 비디오 월드 모델이다.
핵심 기여도
- LDR은 구조화된 잠재 공간(SL)에서 3차 이상 잔차만 회귀하는 운동적 통합 방식을 도입.
- PhyWorld 벤치마크에서 기존 비전 확산 모델 대비 20배 이상 작은 in- vs. out-of-distribution 오차 격차를 보임.
- 256² 해상도에서 26배 적은 파라미터, 143배 빠른 추론 속도를 달성.
- 훈련 데이터와는 반대 방향으로 움직이는 객체(예: 빨간 공 vs. 파란 정사각형)에 대한 외삽 성능을 보임.
핵심 아이디어
기존 비디오 확산 모델은 픽셀 패턴을 학습하지만, 시간에 따른 픽셀 전이를 모델링하지 않아 물리 법칙을 정확히 반영하지 못한다. LDR은 이 문제를 해결하기 위해 잠재 공간에서 운동적 통합(kinematic integration)을 통해 동적을 추론하는 방식을 제안한다. 구체적으로, LDR은 첫 두 시간 도함수를 초기화한 후, 3차 이상 잔차만 회귀하고 수치적 통합을 통해 미래 잠재 상태를 생성한다. 이는 모델이 단순히 다음 프레임을 예측하는 것이 아니라, 시간에 따른 잠재 상태의 진화를 학습하도록 유도한다. 또한, 구조화된 잠재 공간(SL)을 사용해 밀집된 컨볼루션 특성보다 더 안정적이고 신뢰성 있는 동적 추론이 가능하다.
기술적 접근법
- **Structured Latent (SL)**: 입력 프레임을 SL로 인코딩하여, 잠재 공간에서의 운동을 추론.
- **Kinematic Integration**: 첫 두 시간 도함수를 초기화하고, 3차 이상 잔차만 회귀한 후, 2차, 1차, 0차 SL을 순차적으로 통합.
- **Single Forward Pass**: 미래 프레임을 단일 순방향 패스로 예측, 반복 샘플링 없이 빠른 추론 가능.
- **VAE 활용**: 인코더-디코더는 동일한 VAE 구조를 사용하며, 디코딩 시 조건 프레임을 워핑하여 미래 프레임 생성.
- **하이퍼파라미터**: 256² 해상도에서 훈련, 파라미터 수는 기존 DiT-S 대비 26배 적음.
주요 결과
- **PhyWorld 벤치마크**: 5개 물리 작업(균일 운동, 포물선, 충돌, 튀기, 확대)에서 평가.
- **ID vs. OOD 오차 격차**: LDR은 기존 비전 확산 모델 대비 20배 이상 작은 오차 격차를 보임.
- **성능 비교**: 256² 해상도에서 26배 적은 파라미터, 143배 빠른 추론 속도.
- **극단적 외삽**: 빨간 공이 좌우로 움직이는 데이터로 훈련했음에도, 파란 정사각형이 반대 방향으로 움직이는 경우도 정확히 예측.
의의 및 한계
LDR은 기존 비디오 생성 모델과 달리, 동적을 학습하고 이를 외삽하는 첫 번째 비디오 월드 모델로, 물리 법칙을 정확히 반영하는 시뮬레이션 및 예측에 기여할 수 있다. 특히, 구조화된 잠재 공간과 운동적 통합을 통해 동적을 안정적으로 추론하며, 외삽 성능이 뛰어나다. 그러나 본 연구는 단순 객체를 포함한 시뮬레이션 환경에서 검증되었으며, 더 복잡한 현실적 장면으로 확장하는 것은 향후 연구 주제이다. 또한, LDR은 훈련 데이터와는 다른 물리적 규칙이 적용되는 경우 외삽 성능이 저하될 수 있다.
실용적 활용
LDR은 물리 기반 시뮬레이션, 자율 주행 시스템, 로봇 제어 등 동적을 정확히 모델링해야 하는 분야에 적용 가능하다. 특히, 시뮬레이션 환경에서 학습한 동적을 실제 세계로 전이할 수 있는 기반 기술로 활용될 수 있다.