ODEWorld: A Continuous Predictive Architecture via Physical-Time Flow

In the physical world we inhabit, space and time are fundamentally continuous. However, existing machine learning paradigms for world modeling are largely confined to discrete-time prediction, thereby exhibiting significant inefficiency in capturing the dynamics of physical world. We introduce Physical-Time Flow (PT-Flow), a novel approach that learns a continuous latent velocity field operating in physical time. Crucially, the underlying dynamics of sequential data are parameterized by an ordinary differential equation (ODE) embedded in a well-structured representation space. Under this paradigm, the prediction of future can be recast as temporal integration via an ODE solver in the compressed latent space. Building upon PT-Flow, we construct ODEWorld, a continuous-time latent world model that is both efficient and versatile. By extracting time-variant features and enforcing ODE properties on both the dynamical representation space and the latent velocity field, ODEWorld effectively addresses the long-standing representation collapse issue in latent world model literature. This also enables high-quality image reconstruction even after long-horizon prediction. Moreover, its continuous nature allows for arbitrary temporal resolution and even backward prediction, which is impossible for most discrete-time models. Lastly, ODEWorld can provide rich planning-oriented information to facilitate downstream policy learning. Comprehensive experiments demonstrate that ODEWorld successfully reconciles planning-conducive dynamics abstraction with visual realism, excelling in both video generation and robotic control. https://dstate.github.io/odeworld_website/{Project Website}.

한 줄 요약

ODEWorld는 물리 시간 기반 ODE 속도장을 학습하는 PT-Flow를 기반으로 한 연속형 세계 모델로, 장기 예측과 정밀한 이미지 재구성을 가능하게 한다.

핵심 기여도

PT-Flow를 제안하여, 연속 시간 내에서 ODE 속도장을 학습하는 새로운 예측 패러다임을 제시.
ODEWorld는 Joint Embedding Predictive Architecture(JEPA) 기반 모델에서 발생하는 표현 붕괴 문제를 해결.
LIBERO, Agibot-World 데이터셋에서 장기 예측 후에도 높은 품질의 이미지 재구성이 가능.
임의의 시간 해상도와 역방향 예측을 지원하며, 이는 대부분의 이산 시간 모델에서 불가능.

핵심 아이디어

기존의 세계 모델은 대부분 이산 시간 기반으로 설계되어 물리적 세계의 연속성을 제대로 반영하지 못한다. ODEWorld는 이 문제를 해결하기 위해 PT-Flow라는 새로운 접근법을 제안한다. PT-Flow는 ODE 속도장을 물리 시간 내에서 연속적으로 학습하며, 이는 미래 예측을 압축된 잠재 공간 내에서 ODE 솔버를 사용한 시간적 통합 문제로 재구성한다. 핵심 아이디어는 **dynamical representation decoupling**과 **direct first-order supervision**이다. 첫 번째는 시간 변화와 역학 정보를 분리하여 ODE와 호환되는 잠재 표현 공간을 구축하고, 두 번째는 Jacobian-vector product(JVP)를 활용한 속도장의 직접 감독을 통해 정확한 예측을 가능하게 한다.

기술적 접근법

**PT-Flow**: ODE 속도장을 물리 시간 기반으로 학습.
**dynamical representation decoupling**: 정적 컨텍스트에 조건을 주어 역동적 정보를 분리.
**JVP projection**: 약한 지도를 통해 속도장의 정확도를 향상.
**ODE solver**: 미래 예측을 잠재 공간 내에서 시간적 통합으로 수행.
**ODEWorld**: PT-Flow를 기반으로 구축된 연속형 잠재 세계 모델.
**하이퍼파라미터**: 명시되지 않음.
**데이터셋**: LIBERO, Agibot-World.

주요 결과

**LIBERO 데이터셋**: 장기 예측 후에도 높은 품질의 이미지 재구성이 가능.
**Agibot-World 데이터셋**: 임의의 시간 해상도와 역방향 예측 성능이 이산 시간 모델 대비 우수.
**JEPA 기반 모델 대비**: 표현 붕괴 문제를 해결하며, 모델 표현력 손실 없이 정확도 향상.
**ODE 솔버 활용**: 장기 예측 시 시간적 일관성을 유지하며, 비정규 샘플링 데이터에서도 안정적인 예측.

의의 및 한계

ODEWorld는 물리적 세계의 연속성을 반영한 새로운 예측 패러다임을 제시하며, 장기 예측과 정밀한 이미지 재구성, 역방향 예측 등 기존 모델이 달성하지 못한 기능을 제공한다. 특히, PT-Flow는 ODE 속도장의 직접 감독을 통해 모델의 해석성과 예측 정확도를 동시에 향상시킨다. 그러나, PT-Flow의 학습 과정에서 JVP 계산이 추가적인 계산 부담을 유발할 수 있으며, 실제 세계 데이터에서의 일반화 능력은 추가 실험을 통해 검증이 필요하다. 또한, 하이퍼파라미터 세부 사항이 명시되지 않아 재현성 측면에서 한계가 있을 수 있다.

실용적 활용

ODEWorld는 로봇 제어, 비디오 생성, 비정규 샘플링 데이터 처리 등 다양한 분야에 적용 가능하다. 특히, 장기 예측과 역방향 예측 기능은 로봇의 경로 계획 및 정밀한 동작 제어에 유용하며, 비디오 생성에서는 시간 해상도 조절과 높은 품질의 장기 예측이 필요한 상황에서 활용할 수 있다.