Learning the 4D World through Point Trajectory Forecasting

Reliable multi-view forecasting requires videos from different cameras to describe the same evolving 3D scene. To this end, we introduce Video-Point Model (VPM), a world model that conditions on multi-view video histories and a language instruction to jointly forecast future videos from arbitrary viewpoints and the 3D trajectories of persistent scene points. We extend a pretrained world model with camera-conditioned multi-view processing that integrates complementary observations across cameras, and add a trajectory head that predicts how physical points move through time. Each trajectory tracks a single point across all views, and supervising these trajectories alongside video generation therefore anchors appearance changes in every camera to a shared description of 3D motion. To support training and evaluation, we build VPM-Data, a simulation corpus pairing synchronized multi-view videos with persistent point trajectories, and VP-WorldBench, a forecasting benchmark spanning simulated and real environments. We further extend VPM to robot control by adding robot actions as a token modality in the generator. Action tokens share the point-supervised backbone and are denoised jointly with future videos, thereby grounding the policy in the same 3D-aware representation. On VP-WorldBench and existing 4D generation benchmarks, point supervision improves both video fidelity and 3D motion accuracy over a video-only counterpart, and in simulated and real-robot experiments, it also raises the manipulation success of the action-enabled model.

한 줄 요약

VPM은 멀티뷰 영상과 지속적인 3D 점 궤적을 동시에 예측하는 월드 모델로, 포인트 감독을 통해 비주얼 예측과 로봇 제어 성능을 향상시킨다.

핵심 기여도

VPM: 멀티뷰 영상과 지속적인 3D 점 궤적을 동시에 예측하는 월드 모델.
VPM-Data: 동기화된 멀티뷰 영상과 지속적인 점 궤적을 포함한 시뮬레이션 데이터셋.
VP-WorldBench: 시뮬레이션 및 실제 환경을 아우르는 예측 평가 벤치마크.
포인트 감독을 통해 영상 신뢰도와 3D 운동 정확도가 향상됨 (Table 2, 4, 5, 6 참조).

핵심 아이디어

VPM은 멀티뷰 영상과 지속적인 3D 점 궤적을 동시에 예측함으로써, 각 뷰에서 일관된 3D 운동을 반영하는 영상을 생성한다. 이는 단일 점이 모든 뷰를 따라 이동하는 궤적을 학습함으로써, 영상 생성 과정에서 시각적 변화를 3D 운동과 연결시킨다. 이 접근은 기존 추적과 달리 미래 프레임 없이도 일관된 예측을 요구하므로, 모델이 미래의 상호 일관된 운동을 예측하도록 유도한다. 궤적 예측 헤드는 생성기의 중간 특징에서 점 운동을 예측하고, 이는 영상 생성에 직접 영향을 미친다 (Figure 4 참조).

기술적 접근법

**VPM**: 멀티뷰 영상 토큰을 공유 시퀀스로 처리하며, 레이-베이스 임베딩과 뷰 축 위치 인코딩을 사용해 카메라 기하학을 인코딩.
**Trajectory Head**: 영상 생성과 함께 최적화되어, 명시적인 점 운동 감독을 시각 예측에 통합.
**VPM-Data**: 테이블탑 조작 및 도시 동역학을 포함한 시뮬레이션 데이터. 각 시퀀스는 동기화된 멀티뷰 영상, 지속적인 점 궤적, 카메라 기하학, 가시성 어노테이션, 언어 설명 포함.
**Action Token Modality**: 로봇 동작을 토큰 모달리티로 추가, 포인트 감독 백본과 함께 노이즈 제거.

주요 결과

**VP-WorldBench**: 포인트 감독은 영상 신뢰도와 3D 운동 정확도를 향상시킴.
**Table 5**: 포인트 감독은 모든 벤치마크에서 로봇 제어 성공률을 향상시킴.
**Table 6**: 점 궤적 추가 시 영상 신뢰도와 3D 운동 정확도가 가장 크게 향상됨.
**Figure 4**: 예측된 궤적을 따라 로봇 손과 보행자가 일관된 운동을 보임.

의의 및 한계

VPM은 멀티뷰 영상 생성과 3D 운동 예측을 동시에 처리함으로써, 시각적 일관성과 물리적 정확성을 동시에 달성하는 새로운 월드 모델을 제시한다. 포인트 감독은 영상 생성과 로봇 제어 모두에서 유의미한 성능 향상을 보인다. 그러나 현재 포인트 감독은 로봇 및 어노테이션된 객체에만 적용되며, 전체 장면을 커버하지 못한다. 또한, 카메라 내부 파라미터와 자세가 미리 알려져야 하며, 뷰 수가 늘어날수록 비용이 증가한다 (Abstract 및 Conclusion 참조).

실용적 활용

VPM은 로봇 제어, 자율 주행, 멀티뷰 영상 생성 등 3D 환경 예측이 필요한 산업 및 연구 분야에 적용 가능하다. 특히, 로봇이 물체를 조작하거나 환경을 예측해야 하는 상황에서 포인트 감독을 통해 더 정확한 운동 예측과 제어를 가능하게 한다.

Abstract

한국어 요약