DriveDreamer4D: World Models Are Effective Data Machines for 4D Driving Scene Representation

Closed-loop simulation is essential for advancing end-to-end autonomous driving systems. Contemporary sensor simulation methods, such as NeRF and 3DGS, rely predominantly on conditions closely aligned with training data distributions, which are largely confined to forward-driving scenarios. Consequently, these methods face limitations when rendering complex maneuvers (e.g., lane change, acceleration, deceleration). Recent advancements in autonomous-driving world models have demonstrated the potential to generate diverse driving videos. However, these approaches remain constrained to 2D video generation, inherently lacking the spatiotemporal coherence required to capture intricacies of dynamic driving environments. In this paper, we introduce DriveDreamer4D, which enhances 4D driving scene representation leveraging world model priors. Specifically, we utilize the world model as a data machine to synthesize novel trajectory videos, where structured conditions are explicitly leveraged to control the spatial-temporal consistency of traffic elements. Besides, the cousin data training strategy is proposed to facilitate merging real and synthetic data for optimizing 4DGS. To our knowledge, DriveDreamer4D is the first to utilize video generation models for improving 4D reconstruction in driving scenarios. Experimental results reveal that DriveDreamer4D significantly enhances generation quality under novel trajectory views, achieving a relative improvement in FID by 32.1%, 46.4%, and 16.3% compared to PVG, S3Gaussian, and Deformable-GS. Moreover, DriveDreamer4D markedly enhances the spatiotemporal coherence of driving agents, which is verified by a comprehensive user study and the relative increases of 22.6%, 43.5%, and 15.6% in the NTA-IoU metric.

한 줄 요약

DriveDreamer4D는 4D 주행 환경의 생성 품질과 시공간 일관성을 크게 향상시키는 세계 모델 기반 시뮬레이션 프레임워크이다.

핵심 기여도

DriveDreamer4D는 세계 모델을 데이터 생성기로 활용하여 4D 주행 환경의 생성 품질을 향상시킨 첫 번째 프레임워크이다.
Novel Trajectory Generation Module (NTGM)을 제안하여 구조화된 조건을 생성하고, 주행 요소의 시공간 일관성을 유지한다.
Cousin Data Training Strategy (CDTS)를 통해 실제와 합성 데이터를 결합하여 4DGS 훈련을 최적화한다.
FID 지표에서 PVG 대비 32.1%, S³Gaussian 대비 46.4%, Deformable-GS 대비 16.3% 개선을 달성한다.

핵심 아이디어

기존 주행 시뮬레이션 기술(NeRF, 3DGS)는 주로 전진 주행 데이터에 의존하여 복잡한 주행 동작(lane change, 가속/감속)을 효과적으로 생성하지 못한다. DriveDreamer4D는 이러한 한계를 극복하기 위해 주행 세계 모델을 데이터 생성기로 활용한다. 이는 4D 주행 환경의 시공간 일관성을 유지하면서 다양한 주행 시나리오를 생성할 수 있도록 한다. NTGM은 구조화된 조건을 생성하여 전경 및 배경 요소의 움직임을 독립적으로 제어하며, CDTS는 시간 동기화된 실제-합성 데이터를 결합하여 4DGS 훈련을 개선한다. 이는 기존 2D 비디오 생성 모델의 한계를 넘어 4D 재구성의 정확도와 일관성을 동시에 향상시키는 핵심 아이디어이다.

기술적 접근법

**모듈**: Novel Trajectory Generation Module (NTGM), Cousin Data Training Strategy (CDTS)
**데이터**: Waymo 데이터셋의 8개 고밀도 주행 상호작용 시나리오 사용
**훈련 세부 사항**: 40프레임 길이의 클립 단위로 훈련, 640×960 해상도, Adam 옵티마이저 사용
**평가 지표**: FID, NTA-IoU, NTL-IoU, 사용자 스터디
**하이퍼파라미터**: λnovel = 1, λreg = 1×10-3으로 최적화

주요 결과

**FID 개선**: PVG 대비 +32.1%, S³Gaussian 대비 +46.4%, Deformable-GS 대비 +16.3%
**NTA-IoU 개선**: PVG 대비 +22.6%, S³Gaussian 대비 +43.5%, Deformable-GS 대비 +15.6%
**사용자 스터디**: DriveDreamer4D가 기존 베이스라인 대비 평균 80% 이상의 승률을 기록함

의의 및 한계

DriveDreamer4D는 4D 주행 환경의 시공간 일관성을 유지하면서 다양한 주행 동작을 생성할 수 있는 첫 번째 프레임워크로, 자율 주행 시스템의 폐루프 시뮬레이션을 위한 기반을 제공한다. 특히, NTGM과 CDTS를 통해 실제 데이터와 합성 데이터를 효과적으로 결합하여 훈련 품질을 향상시킨 점이 학술적·실용적 가치를 높인다. 그러나 현재는 Waymo 데이터셋에만 기반한 실험으로, 다른 데이터셋에서의 일반화 가능성은 추가 연구가 필요하다. 또한, 레이더 데이터의 결측으로 인해 깊이 손실(depth loss)는 제거되어야 하며, 이는 일부 시나리오에서 정확도 향상에 한계를 줄 수 있다.

실용적 활용

DriveDreamer4D는 자율 주행 시스템의 폐루프 평가, 복잡한 주행 시나리오의 시뮬레이션 훈련, 4D 주행 환경의 고정밀 재구성에 활용될 수 있다. 특히, lane change, 가속/감속과 같은 복잡한 주행 동작을 포함한 시나리오에서 높은 시공간 일관성을 유지하면서 풍부한 시점 데이터를 생성할 수 있어, 실제 주행 환경의 다양한 조건을 시뮬레이션하는 데 유용하다.