Beyond Pixels: From Video Priors to 4D Worlds

4D generation synthesizes dynamic 3D scenes from conditions such as text or images. Existing methods either reconstruct generated RGB videos with a separate 4D model or adapt a particular video generator to predict geometry directly. The former suffers from distribution mismatch and error propagation, whereas the latter ties 4D prediction to a specific generator and may require retraining when the generator or conditioning regime changes. We ask whether the final denoised latents of video models that share a variational autoencoder (VAE) can instead provide a reusable interface to explicit 4D prediction. Building on this insight, we introduce direct latent-to-4D generation and instantiate it as Latent-to-4D, which bypasses RGB by aligning a video latent with the token grid of a pretrained 4D decoder and refining it through frame-wise and global spatiotemporal attention. Trained on roughly 1K existing reconstruction clips, a single checkpoint transfers unchanged across multiple video diffusion transformers within the same VAE family. On Text4D-200 and I4D-200, Latent-to-4D surpasses matched same-latent Wan+4RC cascades in projection-based DINO-F1 by 2.88--3.45 and 5.81 points, respectively, while also being preferred by human raters for geometry, temporal stability, and overall quality.

한 줄 요약

Latent-to-4D는 VAE 공유 공간 내의 비디오 레이턴트를 직접 4D 생성에 연결하여 기존 방식의 한계를 극복한다.

핵심 기여도

**Latent-to-4D** 프레임워크를 제안, VAE 레이턴트를 직접 4D 생성에 연결하여 RGB 생성을 우회.
**L4AR (Latent-to-4D Alignment and Refinement)** 네트워크를 통해 레이턴트 정렬 및 공간-시간적 주의력 기반 정제.
**1,000개 재구성 클립**으로 학습된 단일 체크포인트가 동일 VAE 내 여러 DiT 모델에 전이 가능.
**Text4D-200**과 **I4D-200** 데이터셋에서 기존 **Wan+4RC** 대비 **DINO-F1 2.88–5.81 포인트 개선**.

핵심 아이디어

기존 4D 생성 방법은 RGB 생성 후 재구성하거나, 특정 생성기와 결합하여 4D를 예측하는 방식을 따르지만, 각각 분포 불일치, 오류 전파, 생성기 의존성 등의 문제를 가진다. 본 연구는 **VAE 공유 공간 내의 최종 데노이징 레이턴트**가 4D 생성을 위한 **재사용 가능한 인터페이스**가 될 수 있음을 제안한다. 이는 RGB 생성을 우회하고, 다양한 생성기와 조건 설정에 따라 동일한 4D 경로를 재사용할 수 있게 한다. 핵심 아이디어는 **L4AR** 네트워크를 통해 레이턴트를 4D 토큰 그리드에 정렬하고, 프레임 단위 및 전역적인 공간-시간적 주의력으로 정제하는 점이다.

기술적 접근법

**Latent-to-4D**는 **VAE 레이턴트 공간**을 기반으로 4D 생성 경로를 구축.
**L4AR (Latent-to-4D Alignment and Refinement)**: 레이턴트 정렬 및 공간-시간적 주의력 기반 정제.
**VAE**는 학습 중 고정, **DiT**와 **4D 디코더**는 사전 학습된 상태로 유지.
**1,000개 재구성 클립**을 기반으로 학습, **정렬 모듈**, **정제 업데이트**, **예측 헤드**만 최적화.
**DiT**의 최종 데노이징 레이턴트를 4D 디코더에 직접 입력하여 카메라 및 동적 3D 기하 생성.

주요 결과

**Text4D-200**에서 **Wan+4RC** 대비 **DINO-F1 2.88–3.45 포인트 개선**.
**I4D-200**에서 **DINO-F1 5.81 포인트 개선**.
**인간 평가**에서 기하학적 타당성, 완전성, 시간적 안정성에서 우수한 평가.
단일 체크포인트가 **동일 VAE 내 3개 DiT 모델**에 전이 가능.

의의 및 한계

**VAE 레이턴트 공간**을 4D 생성 인터페이스로 활용함으로써, 생성기와 조건 설정의 독립성을 확보.
**L4AR**은 공간-시간적 정제를 통해 4D 디코딩의 정확도를 향상.
한계로는 **공유 VAE 기반 모델에만 적용 가능**하며, **메트릭 정확도**는 평가되지 않음.
**프로젝션 기반 평가**만 수행되어, 실제 4D 공간의 정확성은 명시되지 않음.

실용적 활용

**가상 제작**, **VR/AR**, **시뮬레이션**, **로봇 네비게이션** 등에서 동적 3D 씬 생성에 활용 가능.
**다양한 생성기와 조건 설정**에 대응하는 **재사용 가능한 4D 생성 경로** 구축에 유용.
**사전 학습된 VAE 기반 모델**이 있는 환경에서 즉시 적용 가능.