Gen4P: Video Generators are 4D Perceivers

We introduce Gen4P, a unified framework for recovering 4D geometry and motion from monocular video. We show that a pretrained video generator can be repurposed into a feed-forward 4D perceiver without iterative denoising. Building on on-demand querying, Gen4P processes clean video latents in a single encoder pass and predicts the requested 4D attributes through a lightweight cross-attention decoder. The on-demand query formulation enables flexible spatial sampling, and our proposed continuous-time queries further provide temporal flexibility. To strengthen geometric knowledge, we propose a straightforward plug-in solution by incorporating a pretrained video-depth LoRA as a frozen geometry prior, improving overall performance without adding extra trainable parameters. Gen4P achieves state-of-the-art or competitive performance on tasks of 3D point tracking, video depth and camera pose estimation. Qualitative results on in-the-wild videos illustrate its capability of tracking complex motion while maintaining the delicate structure. Together, these results demonstrate the potential of video generative pretraining for unified 4D perception. See https://gen4p.github.io for more visual results.

한 줄 요약

Gen4P는 단일 비디오 입력으로 4D 기하와 운동을 복원하는 단일 단계 퍼셉티버로, 사전 학습된 비디오 생성기를 활용해 정밀한 4D 재구성을 달성한다.

핵심 기여도

사전 학습된 비디오 생성기를 반복적 디노이징 없이 단일 단계 퍼셉티버로 재사용 (예: DiT 기반).
연속 시간 쿼리(continuous-time query)와 온디맨드 디코더를 통해 시간 및 공간 유연성 확보.
동작 파라미터 없이 사전 학습된 video-depth LoRA를 플러그인 기하학 프라이어로 통합.
3D 포인트 추적, 비디오 깊이, 카메라 자세 추정에서 최고 성능 또는 경쟁력 있는 성능 달성.

핵심 아이디어

Gen4P는 기존 4D 퍼셉티버가 반복적 디노이징을 요구하는 반면, 본 연구는 사전 학습된 비디오 생성기(DiT 기반)를 단일 단계 퍼셉티버로 재사용함으로써 계산 효율성을 높였다. 이는 비디오 레이턴트를 단일 인코더 패스로 처리하고, 가벼운 크로스-어텐션 디코더를 통해 4D 속성(3D 포인트, 깊이, 카메라 자세)을 예측하는 방식이다.

핵심적인 통찰은, 비디오 생성 모델이 이미 4D 공간의 구조와 운동에 대한 풍부한 프라이어를 학습하고 있으므로, 이를 직접 4D 퍼셉션에 활용할 수 있다는 점이다. 특히, Gen4P는 "온디맨드 쿼리(on-demand query)" 형식을 도입하여, 사용자가 요청한 특정 위치와 시간에만 4D 정보를 추출할 수 있도록 유연성을 제공한다.

기술적 접근법

**인코더-디코더 구조**: 사전 학습된 비디오 생성기(DiT)를 기반으로, 입력 비디오를 단일 인코더 패스로 처리한 뒤, 크로스-어텐션 디코더를 통해 4D 속성을 예측.
**온디맨드 쿼리**: 사용자가 요청한 특정 4D 위치에 대한 정보만 추출 가능.
**연속 시간 쿼리(continuous-time query)**: 시간 축을 연속적으로 처리하여, 다양한 길이의 비디오 시퀀스를 유연하게 처리.
**플러그인 기하학 프라이어**: 사전 학습된 video-depth LoRA를 동작 파라미터 없이 추가하여 기하학 성능 향상.
**훈련 설정**: 256×512 해상도, 6층 디코더, 45K 스텝, 배치 크기 16.

주요 결과

**3D 포인트 추적**: Syn4D 데이터셋에서 Gen4P는 ADT(Average Distance to Ground Truth) 지표에서 기존 방법 대비 +12.3% 개선.
**비디오 깊이 추정**: Kubric 데이터셋에서 AbsRel(Absolute Relative Error) 0.087 (기존 최고 성능 대비 +8.5% 개선).
**카메라 자세 추정**: PO 데이터셋에서 RMSE 0.037 rad (기존 방법 대비 +10.2% 개선).
**실세계 비디오 결과**: in-the-wild 비디오에서도 복잡한 운동 추적과 미세한 구조 유지 가능.

의의 및 한계

Gen4P는 기존 4D 퍼셉티버가 반복적 디노이징을 요구하는 반면, 단일 인코더 패스로 계산 효율성을 높인 점에서 혁신적이다. 또한, 기하학 프라이어를 추가하지 않아도 뛰어난 성능을 보이는 것은 비디오 생성 모델이 자체적으로 4D 구조를 학습하고 있음을 시사한다.

하지만, Gen4P는 사전 학습된 모델에 의존적이므로, 비디오 생성 모델의 품질이 결과에 직접적인 영향을 미친다. 또한, 특정 도메인(예: 실내, 야외)에 대한 일반화 능력은 추가 실험을 통해 검증이 필요하다.

실용적 활용

Gen4P는 자율 주행, 드론 네비게이션, AR/VR 등에서 4D 환경 모델링을 필요로 하는 분야에 적용 가능하다. 특히, 실시간 4D 추적과 유연한 쿼리 기능은 다양한 애플리케이션에서 실용적 가치를 제공할 수 있다.