Foundation4D: Towards a unified perception and reconstruction model for autonomous vehicles

We introduce Foundation4D, a unified feed-forward model for geometry estimation, 3D detection, semantic occupancy, and Gaussian reconstruction from multi-camera driving video. A shared backbone uses factorized spatiotemporal attention to efficiently combine observations across cameras and time. Our video inference pipeline uses pose graph optimization to refine camera trajectories and assembles object tracks across input windows. We also develop a data annotation pipeline and release PAI-Foundation4D, a benchmark with dense depth and semantic occupancy labels for 1,253 driving clips. With benchmark-specific fine-tuning, Foundation4D achieves the lowest depth AbsRel on Waymo and nuScenes, the highest detection mAP on nuScenes, and the highest occupancy mIoU on OpenOccupancy among the compared methods. Our task-combination study shows benefits for both detection and geometry: co-training detection with geometry and occupancy improves top-class mAP by 1.2 points over detection-only training, while co-training geometry with detection reduces camera-to-rig translation error by $13.4\%$ relative to geometry-only training. We further use the predicted geometry and trajectories as priors for lidarless NuRec, supporting reconstruction of driving scenes for simulation.

한 줄 요약

Foundation4D는 다카메라 운전 영상에서 기하, 3D 객체, 세분화된 공간 점유, 가우시안 재구성을 통합적으로 처리하는 단일 모델로, PAI-Foundation4D 벤치마크에서 최고 성능을 달성한다.

핵심 기여도

**Foundation4D 모델**: 다카메라 영상에서 기하 추정, 3D 객체 탐지, 세분화된 공간 점유, 가우시안 재구성을 통합 처리하는 단일 피드포워드 모델.
**PAI-Foundation4D 벤치마크**: 1,253개 운전 클립에 대한 밀집된 깊이와 공간 점유 라벨을 포함한 새로운 데이터셋.
**공통 학습 효과**: 기하와 객체 탐지의 공동 학습으로 mAP 1.2 포인트 상승, 기하와 객체의 공동 학습으로 카메라-리그 변환 오류 13.4% 감소.
**비-레이저 기반 NuRec 지원**: 예측된 기하와 트래젝토리로 운전 장면 재구성 가능.

핵심 아이디어

Foundation4D는 기하 추정, 객체 탐지, 공간 점유, 가우시안 재구성을 하나의 모델에서 처리함으로써, 자율 주행 차량의 인식과 시뮬레이션을 통합하는 새로운 접근법을 제시한다. 기존 모델은 각 작업을 별도의 네트워크로 처리했지만, Foundation4D는 공유 백본을 사용하여 다카메라 영상의 공간-시간 정보를 효율적으로 결합한다. 이 모델은 **factorized spatiotemporal attention**을 통해 카메라 간 및 시간 간 관찰을 결합하며, 비용을 줄인다. 또한, **pose graph optimization (PGO)**을 사용하여 카메라 트래젝토리를 정제하고, 장거리 운전 시퀀스에서 객체 트래젝토리를 유지한다.

기술적 접근법

**모델 구조**: 공유 백본에서 특징 추출 후, 태스크별 디코더를 통해 카메라 포즈, 메트릭 깊이, 3D 객체, 공간 점유, 가우시안 속성을 예측.
**인퍼런스 파이프라인**: PGO를 사용한 카메라 트래젝토리 정제 및 윈도우 간 객체 트래젝토리 조합.
**데이터셋**: PAI-Foundation4D는 1,253개 운전 클립에 밀집된 깊이와 공간 점유 라벨 포함.
**학습 전략**: 기하와 객체 탐지의 공동 학습으로 mAP 1.2 포인트 상승, 기하와 객체의 공동 학습으로 카메라-리그 변환 오류 13.4% 감소.

주요 결과

**Waymo 및 nuScenes**: Foundation4D는 가장 낮은 깊이 AbsRel 오류 달성.
**nuScenes**: 3D 객체 탐지 mAP 38.00%, HOTA 34.76% (5개 주요 클래스 기준).
**OpenOccupancy**: 공간 점유 mIoU 최고 성능 달성.
**PAI-Foundation4D**: 12개 클래스 기준 mAP 29.11%, HOTA 25.66%.
**가우시안 재구성**: 예측된 기하와 트래젝토리로 NuRec에서 렌더링 품질 유지.

의의 및 한계

Foundation4D는 자율 주행 차량의 인식과 시뮬레이션을 통합하는 첫 단일 모델로, 기하, 객체, 공간 점유, 가우시안 재구성을 동시에 처리할 수 있다. 특히, **factorized spatiotemporal attention**과 **PGO**를 통해 장거리 운전 시퀀스에서 정확한 트래젝토리 추정이 가능하며, **PAI-Foundation4D**는 밀집된 라벨을 통해 학습 및 평가 기반을 제공한다. 그러나, **long-range detection**은 여전히 어려움이 있으며, **task-combination**의 균형 조절과 **geometric 및 rendering supervision** 간 상호작용 이해는 여전히 개선이 필요하다.

실용적 활용

Foundation4D는 자율 주행 차량의 실시간 인식 및 시뮬레이션 환경 구축에 활용 가능하다. 특히, **lidarless NuRec**와의 결합을 통해 레이저 없이도 운전 장면을 재구성할 수 있어, **시뮬레이션 테스트** 및 **운전자 훈련 시스템** 개발에 유용하다. 또한, **PAI-Foundation4D**는 다양한 자율 주행 연구에서 공통 평가 기준으로 사용될 수 있다.