World4Drive: End-to-End Autonomous Driving via Intention-Aware Physical Latent World Model

End-to-end autonomous driving directly generates planning trajectories from raw sensor data, yet it typically relies on costly perception supervision to extract scene information. A critical research challenge arises: constructing an informative driving world model to enable perception annotation-free, end-to-end planning via self-supervised learning. In this paper, we present World4Drive, an end-to-end autonomous driving framework that employs vision foundation models to build latent world models for generating and evaluating multi-modal planning trajectories. Specifically, World4Drive first extracts scene features, including driving intention and world latent representations enriched with spatial-semantic priors provided by vision foundation models. It then generates multi-modal planning trajectories based on current scene features and driving intentions and predicts multiple intention-driven future states within the latent space. Finally, it introduces a world model selector module to evaluate and select the best trajectory. We achieve perception annotation-free, end-to-end planning through self-supervised alignment between actual future observations and predicted observations reconstructed from the latent space. World4Drive achieves state-of-the-art performance without manual perception annotations on both the open-loop nuScenes and closed-loop NavSim benchmarks, demonstrating an 18.0% relative reduction in L2 error, 46.7 % lower collision rate, and $3.75 \times$ faster training convergence. Codes will be accessed at https://github.com/ucaszyp/World4Drive.

한 줄 요약

World4Drive는 주행 의도를 반영한 물리적 잠재 세계 모델을 통해 주변 환경 인식 없이도 뛰어난 자율 주행 성능을 달성하는 end-to-end 프레임워크이다.

핵심 기여도

주행 의도와 물리적 잠재 표현을 결합한 **의도 인식 잠재 세계 모델** 제안.
**driving world encoding module**을 통해 시각 기초 모델의 공간-세멘틱 사전 정보를 활용한 잠재 표현 추출.
**world model selector** 모듈을 도입하여 다중 경로 후보 중 최적 경로를 선택.
**nuScenes**와 **NavSim** 벤치마크에서 주변 인식 어노테이션 없이 기존 최고 성능 달성 (L2 오차 18.1% 감소, 충돌률 46.7% 감소, 학습 수렴 속도 3.75× 향상).

핵심 아이디어

기존 자율 주행 시스템은 3D 바운딩 박스나 HD 맵 등 주변 인식 어노테이션에 의존하지만, 이는 확장성에 한계가 있다. World4Drive는 이러한 문제를 해결하기 위해 **의도 인식 잠재 세계 모델**을 제안한다. 이 모델은 주행 의도와 물리적 환경의 잠재 표현을 결합하여, 인간 운전자의 의사결정 과정을 시뮬레이션하듯 다양한 주행 시나리오를 예측하고 평가한다. 특히, **physical latent encoder**와 **intention encoder**를 통해 시각 기초 모델의 공간-세멘틱 정보를 활용하여 주변 환경을 더 정확하게 이해하고, **world model selector**를 통해 미래 상태를 예측한 후 가장 타당한 경로를 선택한다.

기술적 접근법

**driving world encoding module**:
**physical latent encoder**: 시각 기초 모델(메트릭 깊이 추정 모델, vision-language 모델)의 공간-세멘틱 사전 정보를 활용한 잠재 표현 추출.
**intention encoder**: 정의된 **trajectory vocabulary**를 기반으로 다중 주행 의도 특징 추출.
**world model selector**: 미래 잠재 표현을 예측하고 실제 미래 잠재 표현과 **self-supervised alignment**를 통해 최적 경로를 선택.
**trajectory vocabulary**: 주어진 입력 이미지와 함께 사용하여 가능한 주행 행동을 포괄적으로 표현.
**self-supervised learning**: 실제 미래 관측과 예측된 관측 간 정렬을 통해 주변 인식 어노테이션 없이 학습.

주요 결과

**nuScenes** 벤치마크에서 기존 최고 성능 대비 **L2 오차 18.1% 감소**, **충돌률 46.7% 감소**.
**NavSim** 클로즈드-루프 벤치마크에서도 유사한 성능 개선.
학습 수렴 속도는 기존 방법 대비 **3.75× 빠름**.
**LAW** 방법 대비 평균 주행 이동 오차 18.2% 감소 (0.61m → 0.50m), 충돌률 46.7% 감소 (0.30% → 0.16%).

의의 및 한계

World4Drive는 주변 인식 어노테이션 없이도 뛰어난 자율 주행 성능을 달성함으로써, 대규모 데이터셋 생성의 필요성을 줄이고, 모델의 확장성을 향상시킨다. 특히, **의도 인식 잠재 세계 모델**은 인간 운전자의 의사결정 과정을 시뮬레이션하는 새로운 접근법을 제시한다. 그러나, **trajectory vocabulary**가 사전 정의되어 있어 모든 가능한 주행 행동을 포괄하지 못할 수 있으며, 복잡한 도로 환경에서의 일반화 능력은 추가 실험을 통해 검증이 필요하다.

실용적 활용

World4Drive는 대규모 어노테이션 없이도 자율 주행 시스템을 학습할 수 있어, **로봇 택시**, **자율 배송**, **공장 내 무인 이동 로봇** 등에 적용 가능하다. 특히, 어노테이션 생성 비용이 높은 신규 도시 환경에서의 빠른 시스템 배포에 유용할 것으로 기대된다.