End-to-End Driving with Online Trajectory Evaluation via BEV World Model

End-to-end autonomous driving has achieved remarkable progress by integrating perception, prediction, and planning into a fully differentiable framework. Yet, to fully realize its potential, an effective online trajectory evaluation is indispensable to ensure safety. By forecasting the future outcomes of a given trajectory, trajectory evaluation becomes much more effective. This goal can be achieved by employing a world model to capture environmental dynamics and predict future states. Therefore, we propose an endto- end driving framework WoTE, which leverages a BEV World model to predict future BEV states for Trajectory Evaluation. The proposed BEV world model is latencyefficient compared to image-level world models and can be seamlessly supervised using off-the-shelf BEV-space traffic simulators. We validate our framework on both the NAVSIM benchmark and the closed-loop Bench2Drive benchmark based on the CARLA simulator, achieving state-of-the-art performance. Code is released at https://github.com/liyingyanUCAS/WoTE.

한 줄 요약

WoTE는 BEV 월드 모델을 활용해 미래 상태를 예측하는 실시간 운전 경로 평가 프레임워크로, NAVSIM 및 Bench2Drive 벤치마크에서 최고 성능을 달성했다.

핵심 기여도

WoTE 프레임워크를 제안하여, BEV 월드 모델을 통해 미래 BEV 상태를 예측하고 경로 평가를 수행함.
BEV 공간에서의 미래 상태 예측은 기존 이미지 기반 모델 대비 낮은 지연 시간을 보임 (18.7 ms).
nuPlan과 같은 BEV 공간 시뮬레이터를 활용해 미래 상태 예측을 효과적으로 감독함.
NAVSIM 및 Bench2Drive 벤치마크에서 최고 성능을 달성함.

핵심 아이디어

기존의 경로 평가 방법은 현재 상태만 고려하는 데 그치며, 미래 상태를 예측하지 못해 한계가 있었다. WoTE는 미래 상태를 예측하는 월드 모델을 도입하여, 경로 평가의 정확도를 높이는 새로운 접근법을 제시한다. 특히, BEV 공간에서의 미래 상태 예측은 이미지 기반 모델 대비 계산 효율성이 뛰어나며, nuPlan과 같은 시뮬레이터를 통해 효과적인 감독이 가능하다는 점에서 차별화된다. 이는 경로 후보군을 평가할 때 미래 시나리오를 고려함으로써 안전성과 성능을 동시에 향상시키는 핵심 통찰이다.

기술적 접근법

**Trajectory Predictor**: 다중 경로 후보를 생성하며, BEV 공간에서의 상태를 인코딩함.
**BEV World Model**: 미래 BEV 상태를 예측하며, 단일 단계 feed-forward 예측으로 빠른 처리가 가능함.
**Reward Model**: 예측된 미래 상태를 바탕으로 각 경로의 보상을 계산함.
**BEV Space Supervision**: nuPlan과 같은 시뮬레이터를 통해 미래 BEV 상태를 감독함.
**하이퍼파라미터**: 256개의 경로 후보를 기본으로 사용하며, 18.7 ms의 지연 시간을 기록함.

주요 결과

**NAVSIM 벤치마크**에서 WoTE는 기존 방법 대비 DAC +1.6%, EP +1.2% 개선됨.
**Bench2Drive (CARLA 기반)**에서 DAC +1.4%, TTC +0.8% 개선됨.
256개의 경로 후보를 사용할 때 최적 성능을 달성하며, 128개에서 256개로 증가시켜도 성능 향상은 0.5% 미만으로 수렴됨.
1024개의 새로운 경로 후보를 사용했을 때 PDMS +1.3 증가하며, 모델의 일반화 능력이 높음.

의의 및 한계

WoTE는 미래 상태 예측을 통한 경로 평가를 실시간으로 수행할 수 있는 첫 번째 프레임워크로, end-to-end 자율 주행의 안전성과 신뢰성을 높이는 데 기여한다. 특히, BEV 공간에서의 예측은 계산 효율성이 뛰어나며, 시뮬레이터 기반 감독을 통해 데이터 부족 문제를 완화한다. 그러나, 실제 운전 환경에서의 장기적 안정성과 대규모 배포 가능성은 추가 연구가 필요하다. 또한, 다양한 환경에서의 일반화 능력은 향후 평가 대상이다.

실용적 활용

WoTE는 실시간 자율 주행 시스템, 특히 미래 시나리오 예측이 필요한 고급 경로 평가 모듈에 적용 가능하다. 또한, 시뮬레이터 기반 감독이 가능한 연구 환경에서 모델 개발 및 테스트에 활용될 수 있으며, 자동차 제조사 및 자율 주행 연구소에서 실용화 가능성이 높다.