Enhancing End-to-End Autonomous Driving with Latent World Model

In autonomous driving, end-to-end planners directly utilize raw sensor data, enabling them to extract richer scene features and reduce information loss compared to traditional planners. This raises a crucial research question: how can we develop better scene feature representations to fully leverage sensor data in end-to-end driving? Self-supervised learning methods show great success in learning rich feature representations in NLP and computer vision. Inspired by this, we propose a novel self-supervised learning approach using the LAtent World model (LAW) for end-to-end driving. LAW predicts future scene features based on current features and ego trajectories. This self-supervised task can be seamlessly integrated into perception-free and perception-based frameworks, improving scene feature learning and optimizing trajectory prediction. LAW achieves state-of-the-art performance across multiple benchmarks, including real-world open-loop benchmark nuScenes, NAVSIM, and simulator-based closed-loop benchmark CARLA. The code is released at https://github.com/BraveGroup/LAW.

한 줄 요약

LAW(Latent World Model)를 활용한 자기감독 학습이 nuScenes, NAVSIM, CARLA에서 최고 성능을 달성한다.

핵심 기여도

LAW: 현재 장면 특징과 자동차 이동 경로를 기반으로 미래 장면 특징을 예측하는 자기감독 학습 모델 제안.
Cross-framework universality: perception-free와 perception-based 프레임워크 모두에서 적용 가능.
nuScenes, NAVSIM, CARLA에서 최고 성능 달성.
미래 예측 시간(0.5, 1.5, 3.0초) 실험을 통해 1.5초가 가장 효과적임을 밝힘.

핵심 아이디어

기존의 자기감독 학습은 정적 이미지에 초점을 맞추지만, 자율주행은 동적 비디오 입력에 의존하므로 시간 정보를 효과적으로 활용하는 것이 중요하다. 본 연구는 자동차의 이동 경로(ego trajectory)를 고려한 미래 장면 특징 예측을 통해 장면 특징 학습과 경로 예측을 동시에 최적화한다. 이는 기존의 이미지 기반 월드 모델이 생성 속도가 느리고 효율성이 낮은 문제를 해결하기 위해, **latent feature**를 직접 예측하는 **LAW(Latent World Model)**을 제안한 것이다. LAW는 현재 latent feature와 ego trajectory를 입력으로 받아 미래 latent feature를 예측하며, 예측된 future feature는 실제 future frame에서 추출된 feature로 감독된다.

기술적 접근법

**LAW 모델 구조**: 시각 인코더에서 추출한 latent feature와 웨이포인트 디코더에서 예측한 경로를 입력으로 받는다.
**프레임워크 유형**:
**Perception-free**: perspective-view encoder와 디코더를 사용하여 future perspective-view latent를 예측.
**Perception-based**: BEV encoder와 디코더를 사용하여 future BEV latent를 예측.
**자기감독 학습**: 예측된 future latent feature는 실제 future frame에서 추출한 feature로 감독된다.
**네트워크 아키텍처 실험**: 단일층 Linear Projection은 성능 저하, 2층 MLP는 개선, **stacked transformer blocks**가 가장 효과적임을 확인.

주요 결과

**nuScenes**: PDMS, DAC, EP 등 주요 지표에서 개선.
**NAVSIM**: PDMS +1.6%, DAC +2.3%, Ego Progress +1.8% 개선.
**CARLA**: Driving Score +3.2% 개선.
**예측 시간 실험**: 1.5초(3프레임)가 가장 높은 성능, 3.0초는 예측 정확도 저하, 10초는 성능 감소.
**모델 아키텍처**: stacked transformer blocks가 Linear Projection 대비 4.1% 더 높은 PDMS 달성.

의의 및 한계

LAW는 자율주행에서 장면 특징 학습과 경로 예측을 동시에 최적화하는 새로운 자기감독 학습 방법으로, perception-free와 perception-based 프레임워크 모두에서 적용 가능하다는 유연성을 보인다. 특히, 기존 이미지 기반 월드 모델의 느린 생성 속도 문제를 해결한 점이 학술적 의의이다. 그러나, 너무 먼 미래(10초 이상)를 예측하면 성능이 급격히 저하되며, 이는 시간 정보의 한계를 반영한다. 또한, 실제 자율주행 시스템에 적용하기 위해서는 실시간 처리 성능 테스트가 추가적으로 필요할 수 있다.

실용적 활용

LAW는 자율주행 차량의 경로 예측 및 장면 이해를 향상시키는 데 활용 가능하다. 특히, nuScenes와 CARLA와 같은 실제 및 시뮬레이션 데이터셋에서의 성능을 고려할 때, **실제 도로 환경에서의 경로 계획**, **시뮬레이션 기반 테스트**, **BEV 기반 감지 및 추적** 등 다양한 자율주행 연구 분야에 적용할 수 있다.