GenAD: Generative End-to-End Autonomous Driving

Directly producing planning results from raw sensors has been a long-desired solution for autonomous driving and has attracted increasing attention recently. Most existing end-to-end autonomous driving methods factorize this problem into perception, motion prediction, and planning. However, we argue that the conventional progressive pipeline still cannot comprehensively model the entire traffic evolution process, e.g., the future interaction between the ego car and other traffic participants and the structural trajectory prior. In this paper, we explore a new paradigm for end-to-end autonomous driving, where the key is to predict how the ego car and the surroundings evolve given past scenes. We propose GenAD, a generative framework that casts autonomous driving into a generative modeling problem. We propose an instance-centric scene tokenizer that first transforms the surrounding scenes into map-aware instance tokens. We then employ a variational autoencoder to learn the future trajectory distribution in a structural latent space for trajectory prior modeling. We further adopt a temporal model to capture the agent and ego movements in the latent space to generate more effective future trajectories. GenAD finally simultaneously performs motion prediction and planning by sampling distributions in the learned structural latent space conditioned on the instance tokens and using the learned temporal model to generate futures. Extensive experiments on the widely used nuScenes benchmark show that the proposed GenAD achieves state-of-the-art performance on vision-centric end-to-end autonomous driving with high efficiency. Code: https://github.com/wzzheng/GenAD.

한 줄 요약

GenAD는 생성 모델링 기반의 end-to-end 자율주행 프레임워크로, nuScenes 벤치마크에서 최고 성능을 달성한다.

핵심 기여도

**Instance-centric scene tokenizer**를 제안하여 주변 환경을 map-aware instance tokens으로 변환.
**Variational Autoencoder (VAE)**를 활용한 structural latent space에서 미래 궤적 분포를 학습.
**GRU 기반 temporal model**을 통해 latent 공간 내 에이전트와 자동차의 움직임을 모델링.
nuScenes 데이터셋에서 **L2 displacement error 최소화**와 **고속 추론**을 달성하여 기존 방법 대비 우수한 성능.

핵심 아이디어

기존 자율주행 시스템은 감지, 운동 예측, 경로 계획을 단계적으로 처리하지만, 이는 미래 상호작용과 구조적 궤적 prior를 효과적으로 모델링하지 못한다. GenAD는 이러한 문제를 해결하기 위해 자율주행을 생성 모델링 문제로 재정의한다. 구체적으로, **instance-centric scene tokenizer**를 통해 주변 환경을 인스턴스 중심의 map-aware 토큰으로 변환하고, **Variational Autoencoder (VAE)**를 사용하여 미래 궤적의 구조적 prior를 학습한다. 이후, **GRU 기반 temporal model**을 통해 latent 공간에서 에이전트와 자동차의 움직임을 모델링함으로써, 미래 궤적을 생성적으로 예측하고 경로 계획을 동시에 수행한다. 이는 기존 단계적 파이프라인과 달리, 미래 상호작용과 구조적 prior를 통합적으로 고려하는 새로운 접근법이다.

기술적 접근법

**Instance-centric scene tokenizer**: 주변 카메라 이미지의 feature를 3D BEV 공간으로 변환한 후, cross-attention을 통해 고수준 map 및 agent 토큰을 추출.
**Variational Autoencoder (VAE)**: ground-truth 궤적을 Gaussian 분포로 매핑하여 motion prediction의 불확실성을 고려한 structural latent space 학습.
**GRU 기반 temporal model**: latent 공간 내 인스턴스의 움직임을 auto-regressive 방식으로 모델링.
**Inference 시**: instance-centric scene representation을 조건으로 하여 latent 공간에서 샘플링하여 다양한 미래 궤적을 생성.
**모델 입력**: 2초 이력 (5프레임), 평가 시 1초, 2초, 3초 미래 성능 평가.

주요 결과

**nuScenes 데이터셋**에서 GenAD는 **L2 displacement error** 기준 기존 방법 대비 가장 낮은 오차를 기록.
**VAD-tiny** 대비 **L2 error -15.2%**, **collision rate -23.4%** 개선.
**UniAD**는 collision rate에서 우수하지만, 추가적인 tracking 및 occupancy 정보를 사용하는 반면, GenAD는 라벨 없이도 경쟁력 있는 성능을 보임.
**추론 속도**도 UniAD보다 빠르며, 성능/속도 trade-off가 우수.

의의 및 한계

GenAD는 자율주행을 생성 모델링 문제로 접근함으로써, 기존 단계적 파이프라인의 한계를 극복하고, 미래 상호작용과 구조적 prior를 통합적으로 고려하는 새로운 패러다임을 제시한다. 특히, **instance-centric scene representation**과 **trajectory prior modeling**을 통해 감지, 예측, 계획 간의 일관성을 높이고, 안전한 미래 궤적을 생성적으로 예측할 수 있다. 그러나, **3D 라벨이 필요한 추가 정보**(예: occupancy)를 사용하지 않는 점에서, 복잡한 상황에서의 안정성 향상이 필요한 한계가 존재한다. 또한, **생성 모델링 기반 접근법**은 아직 초기 단계이며, GAN 또는 diffusion model과 같은 다른 생성 모델의 적용 가능성도 제시된다.

실용적 활용

GenAD는 **경량화된 vision-based 자율주행 시스템**에 적용 가능하며, **데이터 라벨링 비용을 줄이면서도 안정적인 경로 계획**이 필요한 산업 현장에서 유용하게 사용될 수 있다. 특히, **복잡한 도시 환경**에서 미래 상호작용을 고려한 안전한 주행이 요구되는 상황에 적합하며, **실시간 추론 속도**를 고려한 자율주행 차량 개발에도 활용 가능하다.