DiffusionDrive: Truncated Diffusion Model for End-to-End Autonomous Driving

Recently, the diffusion model has emerged as a powerful generative technique for robotic policy learning, capable of modeling multi-mode action distributions. Leveraging its capability for end-to-end autonomous driving is a promising direction. However, the numerous denoising steps in the robotic diffusion policy and the more dynamic, open-world nature of traffic scenes pose substantial challenges for generating diverse driving actions at a real-time speed. To address these challenges, we propose a novel truncated diffusion policy that incorporates prior multi-mode anchors and truncates the diffusion schedule, enabling the model to learn denoising from anchored Gaussian distribution to the multi-mode driving action distribution. Additionally, we design an efficient cascade diffusion decoder for enhanced interaction with conditional scene context. The proposed model, DiffusionDrive, demonstrates 10× reduction in denoising steps compared to vanilla diffusion policy, delivering superior diversity and quality in just 2 steps. On the planning-oriented NAVSIM dataset, with aligned ResNet-34 backbone, DiffusionDrive achieves 88.1 PDMS without bells and whistles, setting a new record, while running at a real-time speed of 45 FPS on an NVIDIA 4090. Qualitative results on challenging scenarios further confirm that DiffusionDrive can robustly generate diverse plausible driving actions.

한 줄 요약

DiffusionDrive는 2단계의 truncated diffusion policy와 cascade decoder를 통해 실시간 자율주행 성능을 45 FPS, PDMS 88.1로 달성한 모델이다.

핵심 기여도

**Truncated diffusion policy**를 도입하여 denoising steps를 20에서 2로 줄여 10× 가속화.
**Anchored Gaussian distribution**을 사용해 prior multi-mode anchors를 결합, fixed anchor 기반 모델(VADv2)의 제약 극복.
**Efficient cascade diffusion decoder** 설계로 조건부 환경 정보와의 상호작용 강화.
**NVSIM dataset**에서 ResNet-34 기반으로 88.1 PDMS 달성, 기존 최고 기록 경신.

핵심 아이디어

기존 자율주행 모델은 단일 모드의 경로를 예측하거나, 고정된 anchor 기반의 다중 모드를 사용하지만, 이는 복잡한 open-world 상황에서 제한적이다. DiffusionDrive는 diffusion model의 다중 모드 생성 능력을 활용하면서도, **truncated diffusion policy**를 통해 denoising 과정을 2단계로 줄여 실시간 처리가 가능하도록 개선했다. 이는 **prior multi-mode anchors**를 기반으로 Gaussian 분포를 분할한 **anchored Gaussian distribution**을 사용하여 초기 노이즈를 제어함으로써 가능하다. 또한, **cascade diffusion decoder**를 통해 조건부 정보(BEV, PV, agent/map queries)와의 상호작용을 강화하여 경로 재구성을 반복적으로 개선한다.

기술적 접근법

**Truncated diffusion policy**: 기존 20단계의 DDIM denoising을 2단계로 줄임.
**Anchored Gaussian distribution**: prior anchors를 중심으로 Gaussian 분포를 분할하여 초기 노이즈 샘플링.
**Cascade diffusion decoder**: deformable spatial cross-attention과 agent/map queries를 결합한 transformer 기반 디코더.
**Timestep Modulation layer**: diffusion timestep 정보를 인코딩하는 MLP.
**N infer = 10**: 10개의 노이즈 샘플로 다양한 경로 생성 가능.
**ResNet-34 backbone**: NAVSIM 데이터셋에서 88.1 PDMS 달성.

주요 결과

**NVSIM dataset**에서 88.1 PDMS (ResNet-34 기반, no bells and whistles), 기존 최고 기록 경신.
**Hydra-MDP-𝒱8192-W-EP** 대비 1.6 PDMS 우수, 45 FPS로 실시간 처리.
**nuScenes dataset**에서 VAD 대비 20.8% 낮은 L2 error, 63.6% 낮은 충돌률.
**Denoising steps**: 20 → 2, 10× 가속.
**Parameter reduction**: 기존 Transfuser TD 대비 39% 감소.

의의 및 한계

DiffusionDrive는 자율주행 분야에서 diffusion model의 실시간 적용 가능성을 입증하며, 기존 고정 anchor 기반 모델의 제약을 극복한 점에서 학술적·실용적 의의가 크다. 특히, **truncated diffusion policy**와 **cascade decoder**를 결합한 구조는 복잡한 환경에서도 다양한 경로를 생성할 수 있는 기반을 제공한다. 그러나 **N infer**가 증가할수록 계산 비용이 증가하며, **4단계 이상의 cascade**는 성능 향상이 포화되는 한계가 있다. 또한, **prior anchors**의 질과 수에 따라 성능이 영향을 받을 수 있다.

실용적 활용

DiffusionDrive는 실시간 자율주행 시스템, 특히 open-world 환경에서 다양한 경로를 생성해야 하는 상황에 적합하다. 또한, 고정 anchor를 사용하지 않기 때문에 **out-of-vocabulary** 시나리오에서도 유연하게 대응할 수 있어, **로봇 운송, 자율 배송, ADAS 시스템** 등에 활용 가능하다.