Generalized Predictive Model for Autonomous Driving

In this paper, we introduce the first large-scale video prediction model in the autonomous driving discipline. To eliminate the restriction of high-cost data collection and empower the generalization ability of our model, we ac-quire massive data from the web and pair it with diverse and high-quality text descriptions. The resultant dataset accumulates over 2000 hours of driving videos, spanning areas all over the world with diverse weather conditions and traffic scenarios. Inheriting the merits from recent latent diffusion models, our model, dubbed GenAD, handles the challenging dynamics in driving scenes with novel tem-poral reasoning blocks. We showcase that it can general-ize to various unseen driving datasets in a zero-shot man-ner, surpassing general or driving-specific video prediction counterparts. Furthermore, GenAD can be adapted into an action-conditioned prediction model or a motion planner, holding great potential for real-world driving applications.

한 줄 요약

GenAD는 2000시간 이상의 OpenDV-2K 데이터셋을 기반으로 구축된 자율주행 분야의 첫 대규모 비디오 예측 모델로, zero-shot 방식으로 다양한 환경에서 뛰어난 일반화 능력을 보인다.

핵심 기여도

OpenDV-2K라는 2000시간 이상의 대규모 자율주행 비디오 데이터셋을 구축 (nuScenes 대비 374배 규모).
GenAD라는 새로운 2단계 학습 기반의 잠재 확산 모델(LDM)을 제안, 드라마틱한 시공간 변화를 처리하는 새로운 temporal reasoning blocks를 도입.
Waymo, KITTI, Cityscapes 등 미학습 데이터셋에서 zero-shot 생성 성능이 기존 모델 대비 FVD 44.5% 개선.
Action-conditioned prediction 모델로 확장 가능하며, 기존 UniAD 플래너 대비 3400배 빠른 학습 속도를 달성.

핵심 아이디어

GenAD는 기존 자율주행 시스템에서 일반화 능력 부족을 해결하기 위해 인터넷에서 대규모 비디오 데이터를 수집하고, 이를 텍스트 조건과 결합하여 학습하는 새로운 접근법을 제안한다. 이는 인간이 다양한 환경에서 주행을 학습하는 방식을 모방한 것이다. 기존 비디오 예측 모델은 정적인 배경과 느린 움직임을 다루는 데 적합하지만, 자율주행은 빠른 움직임과 동적인 환경을 처리해야 하므로, GenAD는 이에 맞춘 새로운 temporal reasoning blocks를 도입한다. 이 모듈은 인과적 시간적 주의(causal temporal attention)와 분리된 공간적 주의(decoupled spatial attention)를 결합하여, 빠르게 변화하는 주행 시나리오를 효과적으로 모델링한다.

기술적 접근법

**데이터**: OpenDV-2K 데이터셋은 인터넷에서 수집된 2000시간 이상의 비디오로, nuScenes 대비 374배 규모.
**모델 아키텍처**: GenAD는 2단계 학습 기반의 잠재 확산 모델(LDM)로 구성된다.
1단계: LDM을 OpenDV-2K 이미지로 fine-tuning하여 주행 도메인으로 이전.
2단계: temporal reasoning blocks를 삽입하여 과거 프레임과 조건을 기반으로 미래를 예측.
**Temporal Reasoning Blocks**: causal temporal attention과 decoupled spatial attention을 결합하여, 빠른 움직임과 시공간 변화를 효과적으로 처리.
**하이퍼파라미터**: 75,000 스텝 학습, NVIDIA Tesla V100 기반.

주요 결과

**Zero-shot 성능**: Waymo, KITTI, Cityscapes 등 미학습 데이터셋에서 GenAD는 기존 모델 대비 FVD 44.5% 개선.
**Action-conditioned 예측**: GenAD-act는 텍스트 조건 대비 Action Prediction Error를 20.4% 감소.
**플래너 성능**: nuScenes 데이터셋에서 GenAD 기반 플래너는 UniAD 대비 3400배 빠른 학습 속도를 달성.
**비교 실험**: GenAD는 nuScenes 기반 모델 GenAD-nus 대비 Waymo 등 미학습 데이터셋에서 더 높은 일반화 능력을 보임.

의의 및 한계

GenAD는 자율주행 분야에서 첫 대규모 비디오 예측 모델로서, 다양한 환경에서의 일반화 능력을 확보한 점에서 학술적·실용적 의의가 크다. 특히, 인터넷 기반의 대규모 데이터셋을 활용한 접근법은 고비용 데이터 수집 문제를 해결할 수 있는 가능성을 제시한다. 또한, 모델은 예측 모델 외에도 플래너나 액션 조건 모델로 확장 가능하여, 실제 자율주행 시스템에 바로 활용할 수 있다. 그러나, OpenDV-2K 데이터셋의 품질 검증 과정이 인간 검증에 의존한다는 점에서 확장성과 자동화 가능성에 한계가 있을 수 있다.

실용적 활용

GenAD는 다양한 주행 환경에서 일반화된 예측 및 플래닝이 필요한 자율주행 시스템에 적용 가능하다. 특히, 고비용 데이터 수집이 어려운 신규 도시나 날씨 조건에서 유용할 수 있으며, 액션 조건 기반 예측 모델로 확장하여 실제 차량 제어 시스템에 통합될 수 있다.