Bench2Drive: Towards Multi-Ability Benchmarking of Closed-Loop End-To-End Autonomous Driving

In an era marked by the rapid scaling of foundation models, autonomous driving technologies are approaching a transformative threshold where end-to-end autonomous driving (E2E-AD) emerges due to its potential of scaling up in the data-driven manner. However, existing E2E-AD methods are mostly evaluated under the open-loop log-replay manner with L2 errors and collision rate as metrics (e.g., in nuScenes), which could not fully reflect the driving performance of algorithms as recently acknowledged in the community. For those E2E-AD methods evaluated under the closed-loop protocol, they are tested in fixed routes (e.g., Town05Long and Longest6 in CARLA) with the driving score as metrics, which is known for high variance due to the unsmoothed metric function and large randomness in the long route. Besides, these methods usually collect their own data for training, which makes algorithm-level fair comparison infeasible. To fulfill the paramount need of comprehensive, realistic, and fair testing environments for Full Self-Driving (FSD), we present Bench2Drive, the first benchmark for evaluating E2E-AD systems' multiple abilities in a closed-loop manner. Bench2Drive's official training data consists of 2 million fully annotated frames, collected from 13638 short clips uniformly distributed under 44 interactive scenarios (cut-in, overtaking, detour, etc), 23 weathers (sunny, foggy, rainy, etc), and 12 towns (urban, village, university, etc) in CARLA v2. Its evaluation protocol requires E2E-AD models to pass 44 interactive scenarios under different locations and weathers which sums up to 220 routes and thus provides a comprehensive and disentangled assessment about their driving capability under different situations. We implement state-of-the-art E2E-AD models and evaluate them in Bench2Drive, providing insights regarding current status and future directions.

한 줄 요약

Bench2Drive는 220개의 다양한 상황을 포함한 150m 길이의 루트를 통해 E2E-AD 시스템의 다중 능력을 평가하는 첫 번째 클로즈드-루프 벤치마크이다.

핵심 기여도

Bench2Drive는 200만 개의 완전 어노테이션 프레임을 포함한 공식 훈련 데이터를 제공하며, 44개 상호작용 시나리오, 23개 날씨, 12개 도시에 걸쳐 13,638개의 클립으로 구성됨.
평가 프로토콜은 220개의 150m 길이의 루트를 통해 44개의 개별 운전 능력을 분리 평가함.
기존 오픈-루프 평가 방식의 한계를 보완하고, 클로즈드-루프 환경에서 공정한 비교를 가능하게 함.
TCP, ThinkTwice, VAD, UniAD, AD-MLP 등의 기존 최신 E2E-AD 모델을 평가하여 성능 차이를 분석함.

핵심 아이디어

기존 E2E-AD 평가 방식은 오픈-루프(log-replay) 방식으로, L2 오류와 충돌률을 사용하지만, 실제 운전 능력을 정확히 반영하지 못한다. 특히, CARLA의 Town05Long과 Longest6 루트는 길이가 길고 메트릭 함수가 불안정하여 비교가 어렵다. Bench2Drive는 이러한 문제를 해결하기 위해 클로즈드-루프 환경에서 44개의 상호작용 시나리오(예: 차선 변경, 추월, 우회)를 220개의 짧은 루트로 분리 평가함으로써, 각 운전 능력을 독립적으로 평가할 수 있도록 설계되었다. 이는 기존 평가 방식에서 발견된 분포 이동(distribution shift) 및 인과 혼란(causal confusion) 문제를 완화하고, 공정한 알고리즘 비교를 가능하게 한다.

기술적 접근법

**훈련 데이터**: 200만 개의 완전 어노테이션 프레임, 13,638개의 클립, 44개 시나리오, 23개 날씨, 12개 도시(CARLA v2 기반).
**평가 프로토콜**: 220개의 150m 길이 루트, 각 루트는 하나의 특정 시나리오만 포함.
**메트릭**: 드라이빙 스코어(지수 감소 함수 사용)를 기반으로 평가.
**모델 구현**: TCP, ThinkTwice, VAD, UniAD, AD-MLP 등의 기존 최신 E2E-AD 모델을 구현 및 평가.
**특징**: 전문가 모델 Think2Drive를 기반으로 데이터 수집, 전문가 피처 디스틸레이션을 통한 성능 향상 가능성 분석.

주요 결과

**AD-MLP**: L2 오류가 높고, 클로즈드-루프 평가에서 성능 저하.
**VAD**: L2 오류가 낮고, 클로즈드-루프 성능이 양호.
**UniAD**: L2 오류는 낮지만, 클로즈드-루프 성능은 VAD보다 낮음.
**TCP, ThinkTwice, DriveAdapter**: 전문가 피처 디스틸레이션을 사용한 모델이 VAD/UniAD보다 성능 우수.
**상호작용 시나리오**: 병합, 추월, 긴급 제동 등 강한 상호작용을 요구하는 시나리오에서 모든 모델의 성능이 낮음.

의의 및 한계

Bench2Drive는 E2E-AD 시스템의 다중 운전 능력을 체계적으로 평가할 수 있는 첫 번째 클로즈드-루프 벤치마크로, 기존 평가 방식의 한계를 보완하고 공정한 비교를 가능하게 한다. 특히, 220개의 짧은 루트를 통해 개별 운전 능력을 분리 평가함으로써, 각 모델의 강점과 약점을 명확히 파악할 수 있다. 그러나 CARLA 시뮬레이터의 렌더링이 실제 세계와 차이가 있어, 실제 데이터와의 결합이 필요하다는 한계가 있다. 또한, 상호작용 시나리오 학습이 어려운 문제도 지적된다.

실용적 활용

Bench2Drive는 자율주행 알고리즘의 개발 및 비교에 필수적인 도구로 활용될 수 있다. 특히, 자동차 제조사 및 연구소에서 E2E-AD 모델의 성능을 시뮬레이션 환경에서 공정하게 평가하고, 실제 운전 능력을 개선하는 데 기여할 수 있다. 또한, 교육 및 정책 수립에도 활용 가능하다.