OmniDrive: A Holistic Vision-Language Dataset for Autonomous Driving with Counterfactual Reasoning

The advances in vision-language models (VLMs) have led to a growing interest in autonomous driving to leverage their strong reasoning capabilities. However, extending these capabilities from 2D to full 3D understanding is crucial for real-world applications. To address this challenge, we propose OmniDrive, a holistic vision-language dataset that aligns agent models with 3D driving tasks through counter-factual reasoning. This approach enhances decision-making by evaluating potential scenarios and their outcomes, similar to human drivers considering alternative actions. Our counterfactual-based synthetic data annotation process generates large-scale, high-quality datasets, providing denser supervision signals that bridge planning trajectories and language-based reasoning. Futher, we explore two advanced OmniDrive-Agent frameworks, namely Omni-L and Omni-Q, to assess the importance of vision-language alignment versus 3D perception, revealing critical insights into designing effective LLM-agents. Significant improvements on the DriveLM Q&A benchmark and nuScenes open-loop planning demonstrate the effectiveness of our dataset and methods.

한 줄 요약

OmniDrive는 3D 자율주행에 맞춘 대규모 카운터패클 퀴즈 데이터셋과 Omni-L/Q 모델을 통해 VLM 기반 자율주행 성능을 향상시킨다.

핵심 기여도

카운터패클 추론 기반의 3D 자율주행 Q&A 데이터셋 OmniDrive를 제안.
Omni-L (LLaVA 기반)과 Omni-Q (BEV + Q-Former 기반) 두 프레임워크를 비교 분석.
DriveLM Q&A 벤치마크에서 53% → 56% (3% 개선), nuScenes open-loop planning에서 충돌률 3.22% → 1.90% 감소.
카운터패클 AP 53.7%, CIDEr 73.2% 등 수치로 모델 성능을 구체화.

핵심 아이디어

자율주행에서 2D VLM의 추론 능력을 3D 공간으로 확장하기 위해, OmniDrive는 인간 운전자의 대안 상황 고려 방식을 모방한 카운터패클 추론을 도입한다. 이는 기존의 전문가 트래젝토리에 의존하는 open-loop 평가의 한계를 극복하고, 더 복잡한 상황 판단을 가능하게 한다. VLM의 chain-of-thought 능력과 결합하여, 3D 공간에서의 트래젝토리와 언어 기반 추론 간 연결성을 강화한다. 또한, 시뮬레이션 기반의 트래젝토리 생성과 GPT-4를 활용한 Q&A 생성을 통해 대규모, 고질량 데이터를 생성하며, rule-based 체크리스트와 human-in-the-loop 검증을 통해 신뢰성을 확보한다.

기술적 접근법

**OmniDrive 데이터셋**: 카운터패클 추론 기반 Q&A 생성 파이프라인을 통해 대규모 3D 자율주행 데이터를 생성.
**Omni-L**: LLaVA 기반 MLP-Projection 방식으로 2D VLM을 3D 공간에 정렬.
**Omni-Q**: StreamPETR의 BEV 아키텍처 + Q-Former를 결합한 3D 퍼셉션 기반 프레임워크.
**학습 전략**: Q&A 데이터와 트래젝토리 예측을 결합한 학습으로, open-loop planning 성능 향상.
**평가 지표**: DriveLM Q&A, nuScenes open-loop planning, CIDEr, AP/AR 등 사용.

주요 결과

**DriveLM Q&A**: OmniDrive 사전 학습 데이터를 사용하면 평균 점수가 53% → 56% (3% 개선).
**nuScenes open-loop planning**: 충돌률 3.22% → 1.90%, 교차율 3.90% → 3.29% 감소.
**Omni-L 성능**: 카운터패클 AP 53.7%, AR 63.0%, CIDEr 73.2%.
**Omni-Q 성능**: 카운터패클 AP 52.3%, AR 59.6%, CIDEr 68.6%.

의의 및 한계

OmniDrive는 3D 자율주행에서 VLM의 추론 능력을 효과적으로 활용할 수 있는 체계적인 데이터셋과 프레임워크를 제시하며, 기존 open-loop 평가의 한계를 보완한다. 특히, 카운터패클 추론을 통한 다중 시나리오 평가와 GPT-4 기반의 자동화된 Q&A 생성은 데이터 품질과 확장성을 동시에 확보한다. 그러나 현재는 다른 에이전트의 반응을 고려하지 않은 단일 트래젝토리 기반의 시뮬레이션에 머무르며, closed-loop 시뮬레이터와의 통합이 필요하다는 한계가 있다.

실용적 활용

OmniDrive는 자율주행 시스템 개발에서 3D 환경 이해와 언어 기반 추론을 결합한 LLM-agent 설계에 활용 가능하다. 특히, 대규모 훈련 데이터가 필요한 자동차 제조사나 연구소에서 모델 성능 향상을 위한 사전 학습 및 평가에 유용하게 사용될 수 있다.