Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving

We present Qwen-Drive-1.0, an initial step towards a vision-language foundation model for autonomous driving. Qwen-Drive-1.0 retains the architecture of the pretrained vision-language model (VLM) and integrates 3D perception, visual question answering, and motion planning within a unified framework. An external bird's-eye-view (BEV) perception head jointly performs 3D object detection, semantic occupancy prediction, and BEV map segmentation. It serves as a probe of the 3D information accessible from the shared representations and provides an explicit, inspectable interface to 3D scene structure. A Planning Expert conditions on shared VLM representations to generate future ego trajectories. A staged training recipe combines driving supervision with general-purpose vision-language data to acquire driving-specific competence while helping preserve broad visual understanding and instruction-following capabilities. Experiments demonstrate strong 3D perception and driving scene understanding while largely preserving general vision-language capability. Comprehensive evaluations across open-loop, pseudo-closed-loop, and closed-loop settings further show highly competitive motion-planning performance.

한 줄 요약

Qwen-Drive-1.0은 사전 학습된 시각-언어 모델에 3D 인식, 운전 질문 답변, 경로 계획을 통합한 자율 주행용 초거대 기초 모델이다.

핵심 기여도

Qwen-Drive-1.0은 사전 학습된 VLM 아키텍처를 변경하지 않고 3D 인식, 운전 VQA, 경로 계획을 통합한 첫 번째 시각-언어 기초 모델이다.
외부 BEV 인식 헤드를 도입하여 3D 객체 탐지, 의미적 점유 예측, BEV 맵 분할을 동시에 학습하며, 명시적이고 검증 가능한 3D 인식 능력을 추가했다.
단계적 학습 레시피를 통해 운전 데이터와 일반적인 시각-언어 데이터를 결합하여 운전 능력을 유지하면서도 일반 시각-언어 능력을 보존했다.
nuScenes에서 43.95 mAP, OpenScene에서 43.45 mAP를 달성하며, 3D 인식 성능이 기존 시각 기반 탐지기와 경쟁력 있다.

핵심 아이디어

Qwen-Drive-1.0은 자율 주행 분야에서 일반적인 시각-언어 모델(VLM)의 활용을 확장하기 위한 새로운 접근법을 제시한다. 기존 연구는 운전 데이터로 VLM을 재학습하여 운전 능력을 얻지만, 이는 3D 공간 정보를 명시적으로 학습하지 못하고 일반 지식을 잃을 수 있는 단점이 있다. Qwen-Drive-1.0은 이 문제를 해결하기 위해 외부 BEV 인식 헤드를 도입하여 3D 객체 탐지, 의미적 점유 예측, BEV 맵 분할을 동시에 수행하도록 설계했다. 이 헤드는 공유된 VLM 표현에서 3D 정보를 추출하는 명시적인 인터페이스 역할을 하며, 일반 시각-언어 능력을 유지하면서도 운전 특화 능력을 추가한다. 또한, 단계적 학습 레시피를 통해 운전 데이터와 일반적인 시각-언어 데이터를 결합하여 운전 능력을 향상시키는 동시에 일반 지식을 보존한다.

기술적 접근법

**모델 아키텍처**: Qwen3.5-4B를 기반으로 하며, 공유된 시각 인코더와 VLM을 사용한다.
**외부 모듈**:
**BEV 인식 헤드**: 3D 객체 탐지, 의미적 점유 예측, BEV 맵 분할을 수행.
**Planning Expert**: VLM 표현을 기반으로 미래 자율 주행 경로를 생성.
**단계적 학습 레시피**:
Stage 1: 일반적인 시각-언어 데이터로 사전 학습.
Stage 2: 운전 데이터와 3D 인식 데이터로 조합 학습.
Stage 3: 강화 학습을 통해 운전 경로 최적화.
**데이터 처리**: 다양한 데이터셋의 라벨을 통합하고, 운전 VQA 응답을 재정의하여 일관성을 유지.

주요 결과

**3D 인식**: nuScenes에서 43.95 mAP, 60.99 map mIoU; OpenScene에서 43.45 mAP, 71.27 map mIoU.
**운전 이해**: 일반적인 Qwen3.5-4B 대비 운전 QA 평균 6.55 포인트 상승.
**경로 계획**: NAVSIM에서 Predictive Driver Model Score 90.7, WOD-E2E에서 Rater Feedback Score 7.91.
**일반 시각-언어 능력**: 3D 인식 및 운전 학습 후에도 대부분 유지됨.

의의 및 한계

Qwen-Drive-1.0은 자율 주행 분야에서 VLM을 기반으로 한 통합 모델의 가능성을 보여준다. 특히, 3D 인식 헤드를 통해 명시적인 공간 정보를 처리하고, 단계적 학습을 통해 운전 능력과 일반 지식을 동시에 유지하는 점에서 학술적·실용적 가치가 있다. 또한, 단일 모델로 운전 시스템과 인텔리전트 콕핏을 통합할 수 있어 하드웨어 비용 절감과 계산 효율성 향상에 기여한다. 그러나, 현재는 단일 VLM 아키텍처를 기반으로 하기 때문에 더 복잡한 운전 상황에 대한 확장성은 명시되지 않았으며, 실제 운전 환경에서의 장기적 안정성도 추가 연구가 필요하다.

실용적 활용

Qwen-Drive-1.0은 자율 주행 차량의 운전 시스템과 인텔리전트 콕핏을 통합하는 데 활용될 수 있다. 단일 모델로 운전 경로 계획과 사용자 대화, 시각 이해를 수행할 수 있어, 하드웨어 비용을 절감하고 시스템 통합을 용이하게 한다. 또한, 다양한 운전 데이터셋을 기반으로 학습되었기 때문에, 다양한 환경에서 운전 성능을 유지할 수 있는 실용적 가치가 있다.