SafeDriveVLA: Navigation-Conditioned World Model Dreaming for Conflict-Aware End-to-End Autonomous Driving

Vision-Language-Action (VLA) models are gaining attention in autonomous driving, inheriting commonsense priors from large language models (LLMs) and widening the navigation interface from a fixed command set to free-form natural-language instructions. However, this open-ended interface exposes a new vulnerability surface: an inattentive driver may issue instructions that are unsafe given the current scene, and a malicious user may issue dangerous ones on purpose. We present the first benchmark suite that evaluates navigation following and conflict awareness together, along with adversarial robustness. Existing VLAs fall short on both: SimLingo completes no language-instructed lane change in closed loop, and all models degrade sharply under conflicting signals. We propose SafeDriveVLA, the first driving VLA that (1) explicitly predicts a three-level navigation-compliance mode to decouple conflict reasoning from action generation, and (2) uses navigation-conditioned world model dreaming to inform this prediction. Unlike prior world models that roll out expert or planned actions, ours dreams of strictly following the navigation signal, showing when following is safe. SafeDriveVLA reaches 88.16 Driving Score (DS) and 68.64% Success Rate (SR) on Bench2Drive, lifts closed-loop language following by 49.3% and reduces collisions under unsafe instructions from 60 to 38 compared to the best SimLingo variant. Video demonstrations are available on our project page.

한 줄 요약

SafeDriveVLA는 언어-주행 충돌을 감지하고 안전한 실행을 보장하기 위해 내비게이션-조건화 월드 모델과 3단계 준수 모드를 도입한 첫 번째 VLA 자율주행 모델이다.

핵심 기여도

**3단계 내비게이션 준수 모드**(strict, cautious, fallback)를 도입하여 충돌 판단과 행동 생성을 분리.
**내비게이션-조건화 월드 모델**(navigation-conditioned world model dreaming)을 사용해 안전한 내비게이션 신호를 시뮬레이션.
Bench2Drive에서 **88.16 Driving Score (DS)**, **68.64% Success Rate (SR)** 달성.
SimLingo 대비 **49.3% 개선된 언어 지시 준수율**, 충돌 감소 (60 → 38).

핵심 아이디어

기존 VLA 모델은 내비게이션 신호와 현지 상황 간 충돌을 처리하지 못해 안전 문제가 발생한다. SafeDriveVLA는 이 문제를 해결하기 위해 **3단계 준수 모드**(strict, cautious, fallback)를 도입하여 충돌 판단을 행동 생성과 분리한다. 이는 모델이 명시적으로 "언제 어떤 신호를 따를지" 판단하도록 유도한다. 또한, **내비게이션-조건화 월드 모델**을 통해 내비게이션 신호를 **엄격히 따를 때의 결과를 시뮬레이션**하여 안전성을 평가한다. 이는 기존 월드 모델이 전문가 행동 또는 계획된 경로를 시뮬레이션하는 것과 달리, **내비게이션 신호에 기반한 실행 가능성**을 평가하는 새로운 접근법이다.

기술적 접근법

**3단계 준수 모드**(strict, cautious, fallback)를 전문가 데이터에 라벨링하고, 행동 생성 전에 이 모드 토큰을 삽입.
**내비게이션-조건화 월드 모델**은 내비게이션 신호를 **엄격히 따를 때의 결과를 시뮬레이션**하여 충돌 여부를 예측.
**모델 아키텍처**: InternVL3-1B 기반, 액션 코드북, 경로 헤드 사용.
**데이터셋**: Bench2Drive, CARLA-F, B2D-C, B2D-Adv 사용.
**하이퍼파라미터**: 1.0배 데이터 규모에서 학습.
**모델 성능 비교**: SimLingo 대비 언어 지시 준수율 49.3% 개선, 충돌 감소 60 → 38.

주요 결과

**Bench2Drive**: 88.16 Driving Score (DS), 68.64% Success Rate (SR) 달성.
**CARLA-F**: 언어 지시 준수율 55.1% → 83.0% (49.3% 개선).
**B2D-C**: 충돌 감소 60 → 38.
**B2D-Adv**: 최고 점수 83.9 DS 달성 (기존 78.6 대비 +5.3).

의의 및 한계

SafeDriveVLA는 VLA 모델에서 발생하는 **내비게이션-현지 상황 충돌**(navigation-scene conflict) 문제를 체계적으로 평가하고 해결하는 첫 번째 시도이다. 특히, **3단계 준수 모드**와 **내비게이션-조건화 월드 모델**은 충돌 판단과 행동 생성을 분리함으로써 안전성을 향상시키는 데 기여한다. 그러나 **속도 예측 능력 부족**이 한계로 지적되며, 이는 월드 모델이 속도 정보를 포함하지 않아 발생한다. 또한, **turn_left** 명령어에 대한 모드 예측 정확도가 낮아(0.770), 보호되지 않은 좌회전 상황에서의 판단이 어려운 것으로 나타났다.

실용적 활용

SafeDriveVLA는 **실제 차량에 탑재된 VLA 시스템**(예: Li Auto, NVIDIA Alpamayo)에서 안전한 내비게이션 신호 처리를 지원할 수 있다. 특히, **위험한 지시를 내리는 사용자**(malicious user)나 **주의력 결여 운전자**(inattentive driver) 상황에서의 안정성을 높이는 데 유용하다. 또한, **자율주행 모델의 정책 학습**(policy learning)과 **안전성 평가**에 활용될 수 있다.