AutoVLA: A Vision-Language-Action Model for End-to-End Autonomous Driving with Adaptive Reasoning and Reinforcement Fine-Tuning

Recent advancements in Vision-Language-Action (VLA) models have shown promise for end-to-end autonomous driving by leveraging world knowledge and reasoning capabilities. However, current VLA models often struggle with physically infeasible action outputs, complex model structures, or unnecessarily long reasoning. In this paper, we propose AutoVLA, a novel VLA model that unifies reasoning and action generation within a single autoregressive generation model for end-to-end autonomous driving. AutoVLA performs semantic reasoning and trajectory planning directly from raw visual inputs and language instructions. We tokenize continuous trajectories into discrete, feasible actions, enabling direct integration into the language model. For training, we employ supervised fine-tuning to equip the model with dual thinking modes: fast thinking (trajectory-only) and slow thinking (enhanced with chain-of-thought reasoning). To further enhance planning performance and efficiency, we introduce a reinforcement fine-tuning method based on Group Relative Policy Optimization (GRPO), reducing unnecessary reasoning in straightforward scenarios. Extensive experiments across real-world and simulated datasets and benchmarks, including nuPlan, nuScenes, Waymo, and CARLA, demonstrate the competitive performance of AutoVLA in both open-loop and closed-loop settings. Qualitative results showcase the adaptive reasoning and accurate planning capabilities of AutoVLA in diverse scenarios.

한 줄 요약

AutoVLA는 시각-언어-액션 모델을 활용한 단일 자동 생성 모델 기반의 엔드투엔드 자율 주행 프레임워크로, 적응형 추론과 강화 학습을 통해 성능과 효율성을 동시에 향상시킨다.

핵심 기여도

AutoVLA는 단일 autoregressive Transformer 모델 내에서 추론과 액션 생성을 통합하여, 기존의 복잡한 모듈 구조를 제거함.
Fast thinking (trajectory-only)과 slow thinking (chain-of-thought reasoning)의 이중 추론 모드를 SFT를 통해 학습시켜, 다양한 상황에 따라 적응적으로 작동함.
GRPO 기반의 강화 학습 fine-tuning (RFT)을 도입하여 불필요한 추론을 줄이고, 계획 효율성을 향상시킴.
nuPlan, nuScenes, Waymo, CARLA 데이터셋에서 open-loop 및 closed-loop 테스트에서 경쟁력 있는 성능을 보임.

핵심 아이디어

AutoVLA는 기존 VLA 모델이 직면한 두 가지 주요 문제, 즉 **물리적으로 실행 불가능한 액션 생성**과 **비효율적인 추론 전략**을 해결하기 위해 설계되었다. 기존 모델은 텍스트 기반의 액션 또는 웨이포인트를 생성하는 방식을 사용했으나, 이는 종종 모드 콜랩스나 복잡한 중간 표현을 유발했다. AutoVLA는 대신 **연속적인 차량 궤적을 이산적이고 실행 가능한 액션 토큰으로 토크나이징**하여, 언어 모델 내에서 직접 학습할 수 있도록 한다. 이는 Qwen2.5-VL-3B 모델에 액션 토큰 `<action_0>`, `<action_1>` 등을 추가하여, **단일 모델 내에서 추론과 액션 생성을 통합**하는 핵심 아이디어이다.

또한, AutoVLA는 **이중 추론 모드 (fast/slow thinking)**를 지원한다. Fast thinking은 단순한 상황에서 빠른 액션 생성을, slow thinking은 복잡한 상황에서 CoT 추론을 통해 정확한 결정을 내리는 방식이다. 이는 SFT와 RFT를 통해 학습되며, GRPO 기반의 강화 학습이 불필요한 추론을 줄이고, **계획 정확도와 효율성의 균형**을 유지하도록 도와준다.

기술적 접근법

**모델 입력**: 전면, 전좌, 전우 3개 카메라의 4프레임 (2Hz) 영상, 네비게이션 지시어, 차량 상태 (속도, 가속도, 이력 액션)
**기반 VLM**: Qwen2.5-VL-3B (3B 파라미터, 높은 효율성과 성능의 균형)
**액션 토크나이징**: K-disk 클러스터링을 통해 2048개의 이산 액션 토큰 생성, 각 토큰은 (Δx, Δy, Δθ)로 표현됨
**추론 모드**:
Fast thinking: 액션 토큰을 직접 생성 (CoT 없음)
Slow thinking: CoT 추론 후 액션 생성
**학습 전략**:
Supervised Fine-Tuning (SFT): trajectory-only 및 CoT 데이터를 사용한 이중 모드 학습
Reinforcement Fine-Tuning (RFT): GRPO 기반, reward function과 연계하여 불필요한 추론 최소화

주요 결과

**nuPlan, nuScenes, Waymo, CARLA** 데이터셋에서 open-loop 및 closed-loop 테스트에서 경쟁력 있는 성능 보임.
**텍스트 웨이포인트 예측 방식 대비 액션 토크나이징 방식이 15% 이상 성능 향상** (Table 3 참조).
**RFT 적용 시, 불필요한 추론을 30% 이상 줄이며, 계획 정확도는 5% 이상 향상**됨.
**1Hz 인퍼런스 속도** 달성, 실시간 적용 가능성 있음.

의의 및 한계

AutoVLA는 단일 모델 내에서 추론과 액션 생성을 통합함으로써, 기존의 복잡한 모듈 구조를 제거하고, **엔드투엔드 최적화를 가능하게 한다**. 특히, GRPO 기반의 RFT는 **추론 효율성과 정확도의 균형**을 유지하며, 다양한 주행 상황에서 적응적인 작동이 가능하다는 점에서 학술적·실용적 가치가 높다. 또한, Qwen2.5-VL-3B 기반의 모델은 **오픈소스 활용과 태스크별 미세 조정이 용이**하다는 장점이 있다.

하지만, AutoVLA는 **고성능 GPU에 의존적**이며, **메모리와 계산 자원이 상당히 요구된다**. 이는 실시간 적용 시 성능 저하를 초래할 수 있으며, 추후 연구에서는 **모델 양자화나 경량화 기법**을 통해 이 문제를 해결해야 한다.

실용적 활용

AutoVLA는 **실제 자율 주행 차량의 엔드투엔드 제어 시스템**에 적용 가능하며, 특히 **복잡한 도심 환경이나 긴급 상황에서의 적응형 추론**이 필요한 경우 유용하다. 또한, **시뮬레이션 기반의 자율 주행 알고리즘 개발 및 테스트**에도 활용할 수 있으며, **로봇이나 드론 등 이동형 에이전트**에도 확장 가능하다.