VLP: Vision Language Planning for Autonomous Driving

Autonomous driving is a complex and challenging task that aims at safe motion planning through scene understanding and reasoning. While vision-only autonomous driving methods have recently achieved notable performance, through enhanced scene understanding, several key issues, including lack of reasoning, low generalization performance and long-tail scenarios, still need to be addressed. In this paper, we present VLP, a novel Vision-Language-Planningframework that exploits language models to bridge the gap between linguistic understanding and autonomous driving. VLP enhances autonomous driving systems by strengthening both the source memory foundation and the self-driving car's contextual understanding. VLP achieves state-of-the-art end-to-end planning performance on the challenging NuScenes dataset by achieving 35.9% and 60.5% reduction in terms of average L2 error and collision rates, respectively, compared to the previous best method. Moreover, VLP shows improved performance in challenging long-tail scenarios and strong generalization capabilities when faced with new urban environments.

한 줄 요약

VLP는 언어 모델을 활용한 시각-언어-계획 프레임워크로, NuScenes 데이터셋에서 기존 최고 모델 대비 35.9%의 L2 오차 감소와 60.5%의 충돌률 감소를 달성했다.

핵심 기여도

VLP(Vision-Language-Planning) 프레임워크를 제안하여, 언어 모델을 자율주행 시스템에 통합함으로써 추론 능력과 일반화 성능을 향상시킴.
ALP(Agent-centric Learning Paradigm)와 SLP(Self-driving-car-centric Learning Paradigm)라는 두 가지 새로운 모듈을 도입하여, 각각 BEV 추론과 계획 결정 과정을 개선함.
NuScenes 데이터셋에서 기존 최고 성능 대비 35.9%의 L2 오차 감소와 60.5%의 충돌률 감소를 달성함.
새로운 도시 환경에서의 제로샷 일반화 성능을 처음으로 평가하여, 시각 기반 모델 대비 우수함을 입증함.

핵심 아이디어

자율주행 시스템에서 시각 정보만을 기반으로 한 기존 방법은 추론 능력 부족과 일반화 성능 저하, 장미사례(long-tail scenarios) 대응력 부족 등의 문제를 안고 있다. 본 연구는 인간이 시각 정보를 언어적 추론과 결합하여 처리하는 방식을 모방하여, 대규모 언어 모델(LLM)의 추론 능력을 자율주행 시스템에 통합하는 새로운 접근법을 제안한다. VLP는 ALP와 SLP라는 두 가지 핵심 모듈을 통해, 각각 BEV(Bird's Eye View) 추론과 계획 결정 과정을 언어 모델의 지식과 일관된 논리 흐름을 활용하여 강화한다. ALP는 BEV 특징 공간을 언어 모델의 일관된 특징 공간과 정렬함으로써, 로컬 세부 정보의 의미를 강화하고 추론 능력을 향상시키며, SLP는 언어 모델의 지식을 활용하여 계획 쿼리의 형성 과정을 보다 안정적이고 정보적으로 만든다.

기술적 접근법

**VLP(Vision-Language-Planning) 프레임워크**: 시각 정보와 언어 모델을 결합한 새로운 자율주행 프레임워크.
**ALP(Agent-centric Learning Paradigm)**: BEV 특징 공간을 언어 모델의 일관된 특징 공간과 정렬하여, 로컬 세부 정보의 의미를 강화하고 추론 능력을 향상시킴.
**SLP(Self-driving-car-centric Learning Paradigm)**: 언어 모델의 지식을 활용하여, 계획 쿼리의 형성 과정을 보다 안정적이고 정보적으로 만듦.
**BEV(Bird's Eye View) 특징 추출**: 다중 카메라 데이터를 구조화된 상부 뷰로 변환하여, 주변 환경 정보를 통합.
**Prompt Format**: 계획 능력 향상을 위해, 라벨, 경계 상자, 궤적, 고급 명령어 등 모든 지도 정보를 포함한 프롬프트를 사용.
**Transformer 기반 P3 모듈**: 3D 객체 추적, 맵핑, 운동 예측, 점유 예측, 계획 등 다중 작업 처리.

주요 결과

**NuScenes 데이터셋**: 기존 최고 성능 대비 **35.9%의 L2 오차 감소**와 **60.5%의 충돌률 감소**를 달성함.
**장미사례(long-tail scenarios)**: 기존 시각 기반 모델 대비 **추론 능력과 안정성 향상**을 보임.
**새로운 도시 환경**: **제로샷 일반화 성능**에서 시각 기반 모델 대비 **우수한 성능**을 보임.
**SLP와 ALP의 효과**: 실험 결과, 두 모듈 모두 **계획 능력과 안전성 향상에 필수적**임을 입증함.

의의 및 한계

VLP는 자율주행 시스템에서 언어 모델의 추론 능력을 활용함으로써, 기존 시각 기반 모델의 일반화 성능 저하와 장미사례 대응력 부족 문제를 해결하는 데 기여한다. 특히, NuScenes 데이터셋에서 기존 최고 성능 대비 35.9%의 L2 오차 감소와 60.5%의 충돌률 감소를 달성함으로써, 실제 도로 환경에서의 안전성과 신뢰성을 높일 수 있음을 입증한다. 또한, 새로운 도시 환경에서의 제로샷 일반화 성능을 평가한 것은 이 분야에서 최초로, 실용적 적용 가능성을 강화한다. 그러나 현재 실험은 NuScenes 데이터셋과 카메라 모달에만 제한되어 있으며, 다양한 데이터셋과 센서 모달에 대한 평가가 필요하다는 한계가 있다.

실용적 활용

VLP는 도시 환경에서의 자율주행 차량, 특히 새로운 도시나 예측 불가능한 상황에서 안정적인 운행이 필요한 시스템에 적용 가능하다. 또한, 장미사례 대응력이 높은 모델로, 고급 자율주행 시스템 개발 및 테스트 환경에서 유용하게 활용될 수 있다.