Orion: A Holistic End-To-End Autonomous Driving Framework by Vision-Language Instructed Action Generation

End-to-end (E2E) autonomous driving methods still struggle to make correct decisions in interactive closed-loop evaluation due to limited causal reasoning capability. Current methods attempt to leverage the powerful understanding and reasoning abilities of Vision-Language Models (VLMs) to resolve this dilemma. However, the problem is still open that few VLMs for E2E methods perform well in the closed-loop evaluation due to the gap between the semantic reasoning space and the purely numerical trajectory output in the action space. To tackle this issue, we propose ORION, a hOlistic E2E autonomous dRiving framework by vIsion-language instructed actiON generation. ORION uniquely combines a QT-Former to aggregate long-term history context, a Large Language Model (LLM) for driving scenario reasoning, and a generative planner for precision trajectory prediction. ORION further aligns the reasoning space and the action space to implement a unified E2E optimization for both visual question-answering (VQA) and planning tasks. Our method achieves an impressive closed-loop performance of 77.74 Driving Score (DS) and 54.62 % Success Rate (SR) on the challenge Bench2Drive datasets, which outperforms state-of-the-art (SOTA) methods by a large margin of 14.28 DS and $19.61 \% S R$.

한 줄 요약

ORION은 QT-Former, LLM, 생성형 플래너를 결합해 Bench2Drive에서 77.74 DS, 54.62% SR을 달성한 종단간 자율주행 프레임워크이다.

핵심 기여도

QT-Former를 도입해 장기 시각 맥락을 효과적으로 집약하고, VLM의 추론과 행동 공간을 통합.
생성형 플래너를 통해 VLM의 추론 공간과 수치적 트랙터리 공간 간의 간극을 해소.
Bench2Drive 데이터셋에서 77.74 Driving Score (DS)와 54.62% Success Rate (SR)를 달성, 기존 최고 성능 대비 각각 +14.28 DS, +19.61% SR 개선.
VAE 기반 생성형 플래너가 Diffusion 모델 대비 +7.01 DS, +9.5% SR 향상.

핵심 아이디어

기존 자율주행 시스템은 VLM의 추론 능력과 트랙터리 예측 사이의 공간 간극을 해소하지 못해 복잡한 상황에서 제한적이었다. ORION은 이 문제를 해결하기 위해 생성형 모델을 활용해 추론 공간과 행동 공간을 통일한 새로운 프레임워크를 제안한다. 구체적으로, QT-Former는 장기 시각 맥락을 압축하고, LLM은 주행 시나리오를 추론하며, 생성형 플래너는 다중 모달 트랙터리 예측을 수행한다. 이는 VLM의 추론 정보를 트랙터리 생성에 직접적으로 연결함으로써, 장면 정보와 주행 행동 간 인과 관계를 효과적으로 포착한다.

기술적 접근법

**QT-Former**: 장기 시각 맥락을 압축하고, 메모리 뱅크와 히스토리 쿼리를 활용해 과거 정보를 저장 및 추출.
**LLM**: 사용자 지시와 압축된 장면 정보를 결합해 추론 및 트랙터리 토큰 생성.
**생성형 플래너**: VAE 기반으로 VLM 추론 공간과 트랙터리 행동 공간을 통일.
**하이퍼파라미터**: 히스토리 쿼리 수 $N_h = 16$일 때 최적 성능 달성 (74.10 DS, 44.66% SR).
**데이터셋**: Bench2Drive (CARLA 기반)에서 평가.

주요 결과

Bench2Drive 데이터셋에서 ORION은 77.74 DS, 54.62% SR 달성.
기존 최고 성능 대비 +14.28 DS, +19.61% SR 개선.
VAE 기반 생성형 플래너는 Diffusion 모델 대비 +7.01 DS, +9.5% SR 향상.
QT-Former 도입으로 기존 DriveAdapter 대비 +18.32 DS, +23.26% SR 향상.

의의 및 한계

ORION은 VLM의 추론 능력을 트랙터리 생성에 직접적으로 활용함으로써, 기존 메타-액션 기반 이중 시스템의 한계를 극복한다. 특히, QT-Former를 통해 장기 시각 맥락을 효과적으로 처리하고, 생성형 플래너를 통해 다중 모달 트랙터리 예측을 가능하게 함으로써, 복잡한 상황에서도 안정적인 주행 성능을 보인다. 그러나 히스토리 쿼리 수가 증가할수록 성능이 감소하는 경향이 있어, 과도한 정보 부하에 대한 최적화가 필요하다. 또한, VLM의 추론 능력이 제한적인 상황에서는 성능 저하가 발생할 수 있다.

실용적 활용

ORION은 복잡한 도로 환경에서 정확한 트랙터리 예측이 필요한 자율주행 차량 개발에 적용 가능하다. 특히, VLM을 활용한 추론 기반 주행 시스템을 구축하는 연구 및 산업 현장에서 유용하게 활용될 수 있다. 또한, 생성형 모델과 VLM의 결합 방식은 다른 멀티모달 시스템 개발에도 참고가 될 수 있다.