GoalFlow: Goal-Driven Flow Matching for Multimodal Trajectories Generation in End-to-End Autonomous Driving

We propose GoalFlow, an end-to-end autonomous driving method for generating high-quality multimodal trajectories. In autonomous driving scenarios, there is rarely a single suitable trajectory. Recent methods have increasingly focused on modeling multimodal trajectory distributions. However, they suffer from trajectory selection complexity and reduced trajectory quality due to high trajectory divergence and inconsistencies between guidance and scene information. To address these issues, we introduce GoalFlow, a novel method that effectively constrains the generative process to produce high-quality, multimodal trajectories. To resolve the trajectory divergence problem inherent in diffusion-based methods, GoalFlow constrains the generated trajectories by introducing a goal point. GoalFlow establishes a novel scoring mechanism that selects the most appropriate goal point from the candidate points based on scene information. Furthermore, GoalFlow employs an efficient generative method, Flow Matching, to generate multimodal trajectories, and incorporates a refined scoring mechanism to select the optimal trajectory from the candidates. Our experimental results, validated on the Navsim[7], demonstrate that GoalFlow achieves state-of-the-art performance, delivering robust multimodal trajectories for autonomous driving. GoalFlow achieved PDMS of 90.3, significantly surpassing other methods. Compared with other diffusion-policy-based methods, our approach requires only a single denoising step to obtain excellent performance. The code is available at https://github.com/YvanYin/GoalFlow.

한 줄 요약

GoalFlow는 목표 점 기반 흐름 매칭을 활용해 자율 주행에서 다중 모드 경로를 생성하는 신규 엔드투엔드 시스템이다.

핵심 기여도

**Goal Point Construction Module**을 도입하여 경로 생성 모델을 강력히 제약함.
**Flow Matching**을 자율 주행에 처음 적용하여 단일 디노이징 단계로 뛰어난 성능 달성 (PDMS 90.3).
**Trajectory Scorer**를 통해 최적 경로를 선택함으로써 경로 품질을 향상시킴.
Navsim 데이터셋에서 기존 방법 대비 DAC 점수 5.5, EP 점수 5.7 개선.

핵심 아이디어

자율 주행에서 단일 경로보다는 다양한 경로 후보를 생성하는 다중 모드 경로 생성이 중요하다. 그러나 기존 확산 기반 방법은 경로 분산과 가이드라인-현실 불일치로 인해 품질 저하 문제가 발생한다. GoalFlow는 이 문제를 해결하기 위해 **목표 점**(goal point)을 도입하여 생성 과정을 제약한다. 목표 점은 **Scene 정보 기반 점수 메커니즘**을 통해 드라이빙 영역 내에서 가장 적절한 후보를 선택한다. 이후, **Flow Matching** 알고리즘을 사용해 효율적으로 다중 모드 경로를 생성하며, **Trajectory Scorer**를 통해 최적 경로를 선정한다. 이는 확산 기반 방법 대비 단일 디노이징 단계로도 뛰어난 성능을 보이는 이유이다.

기술적 접근법

**Perception Module**: 이미지와 LiDAR를 각각의 백본에 입력하고, 최종적으로 **BEV feature**로 퓨전.
**Goal Point Construction Module**: 드라이빙 영역 내에서 **목표 점 후보군**을 생성하고, **Scene 정보 기반 점수 메커니즘**으로 최적 점을 선택.
**Trajectory Planning Module**: **Flow Matching** 알고리즘을 사용해 경로 생성.
**Trajectory Scorer**: 생성된 128/256개 경로 중 최적 경로를 선택.
**Flow Matching**은 **Rectified Flow** 기반으로, **Classifier-Free Guidance**를 사용해 모델의 robustness를 향상.
**Inference 단계**: 단일 디노이징 단계로도 성능 저하가 1.6% 미만으로 유지됨.

주요 결과

**Navsim 데이터셋**에서 **PDMS 90.3** 달성, 기존 방법 대비 **+5.5 DAC**, **+5.7 EP** 개선.
**단일 디노이징 단계**에서도 최적 성능 대비 1.6% 이하의 점수 저하.
**Flow Matching**은 확산 기반 방법 대비 **6%의 추론 시간 감소**를 기록.
**V2-99 백본**에서 **1024 hidden dimension**이 최고 성능을 보임.

의의 및 한계

GoalFlow는 자율 주행에서 다중 모드 경로 생성의 정확성과 효율성을 동시에 달성한 첫 번째 시도로, 특히 **Flow Matching**의 도입이 기존 확산 모델의 단점을 극복하는 데 기여한다. 또한, **목표 점 기반 점수 메커니즘**은 경로 생성 과정을 현실적이고 안전하게 제약하는 데 효과적이다. 그러나 **목표 점 예측 오류**가 있을 경우, **Trajectory Scorer**가 이를 보완해야 하며, 이는 여전히 한계로 남는다. 또한, **목표 점 분포**의 다양성과 **경로 다양성** 간의 균형을 유지하는 것이 중요하다는 점도 지적된다.

실용적 활용

GoalFlow는 자율 주행 시스템에서 안전한 다중 경로 후보를 생성하는 데 활용 가능하다. 특히, 실시간 성능이 요구되는 상황에서 **단일 디노이징 단계**로도 뛰어난 결과를 내는 점이 유리하다. 또한, **BEV 기반 퓨전**과 **Flow Matching**의 조합은 다양한 센서 데이터를 활용한 경로 생성에 적합하다.