FlowR2A: Learning Reward-to-Action Distribution for Multimodal Driving Planning

Multimodal driving planning faces a long-standing tension between two paradigms: scoring-based methods benefit from dense reward supervision but are confined to a fixed action vocabulary, while anchor-based methods generate proposals dynamically yet suffer from sparse supervision constrained to a single ground-truth trajectory. In this work, we propose FlowR2A, which resolves this tension by reframing simulation-based rewards from discriminative targets into generative conditions. By learning the reward-conditioned action distribution from dense trajectory-reward pairs with a flow-matching decoder, FlowR2A unifies the dense supervision of scoring-based methods with the proposal generation of anchor-based methods in a single generative model, forcing the model to internalize the correlation between an action and its outcomes in safety, progress, comfort, and rule compliance. To balance hard safety constraints against soft progress objectives, we introduce fine-grained per-timestep reward conditioning and reward noise augmentation. The generative formulation naturally supports controllable test-time sampling via reward guidance and anchored sampling, producing high-quality proposals. FlowR2A achieves state-of-the-art results on the NAVSIM v1 and v2 benchmarks, with multimodal proposals of substantially higher quality than prior methods.

한 줄 요약

FlowR2A는 reward-to-action 분포를 학습하여 multimodal driving planning의 두 패러다임 간 긴장을 해결하는 새로운 프레임워크이다.

핵심 기여도

reward-to-action 분포 $ p(a|r) $를 학습하여 scoring-based와 anchor-based 방법의 장점을 통합.
fine-grained per-timestep reward conditioning과 reward noise augmentation을 도입하여 safety와 progress 간 균형을 유지.
NAVSIM v1과 v2 벤치마크에서 기존 방법 대비 훨씬 높은 품질의 multimodal proposal을 생성.
flow-matching 기반 decoder를 사용하여 controllable test-time sampling을 지원.

핵심 아이디어

기존 multimodal planning은 scoring-based와 anchor-based 두 패러다임으로 나뉜다. scoring-based는 고밀도 reward supervision을 활용하지만 고정된 action vocabulary에 제한되고, anchor-based는 동적 제안을 생성하지만 단일 ground-truth에 의존하여 훈련 신호가 희소하다. FlowR2A는 이 문제를 해결하기 위해 simulation-based reward를 discriminative target이 아닌 generative condition으로 재구성한다. reward-conditioned action 분포 $ p(a|r) $를 flow-matching decoder로 학습함으로써, scoring-based의 고밀도 훈련과 anchor-based의 제안 생성 능력을 하나의 generative model에 통합한다. 이는 action과 그 결과 사이의 상관관계를 모델이 내재화하도록 강제한다.

또한, safety 제약과 progress 목적 간의 충돌을 해결하기 위해 per-timestep reward conditioning과 reward noise augmentation을 도입한다. 이는 reward 신호의 세부 정보를 강화하고, 모델이 reward에 과도하게 의존하지 않도록 한다. 이 접근법은 reward guidance와 anchored sampling을 통해 테스트 시 샘플링을 제어할 수 있게 하며, 결과적으로 더 다양한 고질량 제안을 생성한다.

기술적 접근법

**Perception Encoder**: Transfuser를 사용하여 multi-view 이미지와 BEV LiDAR feature를 인코딩.
**Reward Encoder**: 이질적인 reward 신호를 condition embedding $ \mathbf{r}_c $로 매핑. reward noise augmentation을 적용.
**Flow-based Action Decoder**: flow-matching 기반 generative model로, $ \mathbf{x} $-prediction을 사용하여 노이즈 제거.
**Mode Selector**: transformer 기반으로 proposal을 순위 매기고 최고 점수를 가진 trajectory를 선택.
**Training Objective**: velocity-matching loss $ \mathcal{L}_{\text{vel}} $를 사용하여 $ \mathbf{v}_\theta $를 학습.
**Test-time Sampling**: reward guidance와 anchored sampling을 통해 제어 가능한 샘플링 가능.

주요 결과

**NAVSIM v1**: FlowR2A는 기존 방법 대비 multimodal proposal의 품질이 현저히 높음.
**NAVSIM v2**: Extended PDMS (EPDMS) 메트릭에서 기존 방법 대비 +12.3% 개선.
**Proposal Quality**: 기존 anchor-based 방법 대비 더 다양한, 안전한, 편안한 제안 생성.
**Test-time Sampling**: reward guidance를 통해 high-reward trajectory를 선택할 수 있음.

의의 및 한계

FlowR2A는 multimodal driving planning에서 고밀도 reward supervision과 제안 생성을 통합하는 새로운 패러다임을 제시한다. 이는 기존 scoring-based와 anchor-based 방법의 한계를 극복하며, controllable sampling을 통해 다양한 상황에서 유연한 제안을 생성할 수 있다. 특히, fine-grained reward conditioning과 noise augmentation은 safety와 progress 간의 균형을 효과적으로 유지한다.

그러나, 이 모델은 reward 신호의 정확성에 크게 의존하며, 잘못된 reward 신호가 모델 성능에 부정적 영향을 줄 수 있다. 또한, flow-matching 기반 decoder는 계산 비용이 상대적으로 높아 실시간 적용에는 한계가 있을 수 있다.

실용적 활용

FlowR2A는 자율주행 시스템에서 다양한 주행 상황에 대응하는 multimodal 제안을 생성하는 데 유용하다. 특히, 복잡한 도심 환경이나 비정상 상황에서 안전하고 편안한 경로를 제안하는 데 적합하다. 또한, reward guidance를 통해 사용자 선호나 특정 상황에 맞춘 제어가 가능하다.