Deferred Exposure of Future Trajectories for Verifiable Reasoning in Autonomous Driving VLMs

Recent Vision-Language-Action (VLA) models for autonomous driving (AD) increasingly utilize chain-of-thought (CoT) supervision to enhance the reasoning capabilities of their Vision-Language Model (VLM) components, yet existing annotation pipelines commonly expose the teacher model to the logged ground-truth (GT) future trajectory. We empirically show that this induces trajectory anchoring bias: teacher models rationalize the revealed outcome rather than infer a decision from scene evidence, producing less causally faithful CoTs and substantially more severe hallucinations, especially in causally challenging scenes. Removing the GT trajectory eliminates this shortcut, but open-ended trajectory generation entangles high-level decision-making with precise geometric synthesis and low-level dynamics. To make trajectory-level driving decisions verifiable without requiring open-ended trajectory synthesis, we introduce Autonomous-Driving Multiple-Choice Question (AD-MCQ), which casts planning as selection among explicit trajectory candidates. Taking this a step further, we propose Deferred Exposure of Future Trajectories for RLVR (DEFT-RLVR) to transform future trajectories from pre-decision anchors into post-decision verification targets. Experimental results show that DEFT-RLVR improves AD reasoning while preserving or even enhancing general visual capabilities. With VLM-only inference and controllable difficulty through candidate construction, AD-MCQ provides a flexible, scalable, and extensible foundation for future research on verifiable AD reasoning.

한 줄 요약

자율주행 VLM에서 미래 경로를 지연 노출하여 검증 가능한 추론을 구현하는 DEFT-RLVR과 AD-MCQ를 제안한다.

핵심 기여도

**Trajectory anchoring bias**를 식별하고, GT 경로 노출이 특히 인과적으로 어려운 상황에서 심각한 환상(hallucination)을 유발함을 실증적으로 입증.
**AD-MCQ**라는 경로 후보 선택형 벤치마크를 도입하여, 개방형 경로 생성 없이도 경로 수준의 결정을 검증 가능하게 함.
**DEFT-RLVR**를 제안하여, 미래 경로를 결정 후에 노출함으로써 추론 과정을 인과적으로 믿을 수 있는 방향으로 유도.
DEFT-RLVR는 VLM의 일반 시각 능력을 유지하거나 향상시키며, 다양한 VLM 백본에서 일관된 성능 향상을 보임.

핵심 아이디어

기존 자율주행 VLA 모델에서 VLM은 CoT 감독을 통해 추론 능력을 향상시키지만, GT 경로에 과도하게 의존하게 되면 **trajectory anchoring bias**가 발생한다. 이는 모델이 실제 장면 증거가 아닌 이미 알려진 결과를 합리화하게 만들며, 특히 인과적으로 복잡한 상황에서 심각한 환상을 유발한다. 이를 해결하기 위해, **DEFT-RLVR**은 미래 경로를 **사전 결정 조건이 아닌 사후 검증 대상**으로 전환한다. 즉, 정책이 장면 기반 결정을 내린 후에야 후보 경로를 노출함으로써, 추론 과정을 보다 인과적으로 믿을 수 있는 방향으로 유도한다.

또한, **AD-MCQ**는 경로 후보 선택 문제를 통해, 개방형 경로 생성 없이도 정확한 경로 결정을 검증 가능하게 한다. 이는 경로 후보가 브레이킹 시간, 속도 프로파일, 횡방향 기하학을 구분함으로써, 각 선택지가 구체적인 계획에 기반하도록 설계되었다.

기술적 접근법

**Trajectory anchoring bias**: GT 경로 노출이 CoT 추론의 인과적 신뢰도를 낮추고, 환상 발생률을 증가시킴.
**AD-MCQ**: 경로 후보 선택형 벤치마크로, 경로 수준 결정을 검증 가능하게 하며, CoT 감독 없이도 정확한 선택을 평가 가능.
**DEFT-RLVR**: 미래 경로를 정책 결정 후에 노출함으로써, 추론 과정을 사전 조건이 아닌 사후 검증 대상으로 전환.
**VLM-only inference**: AD-MCQ는 VLM만을 사용하여 추론 및 결정을 수행하며, 후보 구성으로 난이도 조절 가능.
**RLVR (Reasoning, Language, Vision, and Reasoning)**: 추론 과정을 언어 및 시각 정보와 결합하여, 정확한 경로 선택을 유도.

주요 결과

**Trajectory anchoring bias**는 GT 조건이 주어진 CoT가 인과적 신뢰도가 낮고, 특히 어려운 인과 상황에서 환상 발생률이 높음.
**DEFT-RLVR**는 다양한 VLM 백본에서 자율주행 추론을 개선하면서, 전체 시각 능력을 유지하거나 향상.
**AD-MCQ**는 경로 후보 선택을 통해, 개방형 경로 생성 없이도 정확한 결정을 검증 가능하며, 난이도 조절이 용이.
**DEFT-RLVR**는 CoT 감독 없이도 정확한 경로 결정을 가능하게 하며, 후보 정확도와 질문별 과정 감독을 통해 추론 품질을 향상.

의의 및 한계

**의의**: DEFT-RLVR과 AD-MCQ는 자율주행 VLM에서 인과적으로 믿을 수 있는 추론을 가능하게 하며, VLM 기반 추론의 확장성과 검증 가능성을 높인다.
**한계**: AD-MCQ는 후보 구성에 따라 성능이 달라질 수 있으며, 후보가 제한적이면 실제 세계의 복잡한 경로 결정을 포착하기 어려울 수 있음.
**추론 품질 향상**: DEFT-RLVR는 추론 과정을 사후 검증 중심으로 전환함으로써, 정책의 결정 품질을 개선하지만, 실제 환경에서의 동적 반응 능력은 추가 연구가 필요.

실용적 활용

**자율주행 시스템 개발**: DEFT-RLVR과 AD-MCQ는 VLM 기반 추론 모델의 검증 가능성을 높여, 안전한 자율주행 정책 설계에 활용 가능.
**VLM 기반 추론 연구**: 후보 구성 기반의 AD-MCQ는 다양한 VLM 백본에서 추론 성능을 평가할 수 있는 벤치마크로 활용 가능.
**산업적 확장성**: VLM-only 인프라를 기반으로 하므로, 기존 시스템에 쉽게 통합 가능하며, 후보 구성으로 난이도 조절이 용이.