FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving

Vision-Language-Action (VLA) models offer significant potential for end-to-end driving, yet their reasoning is often constrained by textual Chains-of-Thought (CoT). This symbolic compression of visual information creates a modality gap between perception and planning by blurring spatio-temporal relations and discarding fine-grained cues. We introduce FSDrive, a framework that empowers VLAs to"think visually"using a novel visual spatio-temporal CoT. FSDrive first operates as a world model, generating a unified future frame that combines a predicted background with explicit, physically-plausible priors like future lane dividers and 3D object boxes. This imagined scene serves as the visual spatio-temporal CoT, capturing both spatial structure and temporal evolution in a single representation. The same VLA then functions as an inverse-dynamics model to plan trajectories conditioned on current observations and this visual CoT. We enable this with a unified pre-training paradigm that expands the model's vocabulary with visual tokens and jointly optimizes for semantic understanding (VQA) and future-frame prediction. A progressive curriculum first generates structural priors to enforce physical laws before rendering the full scene. Evaluations on nuScenes and NAVSIM show FSDrive improves trajectory accuracy and reduces collisions, while also achieving competitive FID for video generation with a lightweight autoregressive model and advancing scene understanding on DriveLM. These results confirm that our visual spatio-temporal CoT bridges the perception-planning gap, enabling safer, more anticipatory autonomous driving. Code is available at https://github.com/MIV-XJTU/FSDrive.

한 줄 요약

FSDrive는 시공간적 Chain-of-Thought(CoT)를 활용해 자율주행 모델이 시각적으로 추론하도록 돕는 새로운 프레임워크이다.

핵심 기여도

시공간적 CoT를 도입하여 VLA 모델이 시각적으로 미래 상황을 예측하고 경로를 계획하도록 함.
VQA와 미래 프레임 생성을 통합한 **통합형 사전학습 패러다임** 제안.
**진행형(Progressive) 생성 방식**을 통해 물리적 제약을 준수하면서 세부 정보를 보완.
nuScenes와 NAVSIM 데이터셋에서 **경로 정확도 향상** 및 **충돌 감소**를 달성.

핵심 아이디어

기존 VLA 모델은 텍스트 기반 CoT를 사용해 추론을 수행하지만, 이는 시공간 관계를 흐리게 하고 세부 정보를 잃게 만든다. FSDrive는 대신 **시각적 CoT**를 도입하여 미래 장면을 이미지로 생성하고 이를 기반으로 경로를 계획하도록 한다. 이는 인간 운전자의 사고 방식을 모방한 것으로, 뇌에서 미래 장면을 시각적으로 상상하는 것처럼 모델이 미래를 시각적으로 예측하도록 유도한다.

FSDrive는 **VLM을 월드 모델**로 활용해 미래 배경과 물리적으로 타당한 요소(예: 차선, 3D 객체 박스)를 결합한 통일된 미래 프레임을 생성한다. 이 이미지는 시공간적 CoT로 작용하며, 이후 **역동학 모델**로 활용되어 현재 관측과 미래 예측을 기반으로 경로를 계획한다. 이는 텍스트 추상화를 피하고, 시각적 인과 추론을 가능하게 한다.

기술적 접근법

**VLM을 월드 모델**로 활용: 미래 프레임 생성에 사용.
**3D 객체 박스와 차선 분할**을 포함한 미래 장면 생성.
**진행형 생성 전략**: 먼저 물리적 제약을 준수하는 구조적 요소(예: 차선)를 생성한 후, 세부 정보를 보완.
**VQA와 미래 프레임 생성을 통합한 사전학습 패러다임**: 기존 MLLM의 의미 이해 능력을 유지하면서 시각 생성 능력을 활성화.
**미니멀 데이터(약 0.3%)**로도 효과적인 시각 생성 가능.
**128 × 192 해상도**에서 실시간 생성 가능.

주요 결과

**nuScenes와 NAVSIM** 데이터셋에서 경로 정확도 향상 및 충돌 감소.
**DriveLM** 데이터셋에서 0.57 성능 달성, 기존 Cube-LLM, OminiDrive를 상회.
**FID** 기준으로 자동 회귀 모델임에도 불구하고 경쟁력 있는 성능.
CoT 실험에서 **시공간 CoT**가 31% 충돌 감소를 기록, 텍스트 CoT 대비 우수함.
**진행형 생성**이 이미지 생성 성능을 6(b) 표에서 확인 가능하게 향상.

의의 및 한계

FSDrive는 시공간적 CoT를 도입함으로써 텍스트 추상화와 모달 간 변환의 한계를 극복하고, **시각적 인과 추론**을 가능하게 한다. 이는 자율주행 분야에서 **더 안전하고 예측 가능한 운전**을 향한 중요한 발전이다. 또한, 기존 MLLM을 최소한의 데이터와 구조 변경 없이 활용할 수 있어 실용성도 높다.

그러나, **미래 프레임 생성의 물리적 일관성**을 완벽히 보장하기는 어렵고, **고해상도 이미지 생성**이나 **복잡한 다물체 상호작용**에 대한 연구는 아직 부족하다. 또한, **실시간 성능**과 **에너지 효율성**에 대한 평가도 추가 연구가 필요하다.

실용적 활용

FSDrive는 자율주행 차량의 **경로 계획 및 위험 예측**에 적용 가능하며, 특히 **복잡한 도시 환경**에서의 안정적인 운전을 지원할 수 있다. 또한, **시각 생성 기반의 시뮬레이션** 및 **운전자 행동 예측** 연구에도 활용될 수 있다.