Fast-dDrive: Efficient Block-Diffusion VLM for Autonomous Driving

End-to-end autonomous driving via Vision-Language-Action (VLA) models demands a precarious balance between high-fidelity trajectory planning and efficient inference. Existing paradigms typically fall short: autoregressive (AR) VLAs are memory-bandwidth-bound on edge hardware and prone to exposure-bias drift, while full-sequence diffusion models preclude KV-cache reuse and suffer from "logical leakage" that violates the fundamental perceive-then-plan causality. We present Fast-dDrive, a block-diffusion VLA that performs bidirectional refinement within semantic units while enforcing strict causal ordering across them. Leveraging the observation that driving VLAs often emit structured JSON-like outputs, Fast-dDrive freezes structural tokens into a section scaffold and employs a section-aware training recipe that prioritizes safety-critical planning. We further introduce Scaffold Speculative Decoding to achieve AR-equivalent quality at significantly higher throughput. Finally, we propose a low-overhead test-time scaling scheme: by forking N stochastic trajectory rollouts from a single shared-prefix KV cache and averaging them, we effectively suppress prediction variance at a fractional computational cost. Empirical results demonstrate that Fast-dDrive redefines the speed-accuracy frontier for driving agents. On the WOD-E2E test set, Fast-dDrive achieves SOTA ADE@3s and ADE@5s, alongside the highest RFS among diffusion-based VLAs; on nuScenes, it reduces average L2 error to 0.32m (a 22% improvement). When integrated with SGLang, our framework delivers 12times throughput speedup over the AR baseline, narrowing the gap between high-capacity VLAs and the efficiency demands of real-time on-vehicle deployment.

📋 한 줄 요약

**[자율주행 VLA / Block Diffusion]** Fast-dDrive가 AR·full-sequence diffusion의 한계를 block-diffusion으로 통합 — section 단위 양방향 정제·section 간 인과 정렬, scaffold speculative decoding·N rollout 평균화로 WOD-E2E ADE SOTA·nuScenes L2 0.32m·SGLang 결합 시 AR 대비 12× throughput.

🎯 핵심 기여도

VLA(Vision-Language-Action) 모델 기반 end-to-end 자율주행이 정확한 trajectory planning과 효율적 inference 사이의 precarious balance를 요구하지만 기존 패러다임이 부족함을 진단.
AR VLA는 edge hardware에서 memory-bandwidth bound·exposure-bias drift, full-sequence diffusion은 KV-cache 재사용 불가·perceive-then-plan causality를 위반하는 "logical leakage" 문제.
Fast-dDrive 제안 — semantic unit 내에서 양방향 정제·unit 사이는 strict causal ordering 강제하는 block-diffusion VLA. Driving VLA가 종종 structured JSON-like 출력을 생성한다는 관찰을 활용해 structural token을 section scaffold로 고정, safety-critical planning 우선 section-aware 학습 레시피 도입.
Scaffold Speculative Decoding으로 AR 동등 품질·훨씬 높은 throughput. Low-overhead test-time scaling — 단일 shared-prefix KV cache에서 N stochastic trajectory rollout fork·평균화로 fractional 계산 비용에서 prediction variance 억제.

💡 핵심 아이디어

자율주행 VLA의 속도·정확도 frontier는 AR과 diffusion을 block-diffusion으로 묶고, section 내부는 양방향·section 사이는 strict causal로 perceive-then-plan을 보존하면서 structured JSON scaffold·speculative decoding·shared-prefix N rollout 평균으로 효율과 안전을 동시 push하는 데서 새로 정의된다.

🔬 기술적 접근법

**방법론**: Fast-dDrive — block-diffusion VLA + Scaffold Speculative Decoding + N rollout averaging.
**핵심 기법**: (1) Semantic unit 내 양방향 refinement·unit 사이 strict causal ordering, (2) Driving VLA의 JSON-like 출력 활용 — structural token을 section scaffold로 freeze, (3) Section-aware 학습 레시피로 safety-critical planning 우선, (4) Scaffold Speculative Decoding으로 AR-equivalent quality·high throughput, (5) 단일 shared-prefix KV cache에서 N stochastic trajectory rollout fork·평균화로 prediction variance 억제.

📊 주요 결과

WOD-E2E test set: ADE@3s·ADE@5s SOTA, diffusion 기반 VLA 중 최고 RFS.
nuScenes: L2 error 평균 0.32m (22% 개선).
SGLang과 통합 시 AR baseline 대비 12× throughput.
속도·정확도 frontier 재정의.

💭 의의 및 한계

**의의**: AR·diffusion 양쪽 paradigm의 핵심 한계를 block-diffusion으로 통합 해결, perceive-then-plan causality 보존이 안전성 보장, 12× throughput으로 on-vehicle 배포 실용성 도달, JSON scaffold 활용의 영리한 도메인 지식 통합. **한계**: Structured JSON 출력 가정에 일부 의존, 12× 가속이 SGLang 결합 한정, sim-to-real·다양 driving 환경 일반화 추가 검증.

🚀 실용적 활용

실시간 on-vehicle 자율주행 VLA.
구조화 출력 VLA의 일반 효율화 패러다임.
로봇·드론 등 다른 embodied AI의 block-diffusion 적용.