SimWAM: A Simple World Action Model for End-to-End Autonomous Driving

World-Action Models (WAMs) improve end-to-end autonomous driving by transferring video dynamics priors to action prediction, but existing methods require costly future generation at inference. We present SimWAM, a simple yet effective WAM that uses video generation purely as a training signal. It co-trains a pretrained video expert and a lightweight action expert with joint flow matching. An isolated attention mask keeps action prediction independent of future frames, allowing the video branch to be discarded after training and leaving a self-contained planner that directly predicts trajectories. Since the two experts share no parameters and interact only through a unified attention interface, the video backbone could be replaced and the action expert scaled independently without modifying the learning objective or inference pipeline. We further apply reinforcement learning to optimize a compositional driving reward beyond trajectory imitation. Our SimWAM achieves 91.5 PDMS on NAVSIM, surpasses state-of-the-art WAM-based planners with substantially lower latency, and transfers zero-shot to nuScenes. These results position SimWAM as a simple yet solid baseline that could readily benefit from advances in video generation for efficient autonomous driving. The code and model weights are available at https://github.com/H-EmbodVis/SimWAM/

한 줄 요약

SimWAM은 비용이 많이 드는 미래 프레임 생성 없이도 높은 성능을 보이는 간단한 월드-액션 모델로, NAVSIM에서 91.5 PDMS를 달성한다.

핵심 기여도

SimWAM은 비용이 많이 드는 미래 프레임 생성 없이, 비디오 생성을 순수히 학습 신호로 사용하는 간단한 월드-액션 모델이다.
격리된 어텐션 마스크를 통해 액션 전문가가 미래 프레임에 의존하지 않게 하여, 학습 후 비디오 분기(branch)를 제거할 수 있다.
강화 학습을 통해 경로 모방을 넘어 합성 운전 보상(compositional driving reward)을 최적화한다.
NAVSIM에서 91.5 PDMS를 달성하며, 기존 월드-액션 기반 플래너 대비 훨씬 낮은 지연(latency)을 보인다.

핵심 아이디어

기존 월드-액션 모델(WAMs)은 미래 장면 생성을 통해 액션 예측을 개선하지만, 이는 추론 시 비용이 많이 든다. SimWAM은 비디오 생성을 순수히 학습 신호로 활용하고, 추론 시에는 이를 제거하여 직접 경로 예측을 수행한다. 이는 격리된 어텐션 마스크를 통해 액션 전문가가 미래 프레임에 접근하지 못하도록 제한함으로써 가능하다. 비디오 전문가와 액션 전문가는 공유 파라미터 없이 단일 어텐션 인터페이스를 통해 상호작용하며, 비디오 백본은 학습 목적 외에는 필요하지 않다. 이 구조는 비디오 생성 모델을 교체하거나 액션 전문가를 확장할 수 있는 유연성을 제공한다.

기술적 접근법

**비디오 전문가**: Wan2.2-5B 기반의 비디오 Diffusion Transformer와 T5 텍스트 인코더를 사용하며, 미래 프레임을 노이즈 처리하여 flow matching을 통해 재구성한다.
**액션 전문가**: 1024 차원의 Diffusion Transformer로, 현재 관측, 차량 상태, 네비게이션 명령을 조건으로 하여 경로 속도장을 flow matching을 통해 예측한다.
**공동 학습**: 비디오와 경로 모달에서 joint flow matching을 수행하며, 비디오 전문가와 액션 전문가는 공유 파라미터 없이 단일 어텐션 인터페이스를 통해 상호작용한다.
**강화 학습**: Flow-GRPO 기반의 확률적 SDE를 도입하여 다양한 운전 동작을 탐색하고, NAVSIM PDM 보상을 기반으로 정책을 업데이트한다.
**하이퍼파라미터**: 액션 전문가의 파라미터 수는 1.02B이며, LoRA 어댑터를 통해 강화 학습 중 일부 파라미터만 업데이트한다.

주요 결과

**NAVSIM**: SimWAM은 91.5 PDMS를 달성하며, 기존 월드-액션 기반 플래너 대비 훨씬 낮은 추론 지연을 보인다.
**zero-shot 전이**: nuScenes 데이터셋으로 zero-shot 전이가 가능하며, 별도의 미세조정 없이도 성능을 유지한다.
**모델 확장성**: 액션 전문가의 파라미터 수를 0.21B에서 1.02B로 증가시키면 PDMS가 89.9에서 90.3으로 향상된다.

의의 및 한계

SimWAM은 비디오 생성을 학습 신호로 활용하면서도 추론 시 이를 제거함으로써, 기존 월드-액션 모델의 주요 한계인 높은 추론 비용을 극복한다. 또한, 격리된 어텐션 마스크와 단일 인터페이스 구조는 모델 유연성과 확장성을 높이며, 다양한 비디오 생성 모델과 호환 가능하다는 장점을 가진다. 그러나, SimWAM은 비디오 전문가의 품질에 의존하며, 비디오 생성 모델의 개선 없이 한계가 있을 수 있다. 또한, 강화 학습 단계는 일부 메트릭에서 trade-off가 발생할 수 있으며, 이는 정책의 안정성과 다양성 사이의 균형 문제를 반영한다.

실용적 활용

SimWAM은 비디오 생성 없이도 높은 성능을 유지하는 경로 계획 모델로, 실시간 자율 주행 시스템에 적용 가능하다. 특히, 다양한 비디오 생성 모델과 호환되며, 추론 효율성이 높아 클라우드-엣지 혼합 환경에서 유리하다. 또한, 미세조정 없이도 다른 도메인으로 전이 가능하므로, 다양한 도시 환경에서의 자율 주행 연구에도 활용될 수 있다.