World Action Models: A Survey

World Action Models (WAMs) are embodied predictive-action models that make a forecast of the future available to action. Recent WAMs repurpose large video generation models, and a parallel line relies on language or vision-language backbones without a video-generation core. This rapid expansion has blurred the boundary among broad world models, video generation models, action-grounded video world models, Vision-Language-Action policies, and WAMs. This survey gives the field a common account. It first clarifies these boundaries, then organizes existing works through two complementary views. The first view asks what each method is required to generate, spanning rendered futures, latent futures, and video-generation-free action reasoning. The second view decomposes each method by predictive substrate, backbone, action coupling, and deployment regime. This anatomy supports a unified discussion of interactability, causality, persistence, physical plausibility, and generalization, followed by data, evaluation, and open challenges. Across these axes, a consistent design pattern emerges: WAMs are not simply video generators with action heads, but predictive-action methods whose design choices trade representational richness against compute, memory, latency, and action-label cost. The field is moving toward methods that generate less of the future while preserving what control requires. The survey homepage is available at https://world-action-models.github.io/.

한 줄 요약

World Action Models (WAMs)는 미래 예측과 행동 결정을 결합한 체계적 분류와 비교를 위한 조사이다.

핵심 기여도

WAMs를 세 가지 설계 철학(Render-and-Decode, Latent-Only, Video-Generation-Free)으로 분류.
모델을 예측 기반, 백본, 행동 결합, 배포 환경의 4축으로 분석.
WAMs가 단순한 비디오 생성 모델이 아닌, 예측-행동 간 trade-off를 고려한 설계 패턴을 제시.
실현 가능성, 인과성, 지속성, 일반화 등 5가지 핵심 속성을 평가 기준으로 제시.

핵심 아이디어

WAMs는 단순히 미래를 생성하는 비디오 생성 모델이 아니라, 행동 결정에 필요한 최소한의 미래만 예측하는 체계를 갖춘 모델이다. 예를 들어, UniPi는 미래를 픽셀 단위로 렌더링한 후 행동을 결정하는 반면, VPP는 중간 잠재 공간에서만 예측을 수행한다. DUST는 비디오 생성 없이 언어 토큰 공간에서 미래를 예측한다. 이처럼 WAMs는 미래 예측의 범위와 표현 방식을 조절함으로써 계산 비용, 메모리, 지연 시간, 라벨 비용 사이의 균형을 맞춘다. 이는 단순한 Vision-Language-Action (VLA) 모델과 구별된다. VLA는 환경 변화를 모델링하지 않지만, WAMs는 미래 예측을 행동 결정에 직접 연결한다.

기술적 접근법

**세 가지 설계 철학**:
Render-and-Decode: 미래를 픽셀 단위로 생성 후 행동 결정 (예: UniPi).
Latent-Only: 중간 잠재 공간에서 미래 예측 (예: VPP, Latent-Space Foresight).
Video-Generation-Free: 비디오 생성 없이 언어 토큰, 오디오, 임베딩 공간에서 예측 (예: DUST, Audio-WM).
**4축 분석**:
예측 기반 (예: 픽셀, 잠재 공간, 언어 토큰).
백본 (예: 비디오 생성 모델, 언어-비전 모델).
행동 결합 (예: 예측과 행동 학습을 병렬 또는 순차적으로 수행).
배포 환경 (예: 실시간 제어, 오프라인 학습).
**모델 표현**: 모든 WAM은 4-tuple (예측 기반, 백본, 행동 결합, 배포 환경)로 정의.

주요 결과

WAMs는 단순한 비디오 생성 모델이 아닌, 미래 예측의 표현력과 계산 비용, 메모리, 지연 시간, 라벨 비용 사이의 trade-off를 고려한 설계 패턴을 보인다.
가장 강력한 WAMs는 미래를 덜 생성하면서도 제어에 필요한 정보만 유지하는 경향을 보인다.
평가 지표는 미래의 실제 가능성, 장기 일관성, 계산 비용, 메모리, 지연 시간 등을 포함해야 한다.
RT-2, OpenVLA, π0 등 VLA 기반 모델은 환경 변화를 모델링하지 않지만, WAMs는 이를 보완한다.

의의 및 한계

WAMs는 체계적인 미래 예측과 행동 결정을 결합함으로써, 로봇 제어, 인공지능 정책 설계 등에서 중요한 기초를 제공한다. 특히, 미래 예측의 표현 방식과 제어 요구 사항 간의 trade-off를 명확히 정의함으로써, 모델 비교와 개선에 기여한다. 그러나, WAMs는 여전히 데이터와 평가 기준의 한계를 안고 있다. 예를 들어, 데이터셋은 기록된 행동 변수만 학습할 수 있고, 평가 벤치마크는 모델이 실제로 필요한 속성을 평가하지 못할 수 있다. 또한, 미래 예측의 물리적 실현 가능성과 장기 일관성을 보장하는 방법은 여전히 개선이 필요하다.

실용적 활용

WAMs는 로봇 제어, 자율 주행, 인공지능 정책 설계 등에서 활용될 수 있다. 특히, 미래 예측을 기반으로 행동을 결정하는 시스템에서, WAMs는 제어 성능을 향상시키고, 계산 자원을 효율적으로 사용할 수 있다. 예를 들어, DUST는 비디오 생성 없이 언어 토큰 공간에서 미래를 예측하므로, 실시간 제어에 적합하다.