GameWAM: A World Action Model for Video Games

Modern video games combine first-person perception, rapid visual changes, persistent world state, and heterogeneous native controls. Existing game agents map visual and task context directly to actions but lack explicit world dynamics modeling, whereas interactive game world models predict visual futures from supplied actions but do not serve as task policies. World-Action Models (WAMs) unify these objectives, but remain largely unexplored under the dynamics and open-ended interaction of video games. We introduce GameWAM, to our knowledge the first WAM for native closed-loop gameplay and GUI control. GameWAM jointly generates future visual observations and executable keyboard-mouse trajectories through parallel visual and action generative processes with block-causal conditioning and flow matching. To support joint world-action learning, we construct synchronized gameplay and GUI trajectories. To handle heterogeneous native control, GameWAM predicts a gameplay/GUI mode at each action step and generates actions with mode-specific prediction distributions and continuous-action normalization. For long-horizon interaction, block-cycle control predicts beyond the committed horizon, executes only a short action prefix, and replans from new observations, while fine-grained within-cycle context and hierarchical cross-cycle history preserve temporal continuity. Experiments demonstrate competitive task success with fewer executed native actions than the compared agents. We further uncover Low-Frequency Action Source Imprinting (LASI), in which low-frequency components of the sampled action source systematically steer coarse generated camera motion under fixed conditioning, revealing a source-sensitivity failure mode in generative control. Project page is available at https://yunncheng.github.io/GameWAM/.

한 줄 요약

GameWAM은 비디오 게임에서 시각적 미래와 실행 가능한 키보드-마우스 동작을 병렬 생성하는 최초의 World-Action Model이다.

핵심 기여도

GameWAM은 비디오 게임에서 첫 번째로 **자연스러운 클로즈드-루프 게임플레이 및 GUI 제어를 지원하는 World-Action Model(WAM)**이다.
**블록-인과 조건(block-causal conditioning)**과 **플로우 매칭(flow matching)**을 사용하여 시각적 미래와 키보드-마우스 동작을 병렬 생성한다.
**이종 네이티브 제어**(gameplay/GUI 모드 예측, 모드별 예측 분포, 연속-액션 정규화)를 처리하는 새로운 메커니즘을 제시한다.
**블록-사이클 제어(block-cycle control)**를 통해 장기적 상호작용을 지원하며, **LASI**(Low-Frequency Action Source Imprinting)라는 새로운 실패 모드를 발견한다.

핵심 아이디어

기존 게임 에이전트는 시각 및 작업 맥락을 직접 액션으로 매핑하지만, **세계 역학**(world dynamics)을 명시적으로 모델링하지 못한다. 반면, **인터랙티브 게임 월드 모델**은 주어진 액션으로부터 시각적 미래를 예측하지만, 작업 정책(task policy)으로는 활용되지 않는다. GameWAM은 이 두 목적을 통합하는 **World-Action Model**(WAM)로, **시각적 미래와 실행 가능한 액션 트레이젝토리를 병렬 생성**한다.

핵심 아이디어는 **블록-인과 조건(block-causal conditioning)**과 **플로우 매칭(flow matching)**을 기반으로, **동시 생성**(joint generation)을 통해 세계 역학과 액션 생성을 결합하는 것이다. 또한, **이종 네이티브 제어**(gameplay/GUI)를 처리하기 위해, GameWAM은 각 액션 단계에서 **gameplay/GUI 모드를 예측**하고, 모드별 예측 분포와 **연속-액션 정규화**(continuous-action normalization)를 통해 적절한 액션을 생성한다.

기술적 접근법

**모델 아키텍처**: GameWAM은 **Video-DiT**와 **Action-DiT**를 병렬로 사용하며, **블록-인과 어텐션(block-causal attention)**과 **플로우 매칭(flow matching)**을 통해 시각적 미래와 액션을 생성한다.
**이종 제어 처리**: 각 액션 단계에서 **gameplay/GUI 모드를 예측**하고, 모드별 예측 분포와 **연속-액션 정규화**를 통해 이종 제어를 처리한다.
**장기적 상호작용**: **블록-사이클 제어(block-cycle control)**를 통해 장기적 상호작용을 지원한다. **P-스텝 예측**과 **E-스텝 실행**(E < P)을 통해 **예측-짧은 실행-재계획**(predict-short/execute-short/replan) 방식을 채택한다.
**시간적 맥락 유지**: **KV 캐시**(Key-Value Cache)와 **계층적 크로스-사이클 히스토리**를 통해 **시간적 연속성**을 유지한다.

주요 결과

**Minecraft Universe(MCU)**에서 GameWAM은 **비교 에이전트 대비 더 적은 네이티브 액션 실행**(executed native actions)으로 **작업 성공률(task success)**을 달성한다.
**ViZDoom**에서는 **평균 에피소드 보상**(average episode reward)이 높은 성능을 보인다.
**LASI**(Low-Frequency Action Source Imprinting) 실패 모드를 발견: **저주파수 액션 소스**가 **고정 조건 하에서 생성된 카메라 동작에 지속적인 편향**(bias)을 유발한다.

의의 및 한계

GameWAM은 **네이티브 클로즈드-루프 게임플레이 및 GUI 제어**를 위한 첫 WAM으로, **세계 역학과 액션 생성을 통합**함으로써 **인터랙티브 게임 제어**의 새로운 가능성을 제시한다. 특히, **이종 제어**(gameplay/GUI)와 **장기적 상호작용**을 처리하는 방식은 기존 모델과 차별화된다.

그러나, **LASI**(Low-Frequency Action Source Imprinting) 실패 모드는 **생성적 액션 정책**(generative action policies)의 **소스 민감도**(source sensitivity) 문제를 드러내며, 이는 **액션 소스의 저주파수 성분**이 **카메라 동작에 지속적인 편향**을 유발한다는 점에서 한계로 작용할 수 있다.

실용적 활용

GameWAM은 **게임 AI 개발**, **자율 게임 플레이**, **GUI 자동화**, **VR/AR 환경 제어** 등에 적용 가능하다. 특히, **복잡한 이종 제어**(gameplay/GUI)와 **장기적 상호작용**이 필요한 시스템에서 유용할 것으로 기대된다.