From Pixels to States: Rethinking Interactive World Models as Game Engines

Building interactive worlds that respond coherently to player actions has long been a shared goal of computer graphics, games, and artificial intelligence. Recent video generative models provide a data-driven route toward this goal by predicting future observations conditioned on user actions, and are increasingly regarded as potential next-generation game engines. Realizing a genuinely interactive game world, however, requires interaction outcomes that follow rules over evolving game conditions, consequences that persist over long horizons, and a generation loop that operates in real time. Conventional game engines realize these properties through a recurrent action-state-observation loop, in which player actions update an explicit game state according to predefined rules and observations are rendered from the resulting state. Taking this loop as an organizing lens, this paper examines interactive game world modeling along four dimensions: player action control, game state dynamics, state-observation persistence, and real-time interactive generation. For each dimension, we start from the capabilities required by an interactive game world, group existing approaches into representative families, and discuss the strengths and trade-offs of each family. Complementing this analysis, we present a scalable data engine for Black Myth: Wukong that collects over 90 hours of gameplay with frame-aligned player actions, ground-truth game states, and visual observations, together with structured and semantic annotations, as a resource for state-aware game world modeling. We hope this paper offers a clear picture of where the field stands and fosters progress toward interactive game worlds.

한 줄 요약

게임 엔진의 action-state-observation 루프를 기반으로 한 대화형 게임 세계 모델링을 체계적으로 분석하고, 90시간 분량의 Black Myth: Wukong 데이터셋을 제시한다.

핵심 기여도

게임 엔진의 action-state-observation 루프를 기반으로 대화형 세계 모델링을 4차원(플레이어 액션 제어, 게임 상태 역학, 상태-관찰 지속성, 실시간 생성)으로 체계화.
기존 접근법을 4차원별로 대표적 패밀리로 분류하고, 각각의 장단점을 분석.
Black Myth: Wukong 게임에서 90시간 분량의 플레이 영상과 프레임 정렬된 액션, 게임 상태, 시각적 관찰, 의미적 어노테이션을 수집한 데이터 엔진 제시.
데이터셋은 1280×720 해상도, 30FPS, 키보드/마우스 입력, RGB 프레임, 깊이 맵 포함.

핵심 아이디어

기존 게임 엔진은 플레이어 액션 → 게임 상태 업데이트 → 관찰 렌더링의 반복 루프를 통해 대화형 세계를 구축한다. 이 논문은 이 루프를 기반으로, 데이터 기반 생성 모델이 대화형 세계를 구현하기 위해 갖춰야 할 4가지 핵심 차원을 정의한다. 이는 단순히 미래 관찰을 예측하는 것을 넘어, 게임 규칙에 따른 상태 변화와 장기적 결과의 일관성, 실시간 생성을 포함한다. 특히, 대부분의 생성 모델이 게임 상태를 암묵적으로 유지하는 반면, 이 논문은 명시적 상태 표현의 중요성을 강조하며, 이를 위한 데이터셋 구축을 제안한다.

기술적 접근법

**4차원 분석 구조**: 플레이어 액션 제어, 게임 상태 역학, 상태-관찰 지속성, 실시간 생성.
**기존 접근법 분류**: 각 차원별로 대표적 패밀리(예: 액션 인터페이스, 메모리 메커니즘, 스트리밍 기법 등)로 분류.
**데이터셋 구성**: Black Myth: Wukong 게임에서 수집한 90시간 분량의 데이터.
프레임 정렬된 키보드/마우스 입력, 엔진 내보낸 게임 상태, RGB 프레임, 깊이 맵 포함.
해상도: 1280×720, FPS: 30.
의미적 어노테이션: 액션과 상태를 슬롯 구조와 의미 기반 캡션으로 텍스트화.

주요 결과

Black Myth: Wukong 데이터셋은 90시간 분량의 플레이 영상과 프레임 정렬된 액션, 상태, 관찰을 포함.
기존 생성 모델은 실시간 생성(30FPS 근접)과 자연스러운 입력 제어를 달성했으나, 상태 기반 결과 일관성과 규칙 기반 타이밍 유지가 어려움.
데이터셋은 state-aware 모델링의 데이터 부족 문제를 완화하며, 향후 연구에 중요한 자원 제공.

의의 및 한계

**의의**: 대화형 게임 세계 모델링의 핵심 요소를 체계적으로 정리하고, state-aware 모델링을 위한 데이터셋을 제공.
**한계**: 대부분의 생성 모델이 게임 상태를 암묵적으로 유지하므로, 명시적 상태 표현과 규칙 기반 결과 타이밍 처리는 여전히 미해결 과제.
데이터셋은 Black Myth: Wukong에만 제한되며, 다른 게임으로의 확장성은 명시되지 않음.

실용적 활용

게임 엔진 개발자들이 데이터 기반 생성 모델을 활용해 대화형 세계를 구축할 수 있도록 지원.
AI 기반 게임 테스트, NPC 행동 학습, 실시간 시뮬레이션 등에 활용 가능.
의미 어노테이션이 포함된 데이터셋은 멀티모달 모델 학습에도 유용.