StatePlay: State-Aware Game World Models for Mechanics-Consistent Generation

Recent game world models can generate visually realistic and interactive environments conditioned on player actions. However, games are not defined by pixels alone; they are governed by explicit mechanics, namely state-dependent rules that control health reduction, skill activation, and game termination. These mechanics depend on precise internal states, such as health points, skill meters, and timers, which are tightly coupled with visual observations and determine how gameplay evolves. Without modeling these state dynamics, existing game world models may generate visually plausible rollouts but violate the underlying game rules. In this paper, we propose StatePlay, a novel state-aware game world model that jointly predicts visual content and game states to promote mechanics-consistent generation. StatePlay adopts a mixture-of-transformers (MoT)-style architecture that preserves specialized visual and state representations while enabling cross-modal interaction, allowing predicted states to guide frame generation. Each branch is further optimized with a distinct objective suited to its modality. Experiments show that StatePlay achieves an average normalized L1 distance below 0.06 for state prediction. Furthermore, compared with models without explicit state modeling, our method improves mechanics fidelity in generated game rollouts by 18.6%. Overall, our work highlights the importance of state-aware game world modeling and advances beyond pixel-level realism toward complete and mechanically faithful game generation.

한 줄 요약

StatePlay는 게임 내부 상태를 예측하여 기계적 일관성을 유지하는 첫 번째 상태 인식 게임 월드 모델이다.

핵심 기여도

StatePlay는 첫 번째 상태 인식 게임 월드 모델로, 시각 콘텐츠와 게임 상태를 동시에 예측한다.
MoT(Mixture-of-Transformers)-스타일 아키텍처를 도입하여 상태와 시각 분기의 별도 최적화를 수행한다.
Street Fighter 3 기반의 상태-프레임-액션 동기화 데이터셋을 구축한다.
기계적 일관성 지표에서 기존 모델 대비 18.6% 개선을 달성한다.

핵심 아이디어

기존 게임 월드 모델은 픽셀 기반 예측에 집중하여 내부 상태(예: 체력, 스킬 미터)를 무시함으로써 기계적 일관성을 저해한다. StatePlay는 이러한 문제를 해결하기 위해 내부 상태를 명시적으로 모델링하고, 상태 예측이 프레임 생성을 가이드하도록 설계되었다. 이는 상태와 시각 정보가 서로 영향을 주고받는 다중 모달 상호작용을 필요로 한다. 핵심 통찰은, 픽셀 변화는 행동에 직접 반응하지만, 내부 상태 변화는 시각 정보만으로는 신뢰성 있게 학습할 수 없다는 점이다. 따라서 StatePlay는 상태와 시각 분기를 별도의 목표로 최적화하면서도, MoT 아키텍처를 통해 모달 간 상호작용을 가능하게 한다.

기술적 접근법

**모델 아키텍처**: MoT(Mixture-of-Transformers)-스타일의 아키텍처를 사용하여, 상태와 시각 분기를 별도로 예측하면서도 상호작용 가능하게 구성.
**분기 최적화**: 상태 분기는 L1 손실을, 시각 분기는 SSIM, LPIPS 등 시각 품질 지표를 기반으로 최적화.
**데이터셋**: Street Fighter 3 기반의 상태-프레임-액션 동기화 데이터셋을 구축. 내부 상태(체력, 스킬 미터, 타이머)와 프레임, 플레이어 행동을 포함.
**하이퍼파라미터**: 상태 예측의 정확도를 평가하는 지표로, 평균 정규화 L1 거리가 0.06 미만으로 나타남.

주요 결과

**상태 예측 정확도**: 평균 정규화 L1 거리가 0.06 미만.
**기계적 일관성 개선**: 상태 모델링이 없는 기존 모델 대비 18.6% 개선.
**시각 품질 유지**: SSIM, LPIPS 등 지표에서 기존 수준 유지.
**SF3 데이터셋**: 100개 샘플 기반 평가에서 상태 정렬, 액션 제어, 기계적 일관성 등 4가지 지표에서 성능 검증.

의의 및 한계

StatePlay는 게임 월드 모델이 단순히 시각적 사실감을 넘어, 내부 상태와 기계적 규칙을 정확히 반영하는 방향으로 발전하는 데 기여한다. 특히, 상태 모델링을 통해 스킬 활성화, 체력 감소, 게임 종료 등 핵심 게임 이벤트를 더 정확하게 재현할 수 있다. 그러나 공개된 상태-프레임-액션 동기화 데이터셋이 제한적이기 때문에, 다양한 게임 장르에 대한 평가가 어렵다는 한계가 있다. 또한, 상태 모델링이 모든 게임 규칙을 포괄적으로 반영하는지는 추가 연구가 필요하다.

실용적 활용

StatePlay는 게임 개발, AI 기반 플레이테스트, 멀티플레이어 환경 시뮬레이션 등에 적용 가능하다. 특히, 게임 내부 규칙을 정확히 반영하는 시뮬레이션 환경 구축에 유용하며, 창의적 콘텐츠 제작 및 훈련 시스템 개발에도 활용될 수 있다.