WorldMind: Decoupled Game World Model for State-Aware NPC Behavior

Game world models have recently demonstrated promising capabilities in generating visually coherent and action-controllable gameplay videos. However, non-player character (NPC) behavior in existing models is either implicitly entangled with video generation or explicitly prescribed through external control signals. Consequently, a game world model has to jointly understand the state, plan the NPC's response and render its visual outcome, limiting its ability to produce responsive and state-aware NPC behavior. The challenge lies in the lack of an explicit interface for state-grounded decision-making. To this end, we introduce WorldMind, to our knowledge the first decoupled framework for state-aware NPC behavior in game world models. WorldMind separates interactive world modeling into four layers: an Understanding Layer that constructs a compact state from generated frames; a Decision Layer that reasons over the compact state to plan the NPC's next action; a Control Layer that translates the actions into temporally aligned conditions; and a Generation Layer that synthesizes their visual outcomes. By reconnecting layers in a closed interaction loop, WorldMind grounds NPC behavior in the evolving game state. We further introduce BOSS-140K, a dataset of gameplay videos paired with rich internal game states, together with an agent that automates the collection at scale. Experiments on BOSS-140K demonstrate reliable compact state reconstruction and mechanics-grounded planning, with WorldMind preferred over the baselines in approximately 70% of pairwise comparisons for its more tactically appropriate and coherent NPC behavior. Project page: https://teawhite.cn/worldmind_projectpage/

한 줄 요약

WorldMind는 게임 내 NPC 행동을 게임 상태에 기반한 명시적 결정으로 구현한 최초의 분리형 게임 월드 모델이다.

핵심 기여도

WorldMind는 Understanding Layer, Decision Layer, Control Layer, Generation Layer로 구성된 4단계 분리형 프레임워크를 제안함.
BOSS-140K라는 200시간 이상의 보스전 영상과 내부 게임 상태, 스킬 정보를 포함한 데이터셋을 소개함.
WorldMind는 기존 모델 대비 약 70%의 쌍별 비교에서 전술적이고 일관된 NPC 행동을 보여줌.
실시간 상호작용 게임플레이를 약 20 FPS로 지원함.

핵심 아이디어

기존 게임 월드 모델에서는 NPC 행동이 영상 생성 과정에 묶여 있거나 외부 제어 신호에 의존하여, 게임 상태에 대한 명시적 이해와 결정이 어려웠다. WorldMind는 이 문제를 해결하기 위해 NPC 행동을 영상 생성과 분리하고, 게임 상태에 기반한 명시적 결정 프로세스를 도입했다. Understanding Layer는 생성된 프레임에서 게임 상태를 재구성하고, Decision Layer는 이 상태를 기반으로 다음 행동을 계획한다. Control Layer는 행동을 시간에 맞춘 조건으로 변환하고, Generation Layer는 시각적 결과를 생성한다. 이 4단계는 닫힌 루프를 형성하여, 게임 상태 변화에 따라 NPC 행동이 유동적으로 반응할 수 있도록 한다.

기술적 접근법

**Understanding Layer**: 생성된 프레임에서 게임 상태를 재구성하는 Geometry와 Skill 브랜치를 사용함.
**Decision Layer**: 일반적인 언어 모델을 사용하여 재구성된 상태를 기반으로 NPC의 다음 행동을 계획함.
**Control Layer**: 행동을 시간에 맞춘 조건으로 변환하여, 직접 제어 및 고수준 감독 제어를 지원함.
**Generation Layer**: 영상 확산 모델을 사용하여 실시간으로 게임플레이 영상을 생성함.
**BOSS-140K 데이터셋**: 200시간 이상의 보스전 영상과 내부 게임 상태, 스킬 정보, 플레이어 컨트롤을 포함함.
**학습 및 평가**: 각 레이어와 전체 시스템을 평가하며, L1의 시각 인코더와 L2의 입력 모달성을 아블레이션 연구함.

주요 결과

BOSS-140K 데이터셋에서 WorldMind는 약 70%의 쌍별 비교에서 기존 모델 대비 전술적이고 일관된 NPC 행동을 보여줌.
Understanding Layer는 재구성된 상태의 신뢰성을 보여주며, Decision Layer는 기계적 결정을 지원함.
실시간 상호작용 게임플레이를 약 20 FPS로 수행함.

의의 및 한계

WorldMind는 게임 월드 모델에서 NPC 행동을 명시적이고 게임 상태에 기반한 결정으로 구현한 최초의 시도로, 게임 플레이의 일관성과 전략성을 높이는 데 기여한다. 특히, 닫힌 루프 구조는 NPC 행동의 반응성을 향상시키며, 실시간 상호작용을 가능하게 한다. 그러나, WorldMind는 BOSS-140K 데이터셋에 기반하여 보스전 상황에 최적화되었으며, 다른 게임 유형이나 상황에 대한 일반화 능력은 추가 연구가 필요하다. 또한, 언어 모델을 사용한 Decision Layer는 복잡한 게임 상황에서의 정확성에 따라 성능이 달라질 수 있다.

실용적 활용

WorldMind는 게임 개발에서 NPC 행동의 일관성과 전략성을 향상시키는 데 활용될 수 있으며, 특히 실시간 전략 게임 및 MMORPG 등에서 유용할 수 있다. 또한, 게임 AI 연구에서 NPC 행동 생성 및 제어 기술의 발전에 기여할 수 있다.