GameFactorly: Creating New Games with Generative Interactive Videos

Generative videos have the potential to revolutionize game development by autonomously creating new content. In this paper, we present GameFactory, a framework for actioncontrolled scene-generalizable game video generation. We first address the fundamental challenge of action controllability by introducing GF-Minecraft, an action-annotated game video dataset without human bias, and developing an action control module that enables precise control over both keyboard and mouse inputs. We further extend to support autoregressive generation for unlimited-length interactive videos. More importantly, GameFactory tackles the critical challenge of scene-generalizable action control, which most existing methods fail to address. To enable the creation of entirely new and diverse games beyond fixed styles and scenes, we leverage the open-domain generative priors from pre-trained video diffusion models. To bridge the domain gap between open-domain priors and small-scale game datasets, we propose a multi-phase training strategy with a domain adapter that decouples game style learning from action control. This decoupling ensures that action control learning is no longer bound to specific game styles, thereby achieving scene-generalizable action control. Experimental results demonstrate that GameFactory effectively generates open-domain action-controllable game videos, representing a significant step forward in AI-driven game generation.

한 줄 요약

GameFactory는 GF-Minecraft 데이터셋과 도메인 어댑터를 활용해 액션 제어와 장면 일반화를 동시에 달성하는 게임 생성 프레임워크이다.

핵심 기여도

GF-Minecraft: 인적 편향 없는 액션 분포를 가진 게임 영상 데이터셋을 제시.
액션 제어 모듈: 키보드와 마우스 입력을 정밀하게 제어할 수 있는 모듈을 설계.
도메인 어댑터: 게임 스타일 학습과 액션 제어를 분리하여 장면 일반화를 달성.
자동 회귀 생성: 300프레임 이상의 긴 영상 생성 가능.

핵심 아이디어

기존 연구는 특정 게임에 제한된 데이터셋을 사용해 액션 제어를 학습하지만, 이는 장면 일반화 능력을 저해한다. GameFactory는 대규모 오픈 도메인 영상 생성 모델과 소규모 액션 어노테이션 데이터를 결합해 이 문제를 해결한다. 핵심 아이디어는 **게임 스타일 학습과 액션 제어를 분리하는 것**이다. 이를 위해 도메인 어댑터와 멀티페이즈 훈련 전략을 도입하여, 액션 제어 능력이 특정 게임 스타일에 의존하지 않도록 한다. GF-Minecraft 데이터셋은 인적 편향 없는 액션 분포를 통해 모델이 인간이 거의 사용하지 않는 액션(예: 뒤로 걷기, 장소 점프)에도 반응하도록 훈련한다.

기술적 접근법

**GF-Minecraft**: Minecraft 플랫폼에서 수집한 액션 어노테이션 데이터셋. 텍스트 설명과 다양한 장면 포함.
**액션 제어 모듈**: 연속적인 마우스 이동과 이산형 키보드 입력을 각각 처리.
**자동 회귀 생성**: 이전 프레임을 기반으로 다음 프레임을 생성하며, 노이즈 레벨을 프레임별로 조절.
**도메인 어댑터**: 게임 스타일 학습과 액션 제어를 분리. 멀티페이즈 훈련 전략을 통해 일반화 능력 유지.
**Transformer 기반 잠재 영상 확산 모델**: 잠재 공간 압축과 액션 조건화 손실 함수 사용.

주요 결과

GF-Minecraft 데이터셋 기반 모델은 VPT 데이터셋 기반 모델보다 **인간이 거의 사용하지 않는 액션**(예: 뒤로 걷기, 장소 점프)에 대해 **더 높은 액션 수행률**을 보임.
**300프레임 이상의 긴 영상 생성** 성공.
**도메인 어댑터**를 사용한 훈련은 액션 제어 능력을 특정 게임 스타일에 의존하지 않도록 보장.

의의 및 한계

GameFactory는 기존 연구에서 해결하지 못한 **장면 일반화** 문제를 해결하며, AI 기반 게임 생성의 중요한 발전을 이룬다. GF-Minecraft 데이터셋은 인적 편향을 제거해 모델이 다양한 액션에 반응하도록 유도하며, 도메인 어댑터는 오픈 도메인 영상 생성과 액션 제어를 결합하는 새로운 접근법을 제시한다. 그러나, **다양한 게임 레벨 설계, 플레이어 피드백 시스템, 실시간 생성** 등은 여전히 해결해야 할 주요 과제이다.

실용적 활용

게임 개발 산업에서 **자동 콘텐츠 생성**에 활용 가능하며, **크리에이터 도구**로 사용해 새로운 게임 아이디어를 시각화할 수 있다. 또한, **AI 기반 교육용 게임** 개발에도 적용 가능하다.