Game2World Engine: Unlocking In-the-Wild Gameplay Videos for World Model Training

Video games provide a scalable source of training data for video world models, offering diverse environments, complex interactions, and abundant in-the-wild gameplay videos. However, raw gameplay footage entangles the game world with screen-space interfaces, introducing game-specific biases and irrelevant dynamics that hinder world-model training. To address this problem, we introduce GameUI-Taxonomy and G2WEngine, a full-stack framework that formalizes gameplay UI grounding and removal. G2WEngine automatically extracts reusable UI assets from real gameplay videos and synthesizes temporally coherent UI overlays on clean footage. Using this engine, we construct Game2World, comprising 96K synthetic paired videos with precise reconstruction targets and 1,079 in-the-wild clips from 303 games for realistic evaluation. Its asset library contains 5,132 verified UI elements across 21 taxonomy categories, collected from 1,010 representative gameplay frames. Based on Game2World, we propose GameCleaner, a mask-free gameplay UI removal model that combines multimodal semantic understanding with video editing capabilities. Unlike mask-based methods, GameCleaner directly identifies and removes diverse HUD elements while preserving the underlying scene content and temporal dynamics. In a controlled pilot, world models trained on UI-free gameplay improve overall VideoReward by 6.83% over those trained on UI-overlaid data. On UI-removal evaluation, GameCleaner achieves an average AAR of 95.36 on synthetic videos, outperforming the strongest temporal mask baseline by 57.3%, and obtains the best in-the-wild AAR of 80.05 with 99.8 background preservation. These results demonstrate the scalable potential of transforming Internet gameplay videos into high-quality world-model training data. Code, dataset, and model will be available at https://github.com/Dongping-Chen/Game2World.

한 줄 요약

게임 플레이 영상에서 UI를 제거해 월드 모델 학습 데이터를 생성하는 Game2World 엔진과 GameCleaner 모델을 제안한다.

핵심 기여도

5,442개 클립을 기반으로 UI 제거가 VideoReward를 6.83% 향상시킴.
Game2World 데이터셋: 96,000개 합성 영상 쌍, 1,079개 실제 게임 클립, 5,132개 UI 요소 포함.
GameCleaner: 마스크 없이 UI 제거, 합성 데이터에서 AAR 95.36, 실제 데이터에서 80.05 달성.
GameUI-Taxonomy: 21개 범주, 1,010개 프레임에서 검증된 UI 요소 분류.

핵심 아이디어

게임 플레이 영상은 다양한 환경과 상호작용을 제공하지만, 화면 내 UI 요소가 학습에 방해가 된다. 이를 해결하기 위해 Game2World 엔진은 UI 요소를 자동으로 추출하고, GameCleaner는 마스크 없이 UI를 제거하면서 장면 내용과 시간적 일관성을 유지한다. 이는 UI 제거를 '인터페이스-세계 분리(disentanglement)' 문제로 정의하고, MLLM과 비디오 디퓨전 트랜스포머(DiT)를 결합한 모델 아키텍처를 통해 해결한다. GameCleaner는 UI 요소를 시각-세미틱 정보로 인식하고, 합성된 UI를 제거하면서 배경을 보존하는 기술을 사용한다.

기술적 접근법

**Game2World 엔진**: 실제 게임 영상에서 UI 자산을 추출하고, 시간적으로 일관된 UI 오버레이를 합성.
**GameCleaner 모델**: MLLM 인코더와 DiT 디퓨전 트랜스포머를 결합.
**학습 설정**: 8개의 H100 GPU, 글로벌 배치 크기 32, 학습률 1×10⁻⁴, 3,000 스텝.
**LoRA 적용**: DiT 모듈에 LoRA(랭크 64) 적용.
**평가 프로토콜**: AAR, UI, Clean, BG 4가지 메트릭 사용. MLLM 판정기로 평가, 인간 평가와 87.78% F1 점수 일치.

주요 결과

**VideoReward 향상**: UI 제거로 6.83% 향상 (운동 품질 18.8%, 미학 8.59%).
**AAR 점수**: 합성 데이터에서 95.36 (기존 최강 마스크 기반 기준 대비 57.3% 상승), 실제 데이터에서 80.05 (배경 보존률 99.8%).
**GameCleaner 성능**: 합성 데이터에서 95.36, 실제 데이터에서 80.05 (참조 포함), 51.60 (참조 없음).

의의 및 한계

**의의**: 인터넷 게임 영상이 월드 모델 학습에 활용될 수 있음을 입증. Game2World는 대규모 합성 및 실제 데이터셋을 제공하며, GameCleaner는 마스크 없이 UI를 제거하는 기술적 혁신.
**한계**: 일부 UI 요소는 제거 후 복원이 어려워 미세한 텍스처 손실 발생. 실제 데이터셋은 303개 게임에 제한되어 더 많은 게임에 대한 일반화 필요.

실용적 활용

게임 플레이 영상은 VR, AR, 시뮬레이션, 자율 주행 등 다양한 분야의 월드 모델 학습에 활용 가능. Game2World와 GameCleaner는 대규모 인터넷 데이터를 정제된 학습 데이터로 전환하는 데 유용하며, 게임 개발 및 콘텐츠 제작 분야에서도 UI 편집 도구로 활용 가능.