Diffusion Models Are Real-Time Game Engines

We present GameNGen, the first game engine powered entirely by a neural model that also enables real-time interaction with a complex environment over long trajectories at high quality. When trained on the classic game DOOM, GameNGen extracts gameplay and uses it to generate a playable environment that can interactively simulate new trajectories. GameNGen runs at 20 frames per second on a single TPU and remains stable over extended multi-minute play sessions. Next frame prediction achieves a PSNR of 29.4, comparable to lossy JPEG compression. Human raters are only slightly better than random chance at distinguishing short clips of the game from clips of the simulation, even after 5 minutes of auto-regressive generation. GameNGen is trained in two phases: (1) an RL-agent learns to play the game and the training sessions are recorded, and (2) a diffusion model is trained to produce the next frame, conditioned on the sequence of past frames and actions. Conditioning augmentations help ensure stable auto-regressive generation over long trajectories, and decoder fine-tuning improves the fidelity of visual details and text.

한 줄 요약

GameNGen은 DOOM 게임을 기반으로 TPU에서 20fps로 실시간 실행 가능한 신경망 기반 게임 엔진으로, 확장 가능한 시뮬레이션과 높은 시각 품질을 제공한다.

핵심 기여도

**GameNGen**이라는 신경망 기반 게임 엔진을 제안, DOOM 게임을 기반으로 20fps로 실시간 실행 가능.
**PSNR 29.4**의 시각 품질 달성, JPEG 압축 수준과 유사.
**RL 에이전트**를 활용한 대규모 훈련 데이터 수집 및 **Diffusion 모델**을 사용한 자동 회귀 프레임 생성.
**Decoder fine-tuning**과 **Conditioning augmentation**을 통해 장기 시뮬레이션 안정성 및 시각 품질 향상.

핵심 아이디어

GameNGen은 기존 게임 엔진과 달리, **신경망 모델**로 게임 루프를 완전히 구현한 첫 번째 시도이다. 이는 DOOM 게임을 기반으로 RL 에이전트가 훈련 세션을 기록하고, 이를 기반으로 **Diffusion 모델**이 다음 프레임을 생성하는 방식으로 작동한다. 이 모델은 과거 프레임과 사용자 입력을 조건으로 하여 **자동 회귀 방식**으로 프레임을 생성하며, 이 과정에서 **Conditioning augmentation**이 장기 시뮬레이션의 안정성을 보장한다. 또한, **Stable Diffusion v1.4**를 기반으로 한 디코더의 미세 조정이 시각 품질을 향상시킨다.

기술적 접근법

**훈련 단계 1**: RL 에이전트가 DOOM 게임을 플레이하며 훈련 세션을 기록.
**훈련 단계 2**: **Diffusion 모델**이 과거 프레임과 사용자 입력을 조건으로 하여 다음 프레임을 생성.
**Conditioning augmentation**을 통해 자동 회귀 생성의 안정성 확보.
**Decoder fine-tuning**으로 시각 세부 정보 및 텍스트의 정확도 향상.
**TPUv5** 단일 장치에서 20fps로 실행, 장시간 플레이 세션에서도 안정성 유지.

주요 결과

**DOOM 데이터셋**에서 GameNGen은 20fps로 실행되며, **PSNR 29.4**의 시각 품질 달성.
5분 동안 자동 회귀 생성한 시뮬레이션 영상은 **인간 평가자**가 실제 게임과 구분하기 어려울 정도로 유사.
**TPU 단일 장치**에서 실행 가능하며, 장시간 플레이 세션에서도 안정성 유지.

의의 및 한계

GameNGen은 기존 게임 엔진과 달리 **신경망 모델로 게임 루프를 구현**함으로써, 게임 개발 패러다임의 변화 가능성을 보여준다. 이는 향후 **텍스트나 이미지 기반으로 게임을 생성**할 수 있는 가능성을 열어준다. 그러나 **3초 미만의 컨텍스트 길이**로 인해 장기 게임 로직 유지가 제한적이며, **인간 플레이어와의 행동 차이**가 존재한다. 또한, 새로운 게임 생성 기능은 아직 제공되지 않으며, **기존 게임만 시뮬레이션**할 수 있다.

실용적 활용

GameNGen은 게임 개발 비용을 줄이고, **텍스트나 예시 이미지로 게임을 생성**할 수 있는 가능성을 제시한다. 또한, **소비자 하드웨어에서 실시간 실행**이 가능하다면, 게임 개발 및 테스트 프로세스를 혁신적으로 개선할 수 있다.