Matrix-Game 4.0: Harnessing Video Models for Real-Time Playable Game Worlds

Moving from controllable videos to genuinely playable worlds requires persistent world state, executable game rules, and low-latency interaction. We outline a roadmap for the next generation of Matrix-Game that separates game execution from visual generation through an executable game harness, and introduce Matrix-Game 4.0 as the first system built on this design. A lightweight game engine maintains world state and executes interaction rules, a multimodal coding agent translates player ideas into game code and dynamic scene captions, and a renderer based on autoregressive video model transforms engine-rendered low-poly proxies into detailed visuals, conditioned on dynamic captions and memory references. This framework provides continuous guidance for visual generation and enables natural-language creation and modification of scenes and gameplay. Our renderer is trained on aligned low-poly and high-fidelity video pairs and distilled into a causal generator that generates in four-frame chunks with one or two denoising steps. Together with targeted inference optimizations, Matrix-Game 4.0 enables 480p, 60 FPS gameplay on a single NVIDIA RTX5090 with a key-press-to-display latency of 112ms. Single-step generation achieves 83FPS steady-state throughput with 18.2GiB of peak GPU memory usage. With fixed prompts, steady-state throughput also reaches 67FPS on an RTX5080 and 58FPS on an RTX5070Ti. We demonstrate customizable shooter and driving games with engine-enforced mechanics, and release code, model weights, and low-poly game assets to support research and creation of playable game worlds.

한 줄 요약

Matrix-Game 4.0은 게임 로직과 시각 생성을 분리한 첫 번째 시스템으로, NVIDIA RTX 5090에서 60 FPS, 112ms의 저지연 게임 플레이를 실현한다.

핵심 기여도

**게임 실행과 시각 생성 분리**: 실행 로직은 가벼운 게임 엔진, 시각 생성은 자동회귀 비디오 모델을 사용하여 분리.
**실시간 렌더링 성능**: 단일 RTX 5090에서 480p, 60 FPS, 112ms의 키-디스플레이 지연.
**오픈소스 기반**: 코드, 모델 가중치, 저다항 게임 자산을 공개하여 연구 및 게임 제작 지원.
**4-프레임 청크 생성**: 1~2단계 디노이징으로 83 FPS의 스테디-스테이트 처리량 달성.

핵심 아이디어

Matrix-Game 4.0은 기존 비디오 생성 중심의 접근에서 벗어나, **게임 실행 로직**과 **시각 생성**을 명확히 분리함으로써 지속 가능한 월드 상태와 실행 가능한 규칙을 구현한다. 이는 **가벼운 게임 엔진**이 월드 상태를 유지하고, **멀티모달 코딩 에이전트**가 사용자의 아이디어를 게임 코드와 동적 캡션으로 변환하며, **자동회귀 비디오 모델**이 이를 고해상도 시각으로 렌더링하는 구조를 기반으로 한다. 특히, **low-poly proxy**를 기반으로 한 렌더링은 시각 생성 모델이 구조적 정보를 바탕으로 정확한 장면을 생성할 수 있도록 도와준다. 이는 기존 자동회귀 생성 방식에서 발생하는 오류 누적 문제를 완화하고, **동적 캡션**과 **공간 메모리 참조**를 통해 장면 일관성을 유지한다.

기술적 접근법

**게임 엔진**: 월드 상태 유지, 상호작용 규칙 실행, low-poly proxy 렌더링.
**멀티모달 코딩 에이전트**: 사용자 아이디어를 게임 코드와 캡션으로 변환.
**비디오 생성 모델**: low-poly proxy, 동적 캡션, 공간 메모리, 첫 번째 프레임을 조건으로 4-프레임 청크 생성.
**하이퍼파라미터**: 5B 파라미터의 DiT, 148 채널 입력, 3072 너비, 480×864 해상도.
**디노이징**: 1~2단계, z ← z − σv로 레이턴트 업데이트.
**캐시 활용**: 3개의 공간 메모리 프레임, 참조 프레임, 최근 20개 청크의 키-밸류 캐시.

주요 결과

**RTX 5090**: 480p, 60 FPS, 112ms 키-디스플레이 지연.
**단일 디노이징**: 83 FPS 스테디-스테이트 처리량, 18.2 GiB 최대 GPU 메모리 사용.
**고정 프롬프트**: RTX 5080에서 67 FPS, RTX 5070Ti에서 58 FPS.
**사용 사례**: 커스터마이즈 가능한 총격 및 드라이빙 게임 제공.

의의 및 한계

Matrix-Game 4.0은 **비디오 생성 모델 기반의 게임 월드 생성**을 실시간, 저지연으로 가능하게 하며, **자연어 기반의 게임 제작**을 실현하는 기반을 제공한다. 특히, **low-poly proxy와 동적 캡션을 기반으로 한 렌더링**은 오류 누적 문제를 완화하고, **가벼운 게임 엔진**은 월드 상태 유지와 규칙 실행을 가능하게 한다. 그러나, **고해상도 렌더링**, **멀티플레이어 지원**, **더 정밀한 시각 제어**는 아직 개선이 필요하며, **하드웨어 요구 사항**이 높아 대중화에는 한계가 있다.

실용적 활용

Matrix-Game 4.0은 게임 개발자들이 **자연어 기반의 프로토타이핑**과 **엔진 기반의 규칙 실행**을 결합한 새로운 워크플로우를 시도할 수 있도록 지원하며, 연구자들에게는 **비디오 생성 모델 기반의 게임 월드 생성**을 탐구할 수 있는 기술적 기반을 제공한다. 특히, **저가 GPU에서도 실행 가능한 렌더링 파이프라인**은 게임 개발의 진입 장벽을 낮출 수 있다.