Magpie: Real-Time World Renderer for Interactive Games

Modern game development relies heavily on conventional graphics pipelines. High-quality visual content requires modeling, material authoring, animation, lighting, effects, and runtime optimization, making asset production expensive and extending the development cycle of game prototypes. Recently, video foundation models are beginning to change film and video production, but games differ from linear media, they require not only continuous and realistic imagery, but also stable and reproducible gameplay rules, object states, and interaction outcomes. We present Magpie, a real-time generative world-rendering system for interactive games. Magpie separates gameplay execution from visual generation. Designers define scenes and rules in a game engine. At runtime, the Game Engine resolves player actions and maintains world state, while an independent Render Server generates visual output from white-box frames produced by the engine. Magpie provides a system-level implementation path for applying generative models to real-time game rendering. It preserves gameplay designability and reproducibility, and reduces the dependence of early game prototypes on complete visual assets.

한 줄 요약

Magpie는 게임 엔진과 독립된 렌더 서버를 통해 실시간 생성 렌더링을 구현한 게임 시스템이다.

핵심 기여도

**Magpie 시스템**을 제안하여 게임 엔진과 렌더 서버를 분리, 생성 모델을 실시간 게임 렌더링에 적용 가능하게 함.
**300시간 분량의 인터랙티브 비디오 데이터셋**을 수작업으로 수집, 고해상도 렌더링, 화이트박스 렌더링, 카메라 포즈, 구조화된 상호작용 기록을 포함.
**White-box 프레임**을 지속적인 디노이징 조건으로 사용, 카메라 포즈로 과거 프레임을 검색하여 렌더링 안정성 확보.
**텍스트 프롬프트와 첫 프레임 이미지**로 렌더 서버 초기화, 이후 상호작용 중에는 게임 엔진의 상태가 직접 전달되지 않음.

핵심 아이디어

Magpie는 게임 개발에서 시각 자산 제작의 고비용과 복잡성을 줄이기 위해 생성 모델을 실시간 렌더링에 적용하는 새로운 시스템 구조를 제시한다. 기존 게임 엔진은 플레이어의 행동을 처리하고 세계 상태를 유지하는 역할을 하며, 별도의 **렌더 서버**가 **화이트박스 프레임**을 기반으로 시각 출력을 생성한다. 이는 생성 모델이 시각 표현에만 집중할 수 있도록 하며, 게임 엔진은 게임 로직과 상태 관리를 유지함으로써 **디자인 가능성과 재현 가능성**을 보장한다.

핵심 통찰은 생성 모델이 게임의 시각 표현을 담당하면서도, 게임 엔진이 핵심적인 규칙과 상태를 유지함으로써 게임 개발의 핵심 가치를 보존할 수 있다는 점이다. 이는 기존 렌더링 파이프라인의 제약을 벗어나, **고품질 시각 표현**을 저비용으로 구현할 수 있는 가능성을 제시한다.

기술적 접근법

**Magpie 시스템**은 **게임 엔진**(Unreal Engine 기반)과 **렌더 서버**로 구성됨.
**렌더 서버**는 **텍스트 프롬프트**와 **첫 프레임 이미지**로 초기화되며, 이후 **화이트박스 프레임**을 지속적인 디노이징 조건으로 사용.
**카메라 포즈**는 현재 시점의 뷰포인트와 관련된 과거 프레임을 검색하여 렌더링 안정성 유지.
**플레이어 행동, 상태 변수, 객체 속성, 이벤트 신호**는 게임 엔진 내에서 관리되며, 렌더 서버로 직접 전달되지 않음.
**300시간 분량의 인터랙티브 비디오 데이터셋**을 수작업으로 수집, **로코모션, 시점 변화, 운전, 충돌 상호작용, 대기 상태** 등을 포함.
**고해상도 렌더링, 화이트박스 렌더링, 카메라 포즈, 구조화된 상호작용 기록**이 데이터셋에 포함됨.

주요 결과

**Unreal Engine 기반의 300시간 분량의 인터랙티브 데이터셋**을 사용하여 Magpie를 학습.
**화이트박스 프레임**을 기반으로 생성 모델이 **실시간 렌더링**을 수행하며, **카메라 포즈 기반의 과거 프레임 검색**으로 시각 일관성을 유지.
**텍스트 프롬프트와 첫 프레임 이미지**로 렌더 서버를 초기화하고, 이후 상호작용 중에는 **플레이어 행동 및 상태가 직접 전달되지 않음**으로써 재현 가능성 보장.
**고품질 시각 표현**을 유지하면서도, **시각 자산 제작에 대한 의존도를 줄임**.

의의 및 한계

Magpie는 생성 모델을 게임 개발에 적용하는 새로운 시스템 구조를 제시함으로써, **시각 자산 제작의 고비용 문제**를 완화하고, **초기 프로토타입 단계에서 게임 로직과 경험 설계를 빠르게 평가**할 수 있도록 한다. 이는 게임 개발 초기 단계에서 **고해상도 자산이 필요 없이 기능적인 프로토타입을 구축**할 수 있게 하며, **디자인 가능성과 재현 가능성**을 유지하면서도 **다양한 시각 스타일을 탐색**할 수 있는 기반을 제공한다.

그러나 한계로는, 생성 모델이 **게임 규칙과 상태를 유지하지 못하며**, **실시간 상호작용에 대한 응답 속도**나 **복잡한 물리 현상의 정확한 표현**이 아직 완벽하지 않다는 점이 있다. 또한, **렌더 서버의 안정성과 일관성**을 보장하기 위해서는 **화이트박스 프레임의 질과 카메라 포즈 추적의 정확도**가 매우 중요하다.

실용적 활용

Magpie는 **게임 개발 초기 단계에서 시각 자산이 완성되지 않은 상태에서도 기능적인 프로토타입을 구축**할 수 있도록 하며, **디자이너가 다양한 시각 스타일을 빠르게 테스트**할 수 있게 한다. 또한, **소규모 개발 팀이나 독립 개발자**에게는 고비용의 시각 자산 제작 없이도 게임 경험을 설계하고 테스트할 수 있는 도구로 활용될 수 있다.