Generative World Renderer at the Speed of Play

Generative world renderer AlayaRenderer receives structured world states exported from physics engines and synthesizes RGB frames. Unlike models that generate frames from text/control-hints prompts, AlayaRenderer preserves scene structure without altering the underlying world dynamics. This demonstrates an alternative path toward interactive world modeling and user-controllable play. However, the original AlayaRenderer is too computationally expensive for real-time deployment. This technical report introduces AlayaRenderer-Flash, a real-time-oriented generative forward world renderer that pushes AlayaRenderer from 0.56 FPS to 31.54 FPS, reaching the speed of play. AlayaRenderer-Flash reformulates the original renderer as a few-step autoregressive streaming model and introduces lightweight distilled codecs for efficient latent encoding and frame reconstruction. It retains the teacher model's G-buffer and text-prompt interfaces while enabling continuous rendering over input streams of unbounded length. We evaluate AlayaRenderer-Flash on G-buffer streams across content preservation, temporal consistency, cross-window stability, prompt controllability, and runtime efficiency. Our results show that AlayaRenderer-Flash substantially reduces inference cost while preserving the core rendering capabilities of the teacher model. By integrating AlayaRenderer-Flash with a physics engine, we build a fully playable generative world running at 30 FPS.

한 줄 요약

AlayaRenderer-Flash는 G-buffer 기반 생성 모델을 실시간 렌더링으로 전환하여 0.56 FPS에서 31.54 FPS로 성능을 대폭 향상시킨다.

핵심 기여도

AlayaRenderer-Flash는 기존 50-step denoising 과정을 4-step으로 축소하여 0.56 FPS에서 31.54 FPS로 성능 향상.
G-buffer 인코더와 VAE 디코더를 가벼운 distilled 네트워크로 대체하여 계산 비용 감소.
autoregressive streaming 구조 도입으로 무한 길이의 G-buffer 스트림 처리 가능.
G-buffer 인터페이스와 텍스트 프롬프트 제어 기능 유지하면서 실시간 렌더링 가능.

핵심 아이디어

기존 AlayaRenderer는 G-buffer 기반으로 RGB 렌더링을 수행하지만, 50-step denoising 과정과 복잡한 인코더-디코더 구조로 인해 실시간 처리가 어려웠다. 이에 반해 AlayaRenderer-Flash는 생성 과정을 autoregressive streaming 방식으로 재구성하고, 4-step diffusion으로 단계 수를 줄였다. 또한, G-buffer 인코딩과 VAE 디코딩을 가벼운 distilled 네트워크로 대체함으로써 실시간 성능을 확보하면서도 텍스트 프롬프트 기반의 렌더링 제어를 유지한다. 이는 생성 모델이 실시간 게임 엔진과 통합되어 사용자 제어가 가능한 가상 세계를 구현하는 데 기여한다.

기술적 접근법

**AlayaRenderer-Flash**: 기존 50-step denoising을 4-step으로 축소한 diffusion renderer.
**Autoregressive streaming**: 렌더링 히스토리를 윈도우 간 전파하여 무한 길이의 G-buffer 스트림 처리 가능.
**Distilled codecs**: G-buffer 인코더와 VAE 디코더를 가벼운 네트워크로 대체.
**G-buffer 인터페이스 유지**: depth, normals, albedo 등 G-buffer 정보를 기반으로 렌더링.
**텍스트 프롬프트 제어**: 사용자 입력에 따라 라이팅, 대기, 스타일 등을 실시간 변경 가능.

주요 결과

AlayaRenderer-Flash는 0.56 FPS에서 31.54 FPS로 성능 향상.
G-buffer 스트림에서 콘텐츠 보존, 시간적 일관성, 크로스 윈도우 안정성, 프롬프트 제어, 런타임 효율성 평가.
기존 모델 대비 인퍼런스 비용 70% 이상 감소하면서 핵심 렌더링 능력 유지.
게임 엔진과 통합하여 30 FPS로 실행 가능한 실시간 생성 세계 구현.

의의 및 한계

AlayaRenderer-Flash는 생성 모델을 실시간 렌더링에 적용할 수 있는 실용적 기반을 제공한다. 기존 생성 모델이 오프라인 처리에 제한되었던 문제를 해결하고, 사용자 제어가 가능한 가상 세계 구현 가능성을 열었다. 그러나 G-buffer 인코딩과 디코딩의 정확도 감소 가능성, 또는 프롬프트 제어의 세부 표현력 저하가 있을 수 있다. 또한, 다양한 게임 엔진과의 호환성 검증이 필요하다.

실용적 활용

AlayaRenderer-Flash는 AAA 게임의 실시간 스타일링, VR/AR 환경의 유동적 렌더링, AI 기반 게임 제작 도구 등에 적용 가능하다. 특히, 사용자 입력에 따라 게임 환경을 실시간으로 변형하는 인터랙티브 콘텐츠 제작에 유용하다.