AlayaWorld: Long-Horizon and Playable Video World Generation

Game worlds have traditionally been built through labor-intensive production pipelines, making them costly to develop, difficult to customization, and expensive to modify after deployment. Recent advances in video world models offer a fundamentally different paradigm. Rather than explicitly authoring every component of a virtual environment, these models autoregressively synthesize future observations conditioned on the current world state and user interactions, enabling playable worlds to be generated online. Trained on both gameplay recordings and real-world videos, they can capture diverse visual appearances and physical dynamics, opening new opportunities for interactive applications beyond gaming, including embodied intelligence. In this paper, we present AlayaWorld, a full-stack open-source framework for building interactive generative worlds. AlayaWorld enables open-ended real-time interaction, allowing users to freely navigate and perform diverse actions such as combat, spell casting, and monster summoning. The framework unifies the complete development-from data preparation model architecture, model training, inference acceleration, and deployment-within a modular and extensible architecture. Alongside the framework, we release reproducible pipelines, reference implementations, evaluation tools, and comprehensive documentation, establishing a practical foundation for future research and real-time applications of generative world models.

한 줄 요약

AlayaWorld는 자동 생성 및 실시간 상호작용이 가능한 게임 세계를 구축하는 오픈소스 프레임워크이다.

핵심 기여도

AlayaWorld는 DiT 기반의 오토리그레시브 모델에 프롬프트 스위칭, 카메라 제어, 히스토리 압축 등 6가지 모듈을 통합하여 제시.
3D 캐시와 에러 뱅크를 도입하여 장기 생성의 안정성과 일관성을 보장.
훈련 가속화를 위한 few-step distillation 기법을 제안.
데이터 준비부터 배포까지의 전체 개발 과정을 모듈화한 오픈소스 프레임워크를 제공.

핵심 아이디어

기존 게임 세계는 수작업에 의존하여 비용이 높고 수정이 어려운 반면, AlayaWorld는 비디오 월드 모델을 통해 자동 생성 및 실시간 상호작용을 가능하게 한다. 이는 사용자의 행동에 따라 미래의 환경을 조건부로 생성하는 방식으로, DiT(Transformer 기반) 모델을 기반으로 구현된다. 특히, 사용자가 자유롭게 이동하고 전투, 주문, 몬스터 소환 등의 다양한 행동을 할 수 있도록 설계되었다. 이 모델은 사용자 입력과 현재 세계 상태를 기반으로 미래의 시각적 상태를 생성하며, 이는 기존의 사전 정의된 규칙에 의존하지 않는다.

기술적 접근법

**모델 아키텍처**: DiT 기반의 오토리그레시브 모델에 프롬프트 스위칭 메커니즘을 통합.
**카메라 제어**: AdaLN 스타일의 카메라 제어 모듈을 도입하여 사용자 시점의 일관성을 유지.
**장기 생성 안정화**: 3D 캐시와 에러 뱅크를 통해 장기 생성 시 발생하는 시각적 드리프트를 방지.
**훈련 효율화**: few-step distillation을 사용하여 훈련 과정을 가속화.
**데이터**: 게임 플레이 녹화와 실제 세계 비디오를 함께 사용하여 다양한 시각적 표현과 물리적 역학을 학습.

주요 결과

AlayaWorld는 사용자가 실시간으로 자유롭게 이동하고 다양한 행동을 수행할 수 있는 인터랙티브 환경을 구축.
장기 생성 시 일관성과 안정성을 보장하는 3D 캐시와 에러 뱅크 모듈을 통해 시각적 드리프트 감소.
few-step distillation을 통해 훈련 시간을 단축하고 모델 성능을 개선.
DiT 기반의 오토리그레시브 모델은 사용자 입력에 따라 미래의 시각적 상태를 정확하게 생성.

의의 및 한계

AlayaWorld는 게임 개발에서의 수작업 의존도를 줄이고, 실시간 생성 기반의 인터랙티브 환경 구축을 가능하게 하는 기반을 제공한다. 특히, 오픈소스 프레임워크로서 연구 및 실용적 응용에 기여할 수 있다. 그러나, 현재는 훈련 데이터와 모델의 복잡성으로 인해 런타임 성능 최적화가 필요하며, 장기 생성 시 물리적 일관성 유지가 여전히 어려운 점이 있다.

실용적 활용

AlayaWorld는 게임 개발 외에도 로봇 시뮬레이션, 에이전트 학습, 인간 행동 연구 등 다양한 분야에서 활용 가능하다. 특히, 사용자와의 실시간 상호작용이 필요한 VR/AR 환경 구축에 유용하며, 생성 모델 기반의 새로운 창작 도구로도 활용될 수 있다.