AlayaWorld: Interactive Long-Horizon World Modeling -- Full Technical Report
AlayaWorld Team, Kaipeng Zhang, Chuanhao Li, Yifan Zhan, Yongtao Ge, Yuanyang Yin, Jiaming Tan, Kang He, Liaoyuan Fan, Mingliang Zhai, Ruicong Liu, Xiaojie Xu, Xuangeng Chu, Zhen Li, Zhengyuan Lin, Zhixiang Wang, Zian Meng, Zihui Gao
arXiv:2607.18367 · 2026-07-22 공개 · arXiv · PDF
video-generation diffusion-transformer video-world-model persistent-memory autoregressive-distillation interactive-environment long-horizon-generation iworld-bench
Abstract
Unlike conventional video game development, which relies on labor-intensive pipelines for asset production, animation, physics, and programming, video world models generate interactive environments from user inputs instantly. It enable us to create customized, explorable, and continuously evolving virtual world from text, an image, or video. Realizing this vision requires four tightly coupled capabilities: interaction, persistent spatiotemporal consistency, stable long-horizon generation, and efficient response. We present AlayaWorld, an interactive long-horizon video world model that generates 24-fps video at 540p and 720p. Built on a 15B video diffusion transformer, AlayaWorld generates short latent chunks autoregressively under camera trajectories and switchable text prompts. Its bounded visual context combines a persistent sink frame, compressed temporal history, geometry-aligned spatial memory, and recent-frame conditioning. To reduce long-term drift, the model is trained with corrupted histories and prediction residuals collected from its own roll-outs. We further introduce a discrete autoregressive distillation formulation that combines distribution-matching distillation, self-forcing++, and consistency distillation, reducing inference from approximately 30 sampling steps to four steps per chunk. On iWorld-Bench, AlayaWorld achieves the best performance over long-horizon generation. Conceived as a full-stack, open-source, and long-term project, AlayaWorld is intended to provide an extensible foundation for future research on interactive video world models.
한국어 요약
한 줄 요약
AlayaWorld는 사용자 입력으로 인터랙티브하고 지속적으로 진화하는 가상 환경을 생성하는 15B 파라미터 비디오 디퓨전 트랜스포머 기반 모델이다.
핵심 기여도
- 15B 파라미터를 가진 비디오 디퓨전 트랜스포머를 기반으로 24fps, 540p 및 720p 비디오를 생성.
- 지속적인 시공간 일관성을 유지하기 위한 *bounded visual context* 구조 제안 (sink frame, compressed history, spatial memory, recent-frame conditioning 포함).
- *corrupted histories*와 *prediction residuals*를 활용한 트레이닝으로 장기 드리프트 감소.
- *discrete autoregressive distillation*을 통해 추론 단계를 30단계에서 4단계로 축소.
핵심 아이디어
AlayaWorld는 기존 게임 개발 파이프라인 대신 사용자 입력(텍스트, 이미지, 비디오)로 즉시 인터랙티브 환경을 생성하는 새로운 패러다임을 제시한다. 기존 모델은 장기 생성 시 일관성과 안정성을 유지하기 어려웠으나, AlayaWorld는 *bounded visual context*를 통해 장기 드리프트를 억제하고, *autoregressive generation*을 통해 사용자 제어에 빠르게 반응한다. 특히, *geometry-aligned spatial memory*는 이전 방문 영역을 재투영하여 공간 일관성을 보장하며, *camera trajectory*와 *switchable text prompt*를 결합해 사용자 의도를 유연하게 반영한다.
기술적 접근법
- **모델 아키텍처**: 15B 파라미터를 가진 비디오 디퓨전 트랜스포머.
- **생성 방식**: *autoregressive* 방식으로 짧은 레이턴트 청크를 생성.
- **컨텍스트 구조**: *bounded visual context*로 구성되며, *sink frame*, *compressed temporal history*, *geometry-aligned spatial memory*, *recent-frame conditioning* 포함.
- **트레이닝 전략**: *corrupted histories*와 *prediction residuals*를 사용한 드리프트 감소.
- **추론 최적화**: *distribution-matching distillation*, *self-forcing++*, *consistency distillation*을 결합한 *discrete autoregressive distillation*으로 30단계에서 4단계로 단축.
주요 결과
- iWorld-Bench에서 장기 생성 성능이 기존 모델 대비 가장 우수.
- *discrete autoregressive distillation*을 통해 추론 단계를 30단계에서 4단계로 줄임.
- 24fps, 540p 및 720p 비디오 생성 가능.
- *camera trajectory*와 *switchable text prompt*를 기반으로 한 인터랙티브 제어 성능 향상.
의의 및 한계
AlayaWorld는 인터랙티브 비디오 월드 모델링의 4가지 핵심 요소(인증, 일관성, 안정성, 효율성)를 통합한 첫 번째 종합적 시도로, 향후 연구의 기반을 제공한다. 특히, *autoregressive generation*과 *bounded visual context*를 결합한 구조는 장기 생성의 안정성과 반응성을 동시에 달성한 점에서 혁신적이다. 그러나 현재는 시각적 관찰과 추정 기하학에 의존하며, 물리적 인과 관계나 장기 작업 구조에 대한 이해는 제한적이다.
실용적 활용
AlayaWorld는 게임 개발, VR/AR, 인터랙티브 콘텐츠 제작 등에서 사용자 맞춤형 가상 환경을 빠르게 생성할 수 있는 기반 기술로 활용 가능하다. 또한, 텍스트나 영상 입력으로 즉시 가상 세계를 생성하는 기능은 콘텐츠 제작 산업의 효율성을 크게 향상시킬 수 있다.