MiniWorld: Democratizing the Training of Video World Models from Scratch

Video world models predict future observations conditioned on historical observations and control signals, enabling long-horizon generation through autoregressive state transitions. Unlike conventional video generation models that primarily capture visual appearance and motion, video world models learn the underlying dynamics governing environment evolution under agent actions, providing a foundation for embodied AI and interactive simulation. Recent progress has largely relied on adapting pretrained video generation models through post-training or distillation. Although effective, these approaches often require complex training pipelines, substantial computational resources, and suffer from the mismatch between bidirectional pretraining and causal streaming inference. Recent studies have shown that training autoregressive video world models from scratch is feasible and scalable. However, the community still lacks a lightweight, transparent, and fully reproducible baseline trainable end-to-end with modest computational resources. We present MiniWorld, a reproducible framework for training streaming video world models from scratch. MiniWorld employs a block-causal Video Diffusion Transformer trained with Flow Matching in the latent space of a pretrained Video VAE. Building on Diffusion Forcing, it adopts a chunk-wise non-decreasing noise schedule and two-stage continued training to improve temporal modeling and stability. During inference, MiniWorld combines a rolling KV cache with pipelined asynchronous denoising for efficient streaming generation under bounded computation. The entire model can be trained within several days on a single 8-GPU server. By releasing the training and inference codebase and pretrained checkpoints, we hope MiniWorld will facilitate future research on video world modeling.

한 줄 요약

MiniWorld는 8-GPU 서버에서 단기간에 훈련 가능한, 스트리밍 비디오 월드 모델의 재현 가능한 기반 프레임워크이다.

핵심 기여도

MiniWorld는 8-GPU 서버에서 수일 내 훈련 가능한, 가벼운 스트리밍 비디오 월드 모델 훈련 프레임워크를 제시.
블록-인과적 Video DiT와 Flow Matching 기반의 라티언트 공간 훈련을 결합.
청크 단위 비감소 노이즈 스케줄링과 2단계 연속 훈련을 통해 시간 모델링과 안정성을 개선.
롤링 KV 캐시와 비동기 디노이징을 통해 계산 제약하에서 효율적인 스트리밍 생성 가능.

핵심 아이디어

MiniWorld은 기존의 대규모 양방향 비디오 생성 모델을 사전 훈련 후 조정하는 방식 대신, 스트리밍 인과성에 맞춘 모델을 처음부터 훈련하는 접근을 제안한다. 이는 인과적 상태 전이를 기반으로 한 자동회귀 생성을 학습하기 위해 블록-인과적 Video Diffusion Transformer (Video DiT)을 Flow Matching 기법을 통해 라티언트 공간에서 훈련한다. Diffusion Forcing을 기반으로 청크 단위로 노이즈를 비감소적으로 스케줄링하고, 2단계 연속 훈련을 통해 시간적 일관성과 훈련 안정성을 동시에 달성한다. 이는 복잡한 훈련 파이프라인 없이도 장기적 스트리밍 생성이 가능하도록 설계되었다.

기술적 접근법

**모델 아키텍처**: 블록-인과적 Video Diffusion Transformer (Video DiT)
**훈련 방법**: Flow Matching 기반의 라티언트 공간 훈련
**노이즈 스케줄링**: 청크 단위 비감소 노이즈 스케줄링 (chunk-wise non-decreasing noise schedule)
**훈련 전략**: 2단계 연속 훈련 (two-stage continued training)
**추론 기법**: 롤링 KV 캐시 (rolling KV cache) + 비동기 디노이징 (pipelined asynchronous denoising)
**하드웨어**: 단일 8-GPU 서버에서 수일 내 훈련 가능
**데이터셋**: 명시되지 않음

주요 결과

**3B 파라미터 모델에서 0.5B 모델 대비**:
동적 정도 (dynamic degree) +22%
깊이 정확도 (depth accuracy) +18%
이미지 품질 +14%
흐름 점수 (flow score) +12%
**스트리밍 처리량 (1B 모델 기준)**:
32-청크 전체 윈도우 대비 8-청크 + KV 캐시 사용 시 처리량 3.31 FPS → 7.29 FPS (2.20× 가속)
첫 생성 청크 지연 시간 74.0초 → 4.86초 (15.2× 감소)

의의 및 한계

MiniWorld은 대규모 인프라 없이도 스트리밍 월드 모델을 훈련하고 평가할 수 있는 투명하고 재현 가능한 기반을 제공한다. 이는 장기적 생성의 안정성과 인과적 추론을 연구하는 데 유용하며, 훈련-추론 일치성을 강조한 접근법이다. 그러나 MiniWorld은 최첨단 생성 품질을 추구하지 않으며, 데이터와 모델 규모가 기존 최신 비디오 기초 모델에 비해 상대적으로 작다. 또한, 복잡한 상호작용 시나리오에서는 오류가 누적될 수 있으며, 이는 장기적 생성의 한계로 작용한다.

실용적 활용

MiniWorld은 학술 연구에서 스트리밍 월드 모델의 시간 기억, 인과 표현 학습, 장기 오류 누적 등의 문제를 탐구하는 데 활용 가능하다. 또한, 소규모 연구팀이나 개발자들이 높은 계산 자원 없이도 월드 모델을 훈련하고 실험할 수 있는 실용적인 기반을 제공한다.