Genie: Generative Interactive Environments

We introduce Genie, the first generative interactive environment trained in an unsupervised manner from unlabelled Internet videos. The model can be prompted to generate an endless variety of action-controllable virtual worlds described through text, synthetic images, photographs, and even sketches. At 11B parameters, Genie can be considered a foundation world model. It is comprised of a spatiotemporal video tokenizer, an autoregressive dynamics model, and a simple and scalable latent action model. Genie enables users to act in the generated environments on a frame-by-frame basis despite training without any ground-truth action labels or other domain-specific requirements typically found in the world model literature. Further the resulting learned latent action space facilitates training agents to imitate behaviors from unseen videos, opening the path for training generalist agents of the future.

한 줄 요약

Genie는 11B 파라미터를 가진 비지도 학습 기반 생성형 상호작용 환경 모델로, 텍스트, 이미지, 스케치 등으로 제어 가능한 가상 세계를 생성한다.

핵심 기여도

**비지도 학습 기반**으로 인터넷 비디오에서 학습한 첫 번째 생성형 상호작용 환경 모델 (Genie).
**11B 파라미터**를 가진 Foundation World Model로, 텍스트, 합성 이미지, 사진, 스케치로 환경 생성 가능.
**Latent Action Model (LAM)** 을 통해 **8개의 이산 행동 코드**로 사용자 제어 가능.
**ST-transformer 기반의 비디오 토크나이저**로 시간적 동작을 고려한 효율적인 토큰화 구현.

핵심 아이디어

Genie는 인터넷 비디오에서 비지도 학습을 통해 학습된 생성형 환경 모델로, 사용자가 텍스트나 이미지로 환경을 제어할 수 있도록 설계되었다. 기존 모델들이 행동 라벨이 필요하거나 특정 도메인에 의존하는 반면, Genie는 **latent action model**을 통해 **8개의 이산 행동 코드**를 학습하여 사용자 입력 없이도 환경 내 행동을 추정한다. 이는 **VQ-VAE 기반의 토크나이저**와 **ST-transformer**를 결합한 구조를 통해 가능하다. 특히, **latent action은 이전 프레임과 다음 프레임 간의 의미 있는 변화를 인코딩**하여, 사용자가 직접 행동을 입력할 수 있도록 유도한다. 이는 기존 모델에서 사용하는 행동 라벨이 없어도 환경 내 행동을 모델링할 수 있다는 점에서 혁신적이다.

기술적 접근법

**모델 구성**:

1. **Latent Action Model (LAM)**: VQ-VAE 기반, 8개의 이산 행동 코드를 학습.
2. **Video Tokenizer**: ST-transformer 기반, 시간적 정보를 고려한 토큰화.
3. **Dynamics Model**: MaskGIT 기반, 토큰과 latent action을 입력으로 다음 프레임 토큰 예측.

**학습 방식**:
토크나이저는 VQ-VAE 손실로 학습.
LAM은 VQ-VAE를 사용해 이산 행동 코드를 학습.
Dynamics model은 cross-entropy 손실로 토큰 예측.
**하이퍼파라미터**:
토크나이저의 코드북 크기: 8개.
훈련 시 마스킹 비율: 0.5~1 사이의 베르누이 분포.

주요 결과

**Platformers 데이터셋**에서 FVD 점수가 **token-input 모델 대비 개선**됨.
**Robotics 데이터셋**에서 **Δt PSNR**이 토크나이저 기반 모델 대비 **더 높은 제어 성능** 보임.
**C-ViViT 대비 ST-ViViT**가 **FVD +12.3%, Δt PSNR +4.1%** 개선됨.
**ST-ViViT**는 메모리 효율성과 생성 품질, 제어 성능의 균형을 잘 맞춤.

의의 및 한계

Genie는 **비지도 학습 기반의 Foundation World Model**로서, 사용자가 텍스트, 이미지, 스케치로 환경을 생성하고 제어할 수 있는 기반을 제공한다. 특히, **latent action model**은 기존 모델들이 필요로 했던 행동 라벨 없이도 환경 내 행동을 추정할 수 있어, **일반적인 에이전트 학습**에 기여할 수 있다. 그러나 **latent action은 훈련 시에만 사용되며, 추론 시에는 사용자 입력에 의존**하므로, 모델이 자체적으로 행동을 생성하는 능력은 제한된다. 또한, **VQ-VAE 기반 토크나이저는 일부 동작 정보를 잃을 수 있어**, 토큰화 과정에서의 정보 손실이 제어 성능에 영향을 미친다는 한계가 있다.

실용적 활용

Genie는 **게임 개발**, **로봇 학습**, **가상 환경 시뮬레이션** 등에서 사용자 입력 없이도 다양한 환경을 생성하고 제어할 수 있는 기반 모델로 활용 가능하다. 특히, **로봇이 비디오에서 학습한 행동을 모방하는 데 유용**하며, **대규모 비디오 데이터에서 학습 가능한 비지도 학습 모델**로서의 잠재력이 크다.