iVideoGPT: Interactive VideoGPTs are Scalable World Models

World models empower model-based agents to interactively explore, reason, and plan within imagined environments for real-world decision-making. However, the high demand for interactivity poses challenges in harnessing recent advancements in video generative models for developing world models at scale. This work introduces Interactive VideoGPT (iVideoGPT), a scalable autoregressive transformer framework that integrates multimodal signals--visual observations, actions, and rewards--into a sequence of tokens, facilitating an interactive experience of agents via next-token prediction. iVideoGPT features a novel compressive tokenization technique that efficiently discretizes high-dimensional visual observations. Leveraging its scalable architecture, we are able to pre-train iVideoGPT on millions of human and robotic manipulation trajectories, establishing a versatile foundation that is adaptable to serve as interactive world models for a wide range of downstream tasks. These include action-conditioned video prediction, visual planning, and model-based reinforcement learning, where iVideoGPT achieves competitive performance compared with state-of-the-art methods. Our work advances the development of interactive general world models, bridging the gap between generative video models and practical model-based reinforcement learning applications. Code and pre-trained models are available at https://thuml.github.io/iVideoGPT.

한 줄 요약

iVideoGPT는 시각적 관찰, 행동, 보상을 토큰화한 자동회귀 트랜스포머 기반의 확장 가능한 월드 모델로, 다양한 다운스트림 작업에서 경쟁적인 성능을 보인다.

핵심 기여도

iVideoGPT는 시각적 관찰, 행동, 보상을 통합하는 자동회귀 트랜스포머 기반 월드 모델로, 16× 압축 토큰화 기법을 도입하여 확장성을 높임.
100만 개 이상의 인간 및 로봇 조작 트래젝토리로 사전 학습하여 다운스트림 작업에 적응 가능.
비전 기반 예측, 시각적 계획, 모델 기반 강화 학습에서 기존 최고 성능 모델과 경쟁적인 결과를 달성.
공개된 사전 학습 모델과 코드를 통해 연구 확장을 촉진.

핵심 아이디어

기존 월드 모델은 재귀 네트워크를 사용해 상호작용성을 강조했으나, 복잡한 데이터를 대규모로 학습하는 데 한계가 있었다. iVideoGPT는 트랜스포머 기반 자동회귀 모델을 도입하여, 시각적 관찰, 행동, 보상을 토큰 시퀀스로 통합하고, 다음 토큰 예측을 통해 상호작용 경험을 구축한다. 특히, 기존 프레임 단위 토큰화 대신, **context-dependent compressive tokenization** 기법을 사용하여 시퀀스 길이를 16× 줄이며 효율성을 높인다. 이는 동적 예측과 장면 내 시간적 일관성을 유지하면서도 훈련 및 생성 속도를 향상시킨다.

기술적 접근법

**iVideoGPT**는 트랜스포머 기반의 자동회귀 모델로, 시각적 관찰, 행동, 보상을 토큰화하여 시퀀스로 통합.
**compressive tokenization** 기법을 통해 고차원 시각 정보를 효율적으로 이산화.
**12-layer, 768-dim hidden state (138M 파라미터)** 모델로 실험, 24-layer, 1024-dim (436M 파라미터) 모델로 확장 가능.
**100만 개 이상의 인간 및 로봇 조작 트래젝토리**로 사전 학습.
**zero-shot generation** 가능하며, 도메인별 미세 조정 없이 토크나이저만 변경해 새로운 도메인에 적용 가능.

주요 결과

**SSIM, PSNR, LPIPS, FVD** 메트릭을 사용해 iVideoGPT의 예측 정확도를 평가.
**100개 미래 트래젝토리 샘플링** 후 최고 성능을 선택하여 평가.
**비전 기반 예측, 시각적 계획, 모델 기반 강화 학습**에서 기존 최고 성능 모델과 경쟁적인 결과 달성.
**16× 토큰 시퀀스 길이 감소**로 인해 훈련 및 생성 효율성이 향상됨.

의의 및 한계

iVideoGPT는 트랜스포머 기반 월드 모델의 확장성과 상호작용성을 동시에 달성한 사례로, **LLM과의 통합 가능성**과 **다양한 조건 처리 유연성**을 강조한다. 특히, **context-dependent 토큰화**는 시각 모델링의 효율성과 정확도를 동시에 향상시킨다. 그러나, **복잡한 다단계 상호작용**이나 **실시간 성능**에 대한 구체적인 평가는 명시되지 않으며, **더 큰 데이터셋**에서의 일반화 능력도 추가 연구가 필요하다.

실용적 활용

iVideoGPT는 로봇 조작, 자율 시스템, 가상 환경 학습 등에서 활용 가능하며, **사전 학습-도메인 적응** 방식으로 다양한 작업에 쉽게 적용할 수 있다. 특히, **zero-shot 생성** 기능은 새로운 도메인에 대한 빠른 적응을 가능하게 하며, **강화 학습 기반 학습**에서 안전하고 효율적인 시뮬레이션 환경을 제공할 수 있다.