Multiplayer Interactive World Models with Representation Autoencoders

We introduce the first multiplayer world model for highly dynamic environments governed by complex physical interactions. Whereas single-player world models treat the other agents as part of the environment, ours conditions on the action streams of multiple agents, learning to attribute changes in the scene to the correct player and to stay coherent under arbitrary combinations of their actions. We study this problem in the game of Rocket League, where players compete and cooperate under fast, tightly coupled dynamics. Trained on 10,000 hours of gameplay collected with publicly available bots, our 5-billion-parameter latent diffusion model generates four-player matches in real time, producing 20 frames per second on a single Nvidia B200 GPU. Although trained only on short clips, its rollouts stay stable far beyond the training horizon: distributional quality holds steady out to five minutes, the longest horizon we measure, and in practice we observe rollouts continuing for hours with no sign of collapse. We systematically investigate the central design choices: the video codec, the generative objective, and the multiplayer conditioning scheme. In addition, we characterize how behavior changes with model and data scale, including the capabilities that emerge and the failure modes that persist. We further develop targeted evaluations that probe the model's physical understanding rather than visual appearance alone. To support continued research on multiplayer world models, we release our dataset, our full training and inference codebase, and a live demo.

한 줄 요약

50억 파라미터의 멀티플레이어 월드 모델로, Rocket League 게임에서 4인 실시간 매치를 생성.

핵심 기여도

10,000시간 분석용 봇 플레이 데이터를 기반으로 50억 파라미터의 **잠재 확산 모델**(latent diffusion model)을 학습.
**다중 플레이어 조건**(multiplayer conditioning)을 통해 각 플레이어의 행동이 환경에 미치는 영향을 정확히 모델링.
단일 Nvidia B200 GPU에서 20fps로 4인 실시간 매치 생성.
학습 데이터보다 훨씬 긴 시간(최대 5분, 실제로는 수시간) 동안 안정적인 시뮬레이션 유지.

핵심 아이디어

기존 단일 플레이어 월드 모델은 다른 에이전트를 환경의 일부로 간주하지만, 본 연구는 여러 플레이어의 **액션 스트림**(action streams)을 조건으로 하여, 각 플레이어의 행동이 환경에 미치는 영향을 분리해 모델링한다. 이는 복잡한 물리적 상호작용이 있는 환경에서 특히 중요하다. Rocket League는 빠르고 밀접한 상호작용이 특징이므로, 이 모델은 동적인 상황에서도 일관된 결과를 유지해야 한다. 핵심은 **다중 플레이어 조건**(multiplayer conditioning)을 통해 각 플레이어의 영향을 분리하고, 장기적인 시뮬레이션 안정성을 확보하는 데 있다.

기술적 접근법

**잠재 확산 모델**(latent diffusion model)을 사용하여 4인 실시간 매치를 생성.
학습 데이터는 10,000시간 분석용 봇 플레이 기록.
**비디오 코덱**(video codec), **생성 목적**(generative objective), **멀티플레이어 조건**(multiplayer conditioning)을 중심으로 설계 요소를 체계적으로 분석.
단일 GPU(Nvidia B200)에서 20fps로 실시간 생성 가능.

주요 결과

Rocket League 데이터셋에서 5분(300초)까지의 시뮬레이션에서 **분포 품질**(distributional quality)이 안정.
학습 데이터보다 훨씬 긴 시간(최대 수시간) 동안 시뮬레이션이 **붕괴 없이 유지**됨.
4인 실시간 매치 생성 성능은 단일 B200 GPU에서 20fps 달성.

의의 및 한계

본 연구는 복잡한 물리적 상호작용이 있는 **다중 에이전트 환경**에서 월드 모델을 구축하는 데 중요한 기초를 제공한다. 특히, **각 플레이어의 영향을 분리**하고, **장기적인 일관성**을 유지하는 방법을 제시한다. 그러나 학습 데이터는 봇 기반의 플레이 기록이므로, 인간 플레이어의 행동 패턴과는 차이가 있을 수 있다. 또한, 모델이 물리적 이해를 얼마나 정확히 반영하는지는 추가 실험을 통해 검증해야 한다.

실용적 활용

이 모델은 게임 개발, AI 기반 훈련 시스템, 복잡한 물리 시뮬레이션 환경에서 활용 가능하다. 특히, **다중 에이전트 상호작용**이 필요한 시뮬레이션 훈련이나, **실시간 생성**이 요구되는 게임 개발에 유용할 수 있다.