World models aim to simulate how complex environments evolve under actions and events, yet existing video-based world models primarily learn dynamics from visual observations, which reveal outcomes rather than the underlying knowledge, rules, and mechanisms governing world evolution. This makes it difficult to maintain persistent consequences and support coherent, open-ended evolution. We introduce Code World Model, a framework that separates world evolution from visual realization by combining the reasoning and coding capabilities of language models with the generative priors of video models. A coding agent serves as the world brain, reasoning about events and their consequences and generating executable code to maintain persistent world state and perform rule-consistent evolution. To connect executable state with visual generation, we introduce a proxy representation that encodes frame-wise spatiotemporal constraints and is compiled into a proxy video, which conditions a video model to render high-fidelity visual observations. We further develop data pipelines for constructing aligned proxy-observation pairs from gameplay and real-world videos. After fine-tuning on paired gameplay data, MiniMax-H3 follows proxy-based spatiotemporal specifications from simple interactive worlds built by the coding agent while preserving rich visual details and dynamics. These results demonstrate the potential of combining code for persistent world evolution with video models for flexible visual realization, providing a new path toward open-ended world models.
한 줄 요약
Code World Model은 코드 기반 월드 브레인과 비디오 모델을 결합하여 지속적이고 시각적으로 풍부한 세계 진화를 구현하는 프레임워크이다.
핵심 기여도
- 코드 기반 월드 브레인을 도입하여 지속적 세계 상태 유지와 규칙 일관성 있는 진화를 가능하게 함.
- 프록시(proxy) 표현을 통해 프레임 단위 시공간 제약을 비디오 모델에 전달하여 고해상도 시각화를 지원.
- 게임플레이 및 실제 영상에서 프록시-관측 쌍을 생성하는 데이터 파이프라인 개발.
- MiniMax-H3가 프록시 기반 시공간 명세를 따르면서도 풍부한 시각적 세부사항을 유지함.
핵심 아이디어
기존 비디오 기반 월드 모델은 시각적 관찰에서만 동작을 학습하므로, 세계 진화의 내재적 규칙과 지속적 상태를 유지하기 어렵다. 이에 반해 Code World Model은 언어 모델의 추론 능력과 코드 실행을 결합하여 세계 진화를 명시적으로 제어한다. 코드 기반 월드 브레인은 이벤트의 결과를 추론하고, 실행 가능한 코드를 생성하여 세계 상태를 지속적으로 업데이트한다. 또한, 프록시 표현을 도입하여 비디오 모델이 시공간 제약을 반영한 시각적 관찰을 생성할 수 있도록 연결한다. 이는 비디오 모델이 단순히 다음 프레임을 생성하는 것을 넘어, 세계의 내재적 구조를 반영한 시각적 표현을 가능하게 한다는 점에서 혁신적이다.
기술적 접근법
- **코드 기반 월드 브레인**: 언어 모델이 이벤트를 추론하고, 실행 가능한 코드를 생성하여 세계 상태를 업데이트.
- **프록시(proxy)**: 세계 상태에서 결정적으로 생성된 표현으로, 비디오 모델에 시공간 제약을 전달.
- **데이터 파이프라인**: 게임플레이 및 실제 영상에서 프록시-관측 쌍을 생성하여 비디오 모델 학습 지원.
- **MiniMax-H3**: 프록시 기반 명세를 따르며, 풍부한 시각적 세부사항을 유지한 상태로 세계를 생성.
주요 결과
- MiniMax-H3는 프록시 기반 시공간 명세를 따르며, 풍부한 시각적 세부사항을 유지.
- 게임플레이 데이터에서 훈련 후, 코드 에이전트가 생성한 간단한 상호작용 세계에서 정확한 시공간 표현을 유지.
- 기존 비디오 월드 모델 대비 세계 진화의 일관성과 지속성 향상.
의의 및 한계
Code World Model은 코드와 비디오 모델의 결합을 통해 세계 진화의 지속성과 시각적 표현력을 동시에 달성하는 새로운 접근법을 제시한다. 이는 게임 생성, 자율 주행, 에미비디드 인텔리전스 등에서 활용 가능하며, 개방적 세계 모델 연구에 중요한 발전을 의미한다. 그러나 현재는 간단한 상호작용 세계에서만 검증되었으며, 복잡한 규칙과 다수의 엔티티를 포함한 대규모 세계에서의 성능은 명시되지 않음. 또한, 프록시 표현의 생성과 해석 정확도가 세계 진화의 질에 직접적으로 영향을 미친다는 점에서, 프록시의 품질 향상이 필요하다.
실용적 활용
Code World Model은 게임 개발에서 동적 세계 생성, 자율 주행 시뮬레이션, 에미비디드 인тел리전스 훈련 환경 등에 적용 가능하다. 특히, 코드 기반 월드 브레인은 규칙 기반 세계 진화를 보장하며, 비디오 모델은 사용자에게 생생한 시각적 경험을 제공할 수 있어, 인터랙티브 콘텐츠 제작 분야에서 높은 잠재력을 보인다.