Programmable World Model

Recent video world models generate increasingly realistic and interactive visual experiences, yet lack reliable mechanisms for maintaining persistent world state and enforcing programmable rules over extended interactions. We introduce Programmable World Model, a framework that decouples world-state evolution from visual observation generation. An agent translates natural-language instructions into executable programs that specify entity states and state-transition rules, enabling direct control over individual entities and their interactions. A lightweight engine executes these programs to update and maintain an explicit, persistent global world state, including off-screen entities and non-visual attributes. To connect world state with visual generation, we introduce state-augmented 3D oriented bounding boxes (OBBs) as an intermediate representation. This representation, together with the target camera trajectory, is deterministically compiled into pixel-aligned spatiotemporal conditioning signals for a pretrained video model serving as the generative renderer. This design allows users to create playable games with predefined mechanics, direct control over individual entities, and persistent world state throughout gameplay. We further introduce CombatStateBench, a benchmark for evaluating programmable world models. On CombatStateBench, our method achieves 94% Count Accuracy and 98% State Accuracy, substantially outperforming existing interactive video world models while supporting coherent long-horizon generation. These results demonstrate the effectiveness of separating explicit state evolution from generative rendering for building persistent, programmable worlds.

한 줄 요약

Programmable World Model은 자연어를 기반으로 세계 상태를 명시적으로 관리하고 생성하는 시스템으로, 94%의 Count Accuracy와 98%의 State Accuracy를 달성한다.

핵심 기여도

**Programmable World Model** 프레임워크를 제안하여, 세계 상태 진화와 시각 생성을 분리함.
**State-augmented 3D oriented bounding boxes (OBBs)** 를 도입하여, 세계 상태와 시각 생성 간의 연결을 구축함.
**CombatStateBench** 라는 벤치마크를 제시하여, 기존 모델 대비 94% Count Accuracy, 98% State Accuracy를 달성함.
**VLM-based coding agent** 를 통해 자연어 입력을 실행 가능한 프로그램으로 변환함.

핵심 아이디어

기존 비디오 월드 모델은 시각 생성에 집중하지만, 세계 상태를 지속적으로 유지하거나 사용자 정의 규칙을 적용하는 데 한계가 있었다. Programmable World Model은 이 문제를 해결하기 위해 **세계 상태 진화**와 **시각 생성**을 분리하는 새로운 프레임워크를 제안한다. 사용자의 자연어 입력은 **VLM-based coding agent**를 통해 실행 가능한 프로그램으로 변환되며, 이는 개별 엔티티의 상태와 상태 전이 규칙을 정의한다. 이 프로그램은 **가벼운 엔진**에 의해 실행되어, **off-screen 엔티티**와 **비시각적 속성**을 포함한 **전역 세계 상태**를 유지한다.

이 세계 상태는 **state-augmented 3D OBBs**라는 중간 표현으로 시각 생성과 연결되며, 카메라 궤적과 함께 **pixel-aligned spatiotemporal conditioning signals**로 컴파일되어, 사전 학습된 비디오 모델에 의해 렌더링된다. 이는 사용자가 **직접 엔티티를 제어**하고, **예측 가능한 규칙**을 프로그래밍하여 **지속적인 세계 상태**를 유지할 수 있도록 한다.

기술적 접근법

**VLM-based coding agent**: 자연어 입력을 기반으로 엔티티 레이아웃, 상태, 속성, 상호작용 규칙을 정의하는 프로그램을 생성.
**State executor**: 사용자 입력과 이벤트를 기반으로 엔티티 상태를 업데이트.
**State compiler**: 업데이트된 세계 상태를 **pixel-aligned spatiotemporal controls**로 변환.
**3D OBBs**: 엔티티의 위치, 크기, 방향, 식별자, 의미, 상태 등을 포함한 **state-augmented 3D oriented bounding boxes**.
**CombatStateBench**: 생성된 비디오와 엔진 내부 상태 간 일관성을 평가하는 벤치마크.
**Video data curation pipeline**: 비디오에서 공간적·의미적 정보를 추출하여 훈련 데이터를 생성.

주요 결과

**CombatStateBench**에서 **94% Count Accuracy**, **98% State Accuracy**를 달성.
기존 대비 **상당한 성능 개선**을 보이며, **장기적 생성**에서도 일관성을 유지.
**98% State Accuracy**는 엔진 내부 상태와 시각 생성 간의 정확한 일치를 의미.

의의 및 한계

Programmable World Model은 **세계 상태를 명시적으로 관리**하면서도 **생성 유연성**을 유지하는 새로운 방식을 제시한다. 이는 **게임 개발**, **멀티플레이어 환경**, **시뮬레이션** 등에서 **신뢰성 있는 상호작용**을 가능하게 한다. 특히, **비시각적 속성**과 **off-screen 엔티티**를 포함한 **전역 상태 관리**는 기존 모델에서 부족했던 기능을 보완한다.

하지만, **복잡한 3D 표현**과 **상세한 렌더링 조건**은 **더 많은 훈련 데이터**와 **복잡한 추론 과정**을 요구하며, **사용자 입력의 오류**가 **세계 상태에 누적될 가능성**이 있다. 또한, **다양한 시각 스타일**이나 **미리 정의되지 않은 상호작용**에 대한 일반화 능력은 추가 연구가 필요하다.

실용적 활용

이 모델은 **게임 개발**, **멀티플레이어 월드 시뮬레이션**, **교육용 인터랙티브 환경** 등에서 활용 가능하다. 사용자가 **자연어로 규칙을 정의**하고, **개별 엔티티를 제어**할 수 있으므로, **빠른 프로토타이핑**과 **사용자 맞춤형 세계 생성**이 가능하다. 특히, **CombatStateBench**와 같은 평가 기준을 통해 **일관성 있는 세계 상태 관리**가 필요한 분야에서 유용하다.