WorldStream: Streaming Interactive 3D Worlds with Hierarchical Planning and Persistent State

We present WorldStream, an open-ended 3D world model with three simultaneous capabilities: it extends playable terrain beyond any pre-specified map, acts on open-ended language in the running world, and restores visited places with their edits. A hierarchical planner over a typed decision model emits structured decision state: Macro fixes settlement, ecology, transport, and hydrological structure across a group of tiles; Micro specializes that contract into tile semantics under measured terrain and accepted neighbor commitments. Deterministic local code compiles accepted plans into terrain, roads, settlements, vegetation, and entities. Streaming separates their reach: plans run ahead along the predicted corridor, compilation only where movement will soon need it, geometry behind the user released. One world record retains plans, seeds, object identities and mutable state, boundary commitments, and edits by attribute, revised as the user advances and edits; returning tiles recompile from it. The same record grounds interaction: the model acts on existing entities, including stateful NPCs that update as they act, edits the present region, or attaches intent to unplanned regions. Together they yield a world expanding under bounded budgets, connected across independently planned tiles, and interactive.

한 줄 요약

WorldStream은 계획 및 구현을 통합한 지속적 상태를 갖는 3D 오픈월드 생성 시스템이다.

핵심 기여도

**Dual-frontier streaming**: Semantic frontier와 Realization frontier를 통해 이동 경로 앞에서 계획하고, 가까운 미래에 필요한 기하학만 생성.
**Geography-conditioned hierarchical planning**: Macro와 Micro 계획 단계를 통해 지역적 구조와 타일 세부사항을 결합.
**Persistent world record**: 방문 지역과 편집 내용을 저장하고 재컴파일 가능.
**Deterministic local code**: 타일의 지형, 도로, 식생, 엔티티를 결정적으로 생성.

핵심 아이디어

WorldStream은 사용자의 이동에 따라 동적으로 확장되는 3D 오픈월드를 구현하기 위해 계획과 생성을 분리하고 통합하는 새로운 접근법을 제시한다. 기존 시스템은 지속성과 확장성을 동시에 제공하지 못했지만, WorldStream은 **Macro**와 **Micro** 두 단계의 계획을 통해 지역적 구조와 세부 타일을 조화롭게 결합한다. **Jev**라는 타입 기반 스키마를 사용해 각 필드에서 허용된 대안 분포를 생성하고, **bounded resolution procedure**를 통해 허용 가능한 조합을 탐색함으로써 실행 가능한 계획을 도출한다. 이는 지역 지형과 이웃 타일의 제약을 모두 고려한 결정을 가능하게 한다.

기술적 접근법

**Macro planning**: 지역 지형과 수자원 요약, 이웃 타일 상태를 입력으로 받아 다중 타일의 정착, 생태, 교통, 수문 구조를 결정.
**Micro planning**: **Macro** 계획을 기반으로 측정된 지형과 이웃 제약 하에 타일 세부 의미를 결정.
**Deterministic local code**: **Macro/Micro** 계획을 기반으로 지형, 도로, 정착지, 식생, 엔티티를 생성.
**Streaming**: **Semantic frontier**에서 계획을 앞당기고, **Realization frontier**에서 기하학 생성.
**Persistent world record**: 편집, 객체 ID, 경계 제약, 수정 내역 등을 저장.

주요 결과

**Semantic frontier**는 이동 경로 앞에서 계획을 생성, **Realization frontier**는 가까운 미래에 필요한 기하학만 생성.
**Macro/Micro** 계획은 지역 구조와 타일 세부사항을 결합해 일관된 세계를 생성.
**Persistent world record**를 통해 편집 내용을 저장하고, 재방문 시 재컴파일 가능.
**Jev** 기반의 타입 스키마와 **bounded resolution**은 실행 가능한 계획을 도출.

의의 및 한계

WorldStream은 오픈월드 생성에서 지속성과 확장성을 동시에 달성한 첫 사례로, 게임, 시뮬레이션, 생성형 콘텐츠 제작 등에 혁신을 가져올 수 있다. 특히, **Jev**와 **deterministic local code**를 통한 결정적 생성은 기존 시스템에서 볼 수 없던 수준의 일관성과 편집 가능성을 제공한다. 그러나, **real-time rendering memory budget** 내에서의 확장성 한계와, 사용자 입력에 대한 즉각적 반응의 제약은 여전히 남아 있다.

실용적 활용

WorldStream은 대형 오픈월드 게임, 시뮬레이션 환경, 생성형 콘텐츠 플랫폼 등에 적용 가능하다. 특히, 사용자 편집이 가능한 3D 세계를 요구하는 산업에서 활용도가 높으며, **persistent world record**를 통해 사용자 경험을 지속적으로 저장하고 재구성할 수 있다.