StateFlow: Building, Evolving, and Accessing 3D World States for Previsualization

Previsualization is an intermediate layer between ideas and production in film, games, architecture, and urban design. It lets creators iteratively refine scenes, actions, cameras, and spatial-temporal dynamics. Yet existing generative methods rely on simple prompts to jointly control all of these factors through one-shot image or video synthesis, offering weak controllability and limited support for iterative editing. Fundamentally, a world comprises multiple elements with geometry, appearance, and other attributes, together with cameras. Different frames are produced through local modifications or recombinations of this shared state, which is otherwise largely reused. Therefore, we argue that the missing component is an explicit and persistent working state. To address this, we present StateFlow, a state-centric framework for generative previsualization. Rather than generating videos in one shot, StateFlow uses an editable 3D world to organize scene structure, evolution, and cameras, while off-the-shelf video models enhance visual quality when higher fidelity is desired. This world is maintained as a persistent structured 3D state of scene elements and camera configurations, serving as the core working representation for previsualization. Built on this insight, StateFlow has three stages to construct, evolve, and access the world state. State construction lifts generated 2D content into a coherent 3D world through prior-guided, conflict-aware dual-view initialization, while State evolution translates user intent into structured state transitions while preserving world memory, avoiding full-scene regeneration for each edit. State access uses render-feedback reflection to refine camera plans into visually feasible trajectories, avoiding reliance on VLM semantics alone. Experiments show that StateFlow produces high-quality 3D worlds for video creation and game-like prototyping.

한 줄 요약

StateFlow는 편집 가능한 3D 월드 상태를 기반으로 프리비주얼라이제이션을 구축하고 진화시키는 상태 중심 프레임워크이다.

핵심 기여도

3D 월드 상태를 지속적으로 유지하고 편집 가능한 구조로 모델링함으로써 프리비주얼라이제이션의 반복 편집을 가능하게 함.
Prior-Guided Conflict-Aware Dual-View Initialization을 도입하여 2D 콘텐츠를 일관된 3D 월드로 초기화.
Intent-Guided Structured State Transition을 통해 사용자 의도를 구조화된 상태 전이로 변환, 전체 장면 재생성 없이 편집 가능.
Render-Feedback Reflection을 사용한 카메라 경로 계획으로 시각적으로 타당한 촬영 계획을 생성.

핵심 아이디어

기존의 프리비주얼라이제이션 방법은 단일 이미지나 동영상 생성에 의존하여 반복 편집과 제어가 어려웠다. StateFlow는 이 문제를 해결하기 위해 3D 월드 상태를 지속적으로 유지하고 편집 가능한 구조로 모델링하는 새로운 접근법을 제안한다. 이는 단순히 시각적 출력을 생성하는 것이 아니라, 장면의 구조, 진화, 카메라 설정을 포함한 지속 가능한 3D 상태를 핵심 작업 표현으로 삼는다.

StateFlow는 세 가지 주요 단계로 구성된다:
1. **State Construction**: Prior-Guided Conflict-Aware Dual-View Initialization을 통해 2D 콘텐츠를 3D 월드로 초기화.
2. **State Evolution**: 사용자 의도를 구조화된 상태 전이로 변환하는 Intent-Guided Structured State Transition.
3. **State Access**: VLM 기반 카메라 제안과 렌더링 피드백을 결합한 World-State Camera Planning with Render-Feedback Reflection.

기술적 접근법

**State Construction**: Prior-Guided Conflict-Aware Dual-View Initialization을 사용하여 정면 뷰와 BEV(Bird's Eye View) 뷰를 결합, 객체 수와 공간 가설 간 충돌을 탐지 및 해결.
**State Evolution**: Intent-Guided Structured State Transition을 통해 장면 확장, 로컬 스타일 변경, 객체 자세 및 운동 편집, 자산 교체 등을 지원.
**State Access**: VLM 기반 카메라 제안과 렌더링 피드백을 결합한 World-State Camera Planning with Render-Feedback Reflection을 통해 시각적으로 타당한 카메라 경로를 생성.
**3D 월드 상태**: 객체 기반의 구조화된 3D 상태로 표현되며, 기하학, 공간 자세, 의미적 속성을 포함.

주요 결과

StateFlow는 기존의 단일 샷 생성 방식 대신 지속 가능한 3D 월드 상태를 기반으로 프리비주얼라이제이션을 수행.
MLLM 기반 평가와 사용자 연구를 통해 구조적 일관성, 편집 가능성, 카메라 제어력을 검증 (Tab. 3 참조).
비주얼 품질 향상과 동시에 일관된 공간 레이아웃, 안정적인 장면 구조, 편집 가능한 객체 수준 조직을 유지.
비디오 생성, 게임 프로토타이핑 등 다운스트림 애플리케이션에서 유연성과 제어력을 보여.

의의 및 한계

StateFlow는 생성 모델과 실제 제작 워크플로우 사이의 중간 표현으로서 3D 월드 상태의 중요성을 강조한다. 이는 프리비주얼라이제이션의 반복 편집과 제어를 가능하게 하며, 향후 상호작용적이고 구조화된 생성 시스템 개발에 기여할 수 있다.

그러나, StateFlow는 아직 정량적 수치 기반 평가가 제한적이며, 실제 산업 환경에서의 확장성과 성능 검증이 필요하다. 또한, 사용자 의도를 정확히 해석하고 구조화된 상태로 전환하는 데 있어 VLM의 의존도가 높아, 의미적 오해나 불확실성이 발생할 수 있다.

실용적 활용

StateFlow는 영화, 게임, 건축, 도시 설계 등에서 프리비주얼라이제이션을 위한 반복 편집과 시각적 검증을 지원할 수 있다. 특히, 3D 게임 프로토타이핑 및 비디오 제작 과정에서 사용자 친화적이고 구조화된 작업 환경을 제공할 수 있다.