WorldDirector: Building Controllable World Simulators with Persistent Dynamic Memory

We present WorldDirector, a highly controllable video world model framework designed for persistent dynamic object memory and unrestricted viewpoint exploration. Unlike existing world models that entangle physical dynamics with pixel rendering and rely on continuous visual observation to sustain motion, our framework explicitly decouples semantic motion orchestration from visual generation. By leveraging an LLM to coordinate 3D trajectories with camera movements and subsequently employing these orchestrated trajectories as control signals for video generation, our approach ensures strict physical logic and appearance stability, successfully preserving the exact visual identities of dynamic entities even when they re-enter the scene after prolonged periods out of view. Experimental results demonstrate that our method supports the synthesis of complex and extended events with unprecedented controllability and persistent dynamic object memory. Project Page: https://worlddirector.github.io/

한 줄 요약

WorldDirector는 LLM을 활용한 3D 트래젝토리 계획과 시각 생성 분리로, 지속적 동적 객체 메모리를 갖춘 비디오 월드 모델을 구축한다.

핵심 기여도

**LLM 기반 3D 트래젝토리 및 카메라 움직임 조율**을 통해 시맨틱 운동과 시각 생성을 분리.
**Appearance Binding 메커니즘**을 도입해 숨겨진 객체가 다시 화면에 등장할 때 시각 일관성을 보장.
**5초 단위 자동 회귀 생성**으로 긴 시퀀스에서도 동적 메모리 유지.
**DSC(Dynamic Subject Consistency)** 지표에서 기존 방법 대비 10% 이상 성능 향상.

핵심 아이디어

기존 월드 모델은 시각 관찰에 의존해 물리적 운동을 추정하는 방식을 사용했으나, 이는 장기적으로 숨겨진 객체의 상태를 정확히 유지하기 어렵다. WorldDirector는 이 문제를 해결하기 위해 **LLM을 활용한 시맨틱 운동 계획**과 **시각 생성 분리**를 핵심 아이디어로 제시한다. LLM은 사용자 입력을 3D 바운딩 박스와 카메라 트래젝토리로 변환하고, 이 정보는 2D 바운딩 박스 시퀀스로 투영되어 비디오 생성 모델의 조건이 된다. 이는 동적 객체가 카메라 시야 밖에서도 독립적으로 움직이며, 다시 등장할 때 시각 일관성을 유지하도록 보장한다. 또한, **Appearance Binding** 메커니즘은 숨겨진 객체의 RGB 특성을 시각 앵커로 삼아 정체성을 보존한다.

기술적 접근법

**LLM Orchestrator**: Gemini를 사용해 3D 바운딩 박스와 카메라 트래젝토리 계획.
**Appearance Binding**: 숨겨진 객체의 RGB 특성을 시각 조건으로 주입.
**Causal Autoregressive Architecture**: 5초 단위로 자동 회귀 방식으로 긴 시퀀스 생성.
**Training Details**: LingBot-World-Base 모델 기반, 832×480 해상도, 16fps, 10프레임 컨텍스트, 64배치, 1×10⁻⁵ 학습률.

주요 결과

**DSC(Dynamic Subject Consistency)** 지표에서 기존 방법 대비 +10% 이상 개선.
**PSNR, SSIM, LPIPS** 등 시각 재구성 지표에서 높은 일관성 보임.
**100개의 새로운 장면**을 대상으로 한 테스트에서 장기적 동적 메모리 유지 성공.
**5초 단위 자동 회귀 생성**으로 긴 시퀀스에서도 일관된 동작 유지.

의의 및 한계

WorldDirector는 동적 객체의 시각 일관성과 물리적 운동 일관성을 동시에 보장하는 첫 월드 모델로, **비디오 생성에서 인터랙티브 월드 시뮬레이션으로의 전환**을 가능하게 한다. 특히, **새로운 객체의 자유로운 등장**과 **카메라 시야 제한 없이 자유로운 탐색**이 가능하다는 점에서 혁신적이다. 그러나 **합성 게임 데이터에 의존**함으로써 실제 데이터와의 도메인 간극이 발생하며, 이는 얼굴이 흐릿하거나 움직임이 자연스럽지 않은 경우가 있다. 향후 실제 데이터셋을 통한 훈련이 필요하다.

실용적 활용

WorldDirector는 **게임 개발**, **VR/AR 환경 구축**, **시뮬레이션 기반 자율 주행 연구** 등에 적용 가능하다. 특히, 사용자 입력을 기반으로 **동적 장면 생성**과 **복잡한 이벤트 디자인**이 필요한 분야에서 유용하다.