Video World Models with Long-term Spatial Memory

Emerging world models autoregressively generate video frames in response to actions, such as camera movements and text prompts, among other control signals. Due to limited temporal context window sizes, these models often struggle to maintain scene consistency during revisits, leading to severe forgetting of previously generated environments. Inspired by the mechanisms of human memory, we introduce a novel framework to enhancing long-term consistency of video world models through a geometry-grounded long-term spatial memory. Our framework includes mechanisms to store and retrieve information from the long-term spatial memory and we curate custom datasets to train and evaluate world models with explicitly stored 3D memory mechanisms. Our evaluations show improved quality, consistency, and context length compared to relevant baselines, paving the way towards long-term consistent world generation.

한 줄 요약

3D 기반 장기 공간 기억을 도입하여 비디오 월드 모델의 장기 일관성을 향상시킨다.

핵심 기여도

**장기 공간 기억** (long-term spatial memory) 모듈을 도입하여 장기 일관성을 향상.
**점 구름**(point cloud) 기반의 3D 표현을 사용하여 공간 정보를 저장.
**VBench** 평가에서 장기 일관성, 움직임 부드러움, 주제 일관성에서 기존 베이스라인 대비 개선.
**사전 학습된 CogVideoX** 기반의 2단계 프레임워크에 추가 제어 신호를 결합한 구현.

핵심 아이디어

기존 비디오 월드 모델은 제한된 시간 컨텍스트 윈도우로 인해 장기 일관성을 유지하는 데 어려움이 있다. 이에 저자들은 인간의 기억 메커니즘에서 영감을 받아, **장기 공간 기억**(long-term spatial memory)을 도입한다. 이 메커니즘은 **3D 점 구름**(point cloud)을 사용하여 장기적으로 공간 정보를 저장하고, **희소 에피소드 기억**(sparse episodic memory)을 통해 과거 키프레임을 참조한다. 이는 기존의 단기 작업 기억(short-term working memory)과 결합되어, 모델이 과거와 현재의 정보를 효과적으로 활용할 수 있도록 한다. 특히, **동적 요소는 필터링**하고 정적 요소만 저장함으로써 공간 일관성을 유지하는 것이 핵심 아이디어이다.

기술적 접근법

**장기 공간 기억**: 3D 점 구름(point cloud) 기반의 기하학적 표현을 사용.
**희소 에피소드 기억**: 과거 키프레임을 저장하는 메커니즘.
**단기 작업 기억**: 최근 생성된 컨텍스트 프레임을 기반으로 한 픽셀 데이터.
**모델 구조**: CogVideoX 기반의 2단계 프레임워크 (3D VAE + diffusion transformer).
**학습 데이터**: 자체적으로 정리한 커스텀 데이터셋 사용.
**제어 신호**: 장기 기억을 반영한 추가 조건 신호를 모델에 결합.

주요 결과

**VBench 평가**에서 장기 일관성, 움직임 부드러움, 주제 일관성에서 기존 베이스라인 대비 개선.
**장기 공간 기억**과 **희소 에피소드 기억**을 모두 사용할 때 가장 우수한 성능을 보임.
**점 구름 기반 표현**이 공간 일관성을 향상시키는 데 기여.
**Wan2.1** 모델은 배경 일관성에서 우수하지만, 기하학적 가이드라인을 따르지 못해 장기 일관성에서 한계.

의의 및 한계

이 연구는 비디오 월드 모델에서 **3D 기반 장기 기억 메커니즘**을 도입함으로써, 기존의 시간 제한 문제를 해결하고 장기 일관성을 향상시킨다. 특히, **점 구름 표현**과 **에피소드 기억**을 결합한 방식은 장기 공간 정보를 효과적으로 저장하고 활용할 수 있는 새로운 접근법이다. 그러나, **동적 요소의 처리**나 **복잡한 환경에서의 확장성**에 대한 구체적인 평가가 부족하며, **점 구름 표현의 계산 복잡도**가 높아 실시간 적용에는 한계가 있을 수 있다.

실용적 활용

이 연구는 **컴퓨터 그래픽스**, **로봇 시뮬레이션**, **가상 현실(VR)** 등에서 장기 일관된 환경 생성이 필요한 분야에 적용 가능하다. 특히, **대규모 3D 환경 시뮬레이션**이나 **자율 주행 시스템**에서 장기 공간 기억을 활용한 모델이 유용할 수 있다.