WORLDMEM: Long-term Consistent World Simulation with Memory

World simulation has gained increasing popularity due to its ability to model virtual environments and predict the consequences of actions. However, the limited temporal context window often leads to failures in maintaining long-term consistency, particularly in preserving 3D spatial consistency. In this work, we present WorldMem, a framework that enhances scene generation with a memory bank consisting of memory units that store memory frames and states (e.g., poses and timestamps). By employing a memory attention mechanism that effectively extracts relevant information from these memory frames based on their states, our method is capable of accurately reconstructing previously observed scenes, even under significant viewpoint or temporal gaps. Furthermore, by incorporating timestamps into the states, our framework not only models a static world but also captures its dynamic evolution over time, enabling both perception and interaction within the simulated world. Extensive experiments in both virtual and real scenarios validate the effectiveness of our approach.

한 줄 요약

WorldMem은 장기적 3D 공간 일관성을 확보하기 위해 메모리 기반의 주의 메커니즘을 도입한 세계 시뮬레이션 프레임워크이다.

핵심 기여도

WorldMem은 메모리 유닛(메모리 프레임과 상태)을 저장하는 메모리 뱅크를 도입하여 장기적 3D 공간 일관성을 개선.
메모리 어텐션 메커니즘을 통해 과거 프레임과 상태를 기반으로 정보를 효과적으로 추출.
타임스탬프를 상태에 통합하여 정적 세계뿐만 아니라 동적 진화도 모델링.
Minecraft와 RealEstate10K 데이터셋에서 기존 방법 대비 PSNR, LPIPS, rFID 등 모든 지표에서 상승.

핵심 아이디어

기존의 비디오 디퓨전 모델은 제한된 시간 윈도우 내에서 작동하여 장기 일관성을 유지하는 데 어려움이 있었다. WorldMem은 이 문제를 해결하기 위해 외부 메모리 뱅크를 도입하여 과거 프레임과 상태(예: 포즈, 타임스탬프)를 저장하고, 이를 기반으로 새로운 프레임 생성 시 관련 정보를 추출하는 메커니즘을 설계했다. 이 메모리 어텐션 메커니즘은 현재 프레임을 쿼리로, 메모리 프레임을 키와 값으로 사용하는 어텐션 구조를 통해 정보를 전달한다. 특히, Plücker 임베딩과 상대 임베딩을 사용하여 포즈 정보를 정밀하게 표현하고, 타임스탬프를 포함한 상태 임베딩을 통해 시간에 따른 환경 변화를 자연스럽게 모델링한다.

기술적 접근법

**모델 아키텍처**: Conditional Diffusion Transformer (CDiT)을 기반으로, 외부 액션 신호를 조건으로 사용하여 1인칭 시점 생성을 가이드.
**학습 기법**: Diffusion Forcing (DF)를 사용하여 자동회귀 생성을 지원.
**메모리 뱅크**: 과거 프레임과 상태(포즈, 타임스탬프)를 저장하는 메모리 유닛을 포함.
**임베딩 설계**: Plücker 임베딩을 사용한 밀집 포즈 표현 + 상대 임베딩을 통한 관계 추론.
**메모리 검색 전략**: 신뢰도 기반 필터링과 유사도 기반 중복 제거를 통해 검색 효율성 향상.
**데이터셋**: MineDojo 기반의 Minecraft 벤치마크와 RealEstate10K 사용.

주요 결과

**Minecraft 벤치마크**: 300개 테스트 비디오, 4,800프레임 기준으로 rFID, PSNR, LPIPS 등 모든 지표에서 기존 방법 대비 상승.
**RealEstate10K**: 360도 회전 시나리오에서 DFoT 대비 모든 지표에서 우수한 성능 (Table 2 참조).
**메모리 윈도우 비교**: 8프레임 메모리 윈도우를 사용한 WorldMem이 8프레임 컨텍스트 윈도우 기반의 DF 대비 PSNR 1.6×, LPIPS 0.3× 개선.
**임베딩 설계 실험**: 상대 임베딩 사용 시 LPIPS +1.2%, rFID +0.8% 개선 (Table 3 참조).

의의 및 한계

WorldMem은 장기 일관성을 유지하면서도 정밀한 3D 공간 재구성을 가능하게 하여, 상호작용이 가능한 가상 환경 구축에 기여한다. 특히, 메모리 기반 접근법은 기존의 3D 재구성 또는 내부 가중치 저장 방식과 달리 유연하면서도 세부 정보를 유지할 수 있다는 장점이 있다. 그러나 메모리 뱅크의 크기와 관리 복잡도는 성능 향상과 계산 비용 사이의 균형을 유지하는 중요한 과제이다. 또한, 시간에 따른 예측 불가능한 이벤트(예: 식물 성장)는 정량적 평가가 어려운 한계점으로 제시된다.

실용적 활용

WorldMem은 자율 주행, 게임 엔진 대체, VR/AR 환경 구축 등에서 장기 일관성을 요구하는 시뮬레이션에 적용 가능하다. 특히, 사용자와의 상호작용이 필요한 동적 환경에서 환경 변화를 자연스럽게 반영하는 데 유용하며, 실제 공간의 장기적 재현에도 활용될 수 있다.