L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory

Interactive world models generate visual content conditioned on user actions, yet maintaining spatial consistency over long-horizon exploration in real time remains challenging. Existing approaches rely on either temporal context or explicit 3D memory, both of which scale poorly because memory grows with the length of the generated stream. Moreover, explicit 3D memories condition latent video generators by re-encoding RGB renderings, which precludes real-time generation. In this paper, we introduce a Latent 3D Gaussian Memory (L3G) that combines the efficiency of feed-forward reconstruction with a compact, rapidly renderable scene representation. Building on this memory, we propose L3G-World, in which a memory updater and a video diffusion transformer (DiT) alternate autoregressively to generate spatially consistent worlds. The memory updater spawns Gaussians in newly observed regions and refines existing ones, so that the memory grows with scene extent rather than stream length. Each Gaussian further stores a VAE latent feature, allowing the memory to be rendered directly into the DiT's latent space without VAE re-encoding. Experiments show that L3G-World achieves state-of-the-art generation quality and long-horizon spatial consistency, with up to 38.6times fewer 3D primitives, 3.2times faster memory updates, and 359times faster memory rendering relative to the most efficient prior 3D-memory baseline for each metric, enabling real-time world generation at 9 FPS.

한 줄 요약

L3G-World는 실시간으로 공간 일관성을 유지하면서 38.6배 적은 3D 원시체를 사용해 무한 세계를 생성하는 시스템이다.

핵심 기여도

**L3G (Latent 3D Gaussian Memory)** 도입: VAE 잠재 특성을 저장하는 3D 가우시안 메모리로, VAE 재인코딩 없이 빠르게 렌더링 가능.
**L3G-World 프레임워크**: 메모리 업데이터(L3G-Mem)와 비디오 디퓨전 트랜스포머(L3G-Gen)가 자동회귀적으로 번갈아 작동.
**38.6× 적은 3D 원시체**, **3.2× 빠른 메모리 업데이트**, **359× 빠른 VAE 렌더링** 성능 달성.
**9 FPS** 속도로 실시간 세계 생성 가능.

핵심 아이디어

기존 3D 메모리 기반 시스템은 생성된 스트림 길이에 따라 메모리가 증가하고, RGB 렌더링을 VAE로 재인코딩해야 하여 실시간 처리가 어려웠다. L3G-World는 이 문제를 해결하기 위해 **가우시안 메모리에 VAE 잠재 특성을 저장**하고, 이를 **VAE 재인코딩 없이 직접 렌더링**하여 메모리 조건부 생성을 가능하게 한다.

또한, **L3G-Mem**은 새로운 영역에만 가우시안을 생성하고 기존 가우시안은 잔차 업데이트를 통해 점진적으로 개선함으로써, **중복된 메모리 축적을 방지**하고 **정확도를 높인다**. 이는 기존 메모리 기반 접근법에서 발생하는 **중복된 3D 원시체 저장** 문제를 해결하며, **자동회귀 생성 과정에서 오류 누적을 억제**한다.

기술적 접근법

**L3G-Mem**: 새로운 가우시안을 생성하고 기존 가우시안을 잔차 업데이트로 개선.
**L3G-Gen**: VAE 잠재 공간에 직접 렌더링된 메모리를 조건으로 사용하는 비디오 디퓨전 트랜스포머(DiT).
**자동회귀 루프**: L3G-Mem과 L3G-Gen이 번갈아 작동하며, 생성된 비디오 청크를 다시 메모리 업데이트에 피드백.
**VAE 잠재 특성 저장**: 각 가우시안에 VAE 잠재 특성을 저장하여 VAE 재인코딩 없이 렌더링 가능.
**하이퍼파라미터**: 배치 크기 2, K-means 없이 선택적 생성, RGB 감독 가중치 λlpips, λrgb 적용.

주요 결과

**38.6× 적은 3D 원시체**, **3.2× 빠른 메모리 업데이트**, **359× 빠른 VAE 렌더링** 성능.
**9.02 FPS** 속도로 실시간 세계 생성 가능.
**DL3DV 데이터셋**에서 NVS 평가에서 RGB 및 VAE 지표에서 최고 성능 달성.
**자기 일관성(Self-consistency)**, **포즈 정확도(Pose accuracy)**, **3D 일관성(3D consistency)** 지표에서 개선.

의의 및 한계

L3G-World는 기존 3D 메모리 기반 시스템의 **메모리 효율성과 실시간 처리 능력**을 동시에 개선하여, **장기적 탐색과 빠른 렌더링이 필요한 상호작용형 세계 모델**에 기초를 제공한다. 특히, **가우시안 메모리의 선택적 생성과 잔차 업데이트**는 기하학적 오류 누적을 방지하며, **자동회귀 생성 과정의 안정성**을 높인다.

하지만, **복잡한 장면에서의 정확도 유지**나 **초고해상도 렌더링 성능**은 추가 연구가 필요할 수 있다. 또한, **VAE 잠재 공간의 표현 능력**이 제한적일 경우, **세부 텍스처나 조명 표현**에서 한계가 있을 수 있다.

실용적 활용

L3G-World는 **실시간 게임 생성**, **VR/AR 환경 구축**, **로봇 시뮬레이션** 등에서 활용 가능하다. 특히, **사용자 입력에 따라 무한 세계를 생성하고, 장기 탐색 중 일관성을 유지**해야 하는 상황에서 유용하다. 또한, **GPU 기반의 실시간 처리**가 가능하므로, **단일 H100 GPU에서 9 FPS 이상의 성능**을 내는 시스템에 적합하다.