GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Generation

We present a compact geometry-native latent space as a shared foundation for perception and generation. Visual generators can produce photorealistic frames without preserving a consistent 3D scene. We argue that this is not only a modeling problem but also a representation problem: generators typically evolve appearance-centric latents, while perception models recover geometry in a semantically rich space that encodes cross-view structure. Rather than adding geometry as another output, we reparameterize a geometry foundation model's features into a compact latent space for generation. We realize this shift with the geometry-native autoencoder (GAE), whose latent is jointly decodable to appearance, depth, cameras, and point maps. With this state, a standard conditional flow supports diverse generation tasks. In controlled comparisons that hold the generator and training protocol fixed, replacing the latent with GAE improves both visual quality and independently measured 3D coherence: FVD falls by 12.7% and 23.1% on RealEstate10K and DL3DV, and camera-trajectory error is halved on RealEstate10K. Together, these results show that the latent space is central to geometry-consistent generation and can serve as a shared interface between perception and generation.

한 줄 요약

GAE는 3D 일관성 있는 세계 생성을 위한 기하학적 인코딩을 갖춘 압축된 잠재 공간을 학습하여 생성 및 인식 간의 공유 인터페이스를 제시한다.

핵심 기여도

GAE(Geometry-Native Autoencoder)를 통해 기하학적 정보를 포함한 단일 잠재 공간을 학습하여 생성과 인식 간의 일관성을 달성.
RealEstate10K 데이터셋에서 FVD가 12.7%, DL3DV에서 23.1% 감소하며 시각 품질과 3D 일관성이 향상됨.
카메라 궤적 오류가 RealEstate10K에서 절반으로 감소.
기존 픽셀 VAE, 세멘틱 잠재 공간, 원시 기하학 잠재 공간 대비 우수한 성능.

핵심 아이디어

기존 생성 모델은 외관 중심의 잠재 공간을 사용하여 3D 일관성을 유지하지 못한다. GAE는 기하학적 인코딩이 포함된 단일 잠재 공간을 학습하여 생성과 인식 간의 공유 인터페이스를 구축한다. DA3의 다중 레벨 특성을 하나의 압축 잠재 공간으로 재파라미터화하고, 이 공간은 RGB, 깊이, 카메라, 포인트 맵으로 복원 가능하다. 이는 기존의 복잡한 다중 레벨 인코딩 방식과 달리, 생성 과정에서도 기하학적 구조를 유지할 수 있도록 한다.

기술적 접근법

GAE는 두 단계로 학습된다.

**Stage 1**: DA3의 고정된 인코더와 기하학 헤드 사이에 학습 가능한 병목(bottleneck)을 배치하여 다중 레벨 특성을 하나의 잠재 공간으로 압축.
**Stage 2**: 이 압축된 잠재 공간에서 조건부 흐름 모델(conditional flow model)을 학습.
**Encϕ**와 **Decϕ**는 특성을 압축하고 재구성하며, **Std**는 흐름 모델의 표준화된 입력을 제공.
**ℒrepr** 손실 함수는 토큰 정렬과 관계 구조를 동시에 최적화.
**DA3-GIANT**는 **DA3-LARGE** 대비 외관과 포즈를 개선하며, **MEt3R** 점수는 유지.

주요 결과

**RealEstate10K**에서 FVD가 12.7%, **DL3DV**에서 23.1% 감소.
**RealEstate10K**에서 카메라 궤적 오류가 50% 감소.
**DA3-GIANT**는 **DA3-LARGE** 대비 외관과 포즈를 개선하면서도 MEt3R 점수는 유지.
**ℒrepr** 추가는 토큰 정렬과 관계 구조를 동시에 개선.

의의 및 한계

GAE는 생성과 인식 간의 공유 잠재 공간을 구축함으로써 3D 일관성을 달성하는 데 기여한다. 기존 방식과 달리, 복잡한 다중 레벨 인코딩 없이도 기하학적 구조를 유지할 수 있어, 생성 모델의 설계를 단순화한다. 그러나 GAE는 특정 기하학적 인코딩 모델(DA3)에 의존하며, 다른 기반 모델로의 확장 가능성은 명시되지 않음. 또한, 대규모 데이터셋에서의 성능은 개선되지만, 장기적인 생성 시퀀스에서의 일관성은 추가 실험 필요.

실용적 활용

GAE는 3D 비주얼 콘텐츠 생성, VR/AR 환경 구축, 자율주행 시스템의 3D 맵 생성 등에 활용 가능하다. 특히, 카메라 제어와 레퍼런스 기반 뉴뷰 합성 등 다양한 생성 작업을 단일 모델로 처리할 수 있어, 산업 현장에서의 실용성과 효율성이 높다.