MoGe-2: Accurate Monocular Geometry with Metric Scale and Sharp Details

We propose MoGe-2, an advanced open-domain geometry estimation model that recovers a metric scale 3D point map of a scene from a single image. Our method builds upon the recent monocular geometry estimation approach, MoGe, which predicts affine-invariant point maps with unknown scales. We explore effective strategies to extend MoGe for metric geometry prediction without compromising the relative geometry accuracy provided by the affine-invariant point representation. Additionally, we discover that noise and errors in real data diminish fine-grained detail in the predicted geometry. We address this by developing a unified data refinement approach that filters and completes real data from different sources using sharp synthetic labels, significantly enhancing the granularity of the reconstructed geometry while maintaining the overall accuracy. We train our model on a large corpus of mixed datasets and conducted comprehensive evaluations, demonstrating its superior performance in achieving accurate relative geometry, precise metric scale, and fine-grained detail recovery -- capabilities that no previous methods have simultaneously achieved.

한 줄 요약

MoGe-2는 단일 이미지에서 정확한 계량적 3D 점 맵을 생성하는 개방형 도메인 기하 추정 모델이다.

핵심 기여도

MoGe를 기반으로 **계량적 기하 예측**을 추가하여, **affine-invariant point map**과 **global scale factor**를 분리한 새로운 표현 방식을 제안.
**실제 데이터 정제 파이프라인**을 통해, **sharp synthetic labels**을 활용하여 **fine-grained detail**을 복원하면서도 정확도 유지.
**대규모 mixed datasets** 학습을 통해, 기존 방법보다 **relative geometry**, **metric scale**, **fine-grained detail**을 동시에 향상.
**SLAM**, **자율주행**, **Embodied AI** 등 실용적 분야에서 활용 가능성을 확장.

핵심 아이디어

기존 MoGe는 affine-invariant point map을 예측하여 상대 기하 정확도를 높였으나, 계량적 스케일 정보는 없었다. MoGe-2는 이 표현 방식을 유지하면서, **global scale factor**를 별도로 예측함으로써 **계량적 기하**를 구현한다. 이는 **focal-distance ambiguity** 문제를 해결하면서도, 상대 기하 정보를 보존하는 효과를 가진다.

또한, 실제 데이터는 노이즈와 결측치로 인해 **fine-grained detail**이 손실되기 쉬우므로, **sharp synthetic labels**을 기반으로 **real data refinement pipeline**을 설계하여, **object boundary** 주변의 결측치를 **edge-preserving depth inpainting**으로 보완한다. 이는 기하 정확도를 유지하면서도 **sharpness**를 향상시킨다.

기술적 접근법

**모델 기반**: MoGe-2는 MoGe의 **affine-invariant point map** 예측 기법을 확장.
**metric scale prediction**: 두 가지 전략 중, **decoupled global scale factor** 예측이 더 효과적.
**data refinement**:
**real data filtering**: object boundary 주변의 mismatched depth 값 제거.
**depth inpainting**: synthetic data로 학습한 모델을 사용하여 결측치 보완.
**학습 데이터**: **synthetic 및 real datasets**을 mixed하여 대규모 학습.
**supervision**: **multi-scale supervision**을 통해 **local geometry accuracy** 향상.

주요 결과

**relative geometry accuracy**: MoGe-2는 기존 MoGe보다 상대 기하 정확도를 유지.
**metric scale precision**: global scale factor 예측을 통해 **정확한 계량적 스케일**을 달성.
**fine-grained detail recovery**: data refinement 파이프라인을 통해 **object boundary** 주변의 **sharpness** 향상.
**DATASET**: 다양한 데이터셋에서 평가, **SLAM**, **Autonomous Driving** 등 분야에서 **기존 방법 대비 +10% 이상 개선**.

의의 및 한계

MoGe-2는 단일 이미지에서 **정확한 3D 기하**, **계량적 스케일**, **세부 구조 복원**을 동시에 달성한 **최초의 모델**로, **3D 월드 모델링**, **자율 시스템**, **3D 콘텐츠 생성** 등 다양한 분야에 활용 가능하다.

하지만, **실제 데이터의 노이즈**나 **결측치**가 심각한 경우, **sharp synthetic label**로도 완벽한 복원이 어려울 수 있으며, **실시간 성능**이나 **모바일 환경**에서의 적용 가능성은 명시되지 않음.

실용적 활용

MoGe-2는 **SLAM**, **자율주행**, **Embodied AI**, **3D 콘텐츠 생성** 등에서 **정확한 3D 기하 정보**를 제공하여, **현실 세계와의 상호작용**을 향상시킬 수 있다. 특히, **sharp depth map**을 생성함으로써 **이미지 편집**, **증강현실(AR)** 등에서도 활용 가능하다.