MASt3R-SLAM: Real-Time Dense SLAM with 3D Reconstruction Priors

We present a real-time monocular dense SLAM system designed bottom-up from MASt3R, a two-view 3D reconstruction and matching prior. Equipped with this strong prior, our system is robust on in-the-wild video sequences despite making no assumption on a fixed or parametric camera model beyond a unique camera centre. We introduce efficient methods for pointmap matching, camera tracking and local fusion, graph construction and loop closure, and second-order global optimisation. With known calibration, a simple modification to the system achieves state-of-the-art performance across various benchmarks. Altogether, we propose a plug-and-play monocular SLAM system capable of producing globally consistent poses and dense geometry while operating at 15 FPS.

한 줄 요약

MASt3R-SLAM은 3D 재구성 사전 정보를 기반으로 15 FPS 실시간 밀도 SLAM을 구현한 시스템이다.

핵심 기여도

MASt3R를 기반으로 설계된 첫 번째 실시간 밀도 SLAM 시스템 제시.
포인트맵 매칭, 카메라 추적, 로컬 퓨전, 그래프 생성, 루프 클로저, 이차 최적화 기법 제안.
일반적인 시간 변화 카메라 모델을 처리하면서 전역 일관성과 밀도 기하 구조를 제공.
보정 정보가 주어진 경우, 다양한 벤치마크에서 최상의 성능 달성.

핵심 아이디어

기존 SLAM 시스템은 고정된 카메라 모델이나 추가 센서(예: IMU)를 가정하지만, MASt3R-SLAM은 유일한 카메라 중심만 가정하며, 이는 시간에 따라 변하는 카메라 모델을 처리할 수 있다. 이 시스템은 두 이미지로부터 3D 포인트맵을 생성하는 MASt3R의 사전 정보를 활용하여, 포즈 추적과 3D 재구성을 동시에 해결한다. 특히, 포인트맵은 `𝐗^i_i`, `𝐗^j_i`와 같은 좌표계로 표현되며, 이는 카메라 모델과 관계없이 일관된 3D 정보를 제공한다. 또한, 이차 최적화(`second-order global optimisation`)를 통해 대규모 최적화를 효율적으로 수행하며, `Sim(3)` 그룹을 사용한 스케일 최적화를 통해 예측 불일치를 줄인다.

기술적 접근법

**MASt3R 예측**: 두 이미지 입력으로 포인트맵(`𝐗^i_i`, `𝐗^j_i`)과 신뢰도(`𝐂^i_i`, `𝐂^j_i`)를 생성.
**포인트맵 매칭**: `𝐃^i_i`, `𝐃^j_i`와 같은 `d`-차원 특징을 사용하여 매칭 수행.
**카메라 추적 및 로컬 퓨전**: 실시간으로 포즈 추적과 로컬 맵 퓨전을 수행.
**그래프 생성 및 루프 클로저**: 이미지 간의 관계를 그래프로 표현하고, 루프 클로저를 통해 전역 일관성을 확보.
**이차 최적화**: `Sim(3)` 그룹과 Lie 대수 `𝔰𝔦𝔪(3)`를 사용한 최적화를 통해 스케일 불일치를 해결.
**카메라 모델**: 유일한 카메라 중심(`ψ(𝐗^i_i)`)을 기반으로 레이를 정규화하여, 줌, 왜곡 등을 처리.

주요 결과

**TUM RGB-D, 7-Scenes, ETH3D-SLAM, EuRoC** 데이터셋에서 실시간 성능을 유지하면서 정확한 포즈 추적과 밀도 기하 구조를 제공.
**15 FPS**의 실시간 처리 속도를 달성.
**EuRoC Vicon room** 데이터셋에서 3D 구조 스캔 기준으로 최상의 기하 추정 성능.
**보정 정보가 주어진 경우**, 기존 SLAM 베이스라인 대비 **정확도 +10% 이상 개선**.

의의 및 한계

MASt3R-SLAM은 단일 카메라만으로도 전역 일관성과 밀도 맵을 제공하는 첫 실시간 SLAM 시스템으로, 공간 지능 연구에 기초를 제공한다. 특히, `MASt3R`의 사전 정보를 기반으로 한 모듈식 설계는 SLAM의 확장성과 효율성을 동시에 확보한다. 그러나, 현재는 `MASt3R`의 훈련 데이터셋에 의존하며, 다양한 카메라 모델과 왜곡을 포함한 데이터셋이 필요하다는 한계가 있다. 또한, 실시간 성능은 하드웨어(`NVIDIA RTX 4090`)에 의존적이며, 저사양 장치에서는 성능 저하가 발생할 수 있다.

실용적 활용

이 시스템은 **로봇 내비게이션**, **증강현실(AR)**, **드론 자율비행** 등 단일 카메라만으로도 정확한 3D 맵을 생성해야 하는 산업에 적용 가능하다. 특히, IMU 없이도 정확한 포즈 추적을 제공하므로, **저비용 SLAM 솔루션** 개발에 기여할 수 있다.