VGGT-SLAM: Dense RGB SLAM Optimized on the SL(4) Manifold

We present VGGT-SLAM, a dense RGB SLAM system constructed by incrementally and globally aligning submaps created from the feed-forward scene reconstruction approach VGGT using only uncalibrated monocular cameras. While related works align submaps using similarity transforms (i.e., translation, rotation, and scale), we show that such approaches are inadequate in the case of uncalibrated cameras. In particular, we revisit the idea of reconstruction ambiguity, where given a set of uncalibrated cameras with no assumption on the camera motion or scene structure, the scene can only be reconstructed up to a 15-degrees-of-freedom projective transformation of the true geometry. This inspires us to recover a consistent scene reconstruction across submaps by optimizing over the SL(4) manifold, thus estimating 15-degrees-of-freedom homography transforms between sequential submaps while accounting for potential loop closure constraints. As verified by extensive experiments, we demonstrate that VGGT-SLAM achieves improved map quality using long video sequences that are infeasible for VGGT due to its high GPU requirements.

한 줄 요약

VGGT-SLAM은 SL(4) 다양체 최적화를 통해 비보정 단일 카메라로 밀집 RGB SLAM을 수행하는 시스템이다.

핵심 기여도

VGGT-SLAM은 비보정 단일 카메라에서 생성된 서브맵을 SL(4) 다양체 상에서 최적화하여 정합성 있는 3D 재구성을 달성한다.
기존 Sim(3) 변환 대신 15자유도 호모그래피 변환을 사용하여 재구성 불확실성을 해결한다.
VGGT의 GPU 메모리 한계(예: RTX 4090 기준 약 60 프레임)를 극복하여 긴 영상 시퀀스를 처리한다.

핵심 아이디어

VGGT-SLAM은 VGGT 모델이 생성하는 밀집 포인트 클라우드와 카메라 자세를 기반으로 SLAM을 수행한다. 그러나 VGGT는 GPU 메모리 제약으로 긴 시퀀스 처리가 어려웠다. 이에 따라, VGGT-SLAM은 여러 서브맵을 생성하고, 이들을 SL(4) 다양체 상에서 최적화하여 전역 일관성을 확보한다. 이는 기존 Sim(3) 변환(3차원 유사 변환)이 비보정 카메라의 재구성 불확실성(15자유도의 프로젝티브 변환)을 완전히 해결하지 못한다는 점에서 영감을 받았다. SL(4) 최적화는 회전, 이동, 스케일뿐 아니라 전단, 확장, 투영 변형까지 고려하여 더 정확한 정합성을 제공한다.

기술적 접근법

**모델**: VGGT(Visual Geometry Grounded Transformer)를 사용하여 밀집 포인트 클라우드, 깊이 맵, 특징 트랙, 카메라 자세 및 내부 파라미터를 추정.
**서브맵 정합**: SL(4) 다양체 상에서 최적화를 통해 15자유도 호모그래피 변환을 추정.
**루프 클로저**: 순차적 서브맵 간 상대 호모그래피 추정 외에도 루프 클로저 제약을 반영.
**최적화**: 인자 그래프 기반 SL(4) 최적화를 통해 전역 정합성 확보.
**하드웨어 제약**: VGGT는 RTX 4090(24GB) 기준 약 60 프레임만 처리 가능.

주요 결과

VGGT-SLAM은 VGGT의 GPU 메모리 한계를 극복하여 긴 영상 시퀀스에서 개선된 맵 품질을 달성함.
기존 Sim(3) 기반 정합 대비 SL(4) 최적화를 통해 재구성 불확실성을 감소시킴.
실험적으로 SL(4) 최적화가 Sim(3) 최적화보다 더 정확한 정합성을 보임 (구체적인 수치는 명시되지 않음).

의의 및 한계

VGGT-SLAM은 비보정 단일 카메라에서 SLAM을 가능하게 하며, 기존 SLAM 연구에서 다루지 않았던 SL(4) 다양체 최적화를 도입한 점에서 학술적 의의가 있다. 특히, VGGT의 제한된 GPU 메모리 문제를 해결함으로써 더 긴 시퀀스를 처리할 수 있게 되어 실용적 가치도 높다. 그러나 SL(4) 최적화는 계산 복잡도가 높아 실시간 성능에 한계가 있을 수 있으며, Sim(3)과 SL(4) 최적화를 통합하는 방법은 아직 개발 중이다.

실용적 활용

VGGT-SLAM은 드론, 로봇, AR/VR 등에서 비보정 단일 카메라를 사용한 3D 맵 생성과 위치 추정에 활용 가능하다. 특히, GPU 메모리가 제한된 장치에서도 긴 시퀀스를 처리할 수 있어 모바일 SLAM 시스템 개발에 유용하다.