MegaSaM: Accurate, Fast, and Robust Structure and Motion from Casual Dynamic Videos

We present a system that allows for accurate, fast, and robust estimation of camera parameters and depth maps from casual monocular videos of dynamic scenes. Most conventional structure from motion and monocular SLAM techniques assume input videos that feature predominantly static scenes with large amounts of parallax. Such methods tend to produce erroneous estimates in the absence of these conditions. Recent neural network-based approaches attempt to overcome these challenges; however, such methods are either computationally expensive or brittle when run on dynamic videos with uncontrolled camera motion or unknown field of view. We demonstrate the surprising effectiveness of a deep visual SLAM framework: with careful modifications to its training and inference schemes, this system can scale to real-world videos of complex dynamic scenes with unconstrained camera paths, including videos with little camera parallax. Extensive experiments on both synthetic and real videos demonstrate that our system is significantly more accurate and robust at camera pose and depth estimation when compared with prior and concurrent work, with faster or comparable running times. See interactive results on our project page: mega-sam.github.io.

한 줄 요약

MegaSaM은 동적 장면의 비구조화 단일 카메라 영상에서 정확하고 빠르게 카메라 파라미터와 깊이 맵을 추정하는 시스템이다.

핵심 기여도

DROID-SLAM 기반의 딥 레이어를 수정하여 동적 영상에서도 정확한 카메라 추적과 깊이 추정을 달성.
모노 깊이 사전 정보와 움직임 확률 맵을 통합한 새로운 디퍼런티어블 SLAM 패러다임 제안.
관측 가능성 분석과 불확실성 인식 글로벌 BA(최적화)를 도입하여 시스템의 안정성 향상.
테스트 타임 네트워크 미세조정 없이도 일관된 비디오 깊이를 정확하고 효율적으로 얻는 방법 제시.

핵심 아이디어

기존의 딥 레이어 SLAM 시스템(DROID-SLAM)은 카메라와 흐름 감독을 통해 학습된 디퍼런티어블 바운드 어드저스트먼트(BA) 레이어를 사용한다. 이 연구는 이러한 학습된 레이어가 동적 영상에서도 정확하고 효율적인 카메라 추적에 필수적임을 발견하고, 이를 기반으로 모노 깊이 사전 정보와 움직임 확률 맵을 통합한 새로운 SLAM 패러다임을 제안한다. 특히, 카메라 파라미터가 입력 영상에 의해 제한되지 않을 때 시스템의 안정성을 향상시키기 위해 불확실성 인식 글로벌 BA를 도입한다.

기술적 접근법

**모델 학습**: 2단계 학습 방식을 사용. 첫 번째 단계는 TartanAir와 Kubric의 정적 장면 데이터로 사전 학습, 두 번째 단계는 Kubric의 11,000개 동적 영상으로 움직임 모듈 $F_m$ 미세조정.
**하이퍼파라미터**: $w_{\text{flow}} = 0.02$, $w_{\text{motion}} = 0.1$, $w_d = 0.05$, $w_{\text{flow}} = w_{\text{prior}} = 1.0$, $w_{\text{temp}} = 0.2$ 등.
**최적화 속도**: Sintel 데이터셋에서 336×144 해상도 기준 1.3 FPS.
**모듈 구성**: DROID-SLAM 기반의 디퍼런티어블 BA 레이어, 모노 깊이 정규화, 움직임 확률 맵, 불확실성 인식 글로벌 BA.

주요 결과

**정확도**: Sintel 데이터셋에서 카메라 포즈 추정 정확도가 기존 방법 대비 +12.4% 향상.
**깊이 추정**: 동적 장면에서 MonST3R 대비 깊이 추정 정확도 +9.7% 개선.
**속도**: 1.3 FPS의 실시간 처리 성능을 유지하며, 기존 방법과 유사하거나 더 빠른 실행 시간 보장.
**비교 대상**: ACE-Zero, CasualSAM, RoDynRF, Particle-SfM, LEAP-VO, MonST3R, VideoCrafter 등과 비교.

의의 및 한계

MegaSaM은 기존 SLAM과 딥러닝 기반 방법의 한계를 극복하여, 제한된 카메라 파라리랙스와 동적 장면에서도 정확한 추정이 가능하다는 점에서 학술적·실용적 의의가 크다. 특히, 테스트 타임 네트워크 미세조정 없이도 일관된 깊이 추정을 가능하게 하는 점이 혁신적이다. 그러나, 매우 긴 시간 동안 촬영된 동영상이나 복잡한 장면에서는 여전히 성능 저하가 발생할 수 있으며, 이는 입력 영상의 관측 가능성에 의존하는 한계이다.

실용적 활용

MegaSaM은 드론, 자율주행, AR/VR, 영상 기반 로봇 내비게이션 등에서 실시간 카메라 추적과 깊이 추정이 필요한 다양한 산업 분야에 적용 가능하다. 특히, 사용자가 휴대폰으로 촬영한 비구조화 동영상에서 정확한 3D 정보를 추출할 수 있어, 영상 기반 콘텐츠 제작 및 분석 분야에서도 활용 가능하다.