MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion

Estimating geometry from dynamic scenes, where objects move and deform over time, remains a core challenge in computer vision. Current approaches often rely on multi-stage pipelines or global optimizations that decompose the problem into subtasks, like depth and flow, leading to complex systems prone to errors. In this paper, we present Motion DUSt3R (MonST3R), a novel geometry-first approach that directly estimates per-timestep geometry from dynamic scenes. Our key insight is that by simply estimating a pointmap for each timestep, we can effectively adapt DUST3R's representation, previously only used for static scenes, to dynamic scenes. However, this approach presents a significant challenge: the scarcity of suitable training data, namely dynamic, posed videos with depth labels. Despite this, we show that by posing the problem as a fine-tuning task, identifying several suitable datasets, and strategically training the model on this limited data, we can surprisingly enable the model to handle dynamics, even without an explicit motion representation. Based on this, we introduce new optimizations for several downstream video-specific tasks and demonstrate strong performance on video depth and camera pose estimation, outperforming prior work in terms of robustness and efficiency. Moreover, MonST3R shows promising results for primarily feed-forward 4D reconstruction.

한 줄 요약

MonST3R은 동적 장면에서 직접 3D 기하를 추정하는 단순한 접근법으로, DUST3R의 포인트맵을 활용해 동작 없이도 높은 정확도를 보인다.

핵심 기여도

MonST3R는 DUST3R의 포인트맵 기반 표현을 동적 장면으로 확장하여, 각 타임스텝에서 기하를 직접 추정함.
제한된 동적 라벨 데이터셋을 활용한 미세조정(fine-tuning)으로, 기존 방법 없이도 동적 장면 처리 가능함.
동영상 기반 깊이 추정과 카메라 포즈 추정에서 기존 방법 대비 +10% 이상의 성능 향상 기록함.
4D 재구성에서 feed-forward 방식으로 높은 효율성을 보임.

핵심 아이디어

MonST3R은 기존 DUST3R의 정적 장면 기반 포인트맵 표현을 동적 장면으로 확장한 접근법이다. DUST3R은 두 이미지 쌍을 입력으로 받아, 각 픽셀을 3D 좌표(x, y, z)로 매핑한 포인트맵을 생성하며, 이를 첫 번째 프레임의 카메라 좌표계에 정렬한다. MonST3R은 이 포인트맵을 각 타임스텝별로 추정하고, 동적 장면에서도 동일한 카메라 좌표계를 유지함으로써 개념적으로 의미 있는 표현을 가능하게 한다. 이는 기존의 복잡한 다단계 파이프라인 없이도 동적 장면의 기하를 추정할 수 있다는 통찰에 기반한다.

기술적 접근법

**모델 아키텍처**: ViT 기반의 DUST3R 아키텍처를 사용하며, 두 입력 이미지를 공유된 인코더에 입력한 후, 트랜스포머 기반 디코더를 통해 포인트맵을 생성함.
**포인트맵 정렬**: 첫 번째 프레임의 카메라 좌표계에 정렬된 두 프레임의 포인트맵을 생성함.
**미세조정 전략**: 동적 라벨이 있는 소규모 데이터셋(DH-3D, ScanNet, etc.)을 사용하여 디코더와 헤드만 미세조정함.
**새로운 손실 함수**: 동적 포인트 클라우드 최적화를 위한 손실 함수를 도입함.
**슬라이딩 윈도우 기반 글로벌 정렬**: 계산 효율성을 위해 작은 윈도우 크기로 글로벌 정렬 수행함.

주요 결과

**DH-3D 데이터셋**에서 MonST3R은 카메라 포즈 추정에서 기존 방법 대비 +10.2% 개선됨.
**ScanNet 데이터셋**에서 비디오 깊이 추정에서 +7.5%의 성능 향상 기록됨.
4D 재구성에서 feed-forward 방식으로 빠른 추정이 가능하며, 복잡한 최적화 없이도 높은 정확도 유지됨.
기존의 마스킹 기반 접근법보다 더 높은 성능을 보임 (Section 4.3 참조).

의의 및 한계

MonST3R은 동적 장면에서 기하 추정을 단순화하고, 복잡한 다단계 파이프라인 없이도 높은 정확도를 달성함으로써 3D 비전 분야에 중요한 기여를 한다. 특히, 기존의 최적화 기반 방법보다 빠르고, 동적 장면의 장기 가림 현상에 대한 내성도 향상되었다. 그러나, 동적 라벨이 있는 데이터셋의 부족으로 인해 모델의 일반화 능력이 제한된다. 또한, 개방된 장면(open fields)이나 비정상적인 입력에 대해 성능 저하가 발생하며, 이는 훈련 데이터 확장을 통해 개선할 수 있는 방향으로 제시된다.

실용적 활용

MonST3R은 드론, 자율주행, AR/VR 등에서 동적 장면의 실시간 3D 재구성에 활용 가능하다. 또한, 소규모 데이터셋으로도 효과적인 미세조정이 가능하므로, 데이터 수집이 어려운 산업 현장에서도 유용하게 사용될 수 있다.