MV-DUSt3R+: Single-Stage Scene Reconstruction from Sparse Views In 2 Seconds

Recent sparse multi-view scene reconstruction advances like DUSt3R and MASt3R no longer require camera calibration and camera pose estimation. However, they only process a pair of views at a time to infer pixel-aligned pointmaps. When dealing with more than two views, a combinatorial number of error prone pairwise reconstructions are usually followed by an expensive global optimization, which often fails to rectify the pairwise reconstruction errors. To handle more views, reduce errors, and improve inference time, we propose the fast single-stage feed-forward network MV- DUSt3R. At its core are multi-view decoder blocks which exchange information across any number of views while considering one reference view. To make our method robust to reference view selection, we further propose MV-DUSt3R+, which employs cross-reference-view blocks to fuse information across different reference view choices. To further enable novel view synthesis, we extend both by adding and jointly training Gaussian splatting heads. Experiments on multi-view stereo reconstruction, multi-view pose estimation, and novel view synthesis confirm that our methods improve significantly upon prior art. Code released.1

한 줄 요약

MV-DUSt3R+는 2초 이내로 다중 뷰에서 단일 단계로 장면을 재구성하는 신속한 신경망이다.

핵심 기여도

MV-DUSt3R는 단일 단계 feed-forward 네트워크로, DUSt3R 대비 48~78× 빠른 처리 속도를 달성.
HM3D, ScanNet, MP3D 데이터셋에서 4~24 뷰 입력 시 Chamfer 거리가 2.8×, 2×, 1.6× 개선.
MV-DUSt3R+는 다중 레퍼런스 뷰를 고려해 장면 재구성 정확도를 추가로 2.6×, 1.6×, 1.8× 향상.
Gaussian splatting head를 추가해 Novel View Synthesis(NVS)를 지원.

핵심 아이디어

기존 DUSt3R 및 MASt3R는 뷰를 쌍으로 처리하고, 이후 전역 최적화를 통해 장면을 재구성한다. 이는 뷰 수가 늘어날수록 계산 비용이 증가하고, 전역 최적화가 오류를 정정하지 못해 재구성 품질이 저하된다. 이를 해결하기 위해, MV-DUSt3R은 다중 뷰 디코더 블록을 도입하여 단일 레퍼런스 뷰를 고려하면서도 모든 뷰 간 정보를 교환하는 방식으로 단일 단계 처리를 가능하게 한다. MV-DUSt3R+는 Cross-Reference-View attention 블록을 추가해 여러 레퍼런스 뷰를 고려함으로써 레퍼런스 뷰 선택에 대한 로버스트성을 향상시킨다. 이는 특히 장면이 복잡하거나 뷰 간 시각 정보가 제한적일 때 유용하다.

기술적 접근법

**MV-DUSt3R**: 다중 뷰 디코더 블록을 사용해 모든 입력 뷰를 단일 단계로 처리. 레퍼런스 뷰 하나를 고려하면서 뷰 간 관계를 학습.
**MV-DUSt3R+**: Cross-Reference-View attention 블록을 추가해 여러 레퍼런스 뷰를 고려.
**Gaussian splatting head**: 각 뷰에 대해 3D 가우시안 속성을 예측. 렌더링 손실과 재구성 손실을 결합해 학습.
**입력 뷰 수**: 4~24 뷰까지 처리 가능.
**속도**: DUSt3R 대비 48~78× 빠른 처리.

주요 결과

**HM3D, ScanNet, MP3D** 데이터셋에서 4 뷰 입력 시 Chamfer 거리가 2.8×, 2×, 1.6× 개선.
24 뷰 입력 시 3.2×, 1.9×, 2.1× 개선.
MV-DUSt3R+는 24 뷰 입력 시 2.6×, 1.6×, 1.8× 추가 개선.
DUSt3R 대비 14× 빠르게 처리.
Gaussian splatting head 추가로 NVS 성능 향상.

의의 및 한계

MV-DUSt3R+는 전역 최적화 없이 다중 뷰를 단일 단계로 처리함으로써 기존 파이프라인의 복잡성을 줄이고, 처리 속도와 정확도를 동시에 향상시킨다. 특히, 장면 복잡도가 높은 경우에도 Cross-Reference-View attention 블록이 오류를 감소시키는 데 기여한다. 그러나, 입력 뷰 수가 24를 넘어설 경우 성능 저하가 발생할 수 있으며, 레퍼런스 뷰 선택에 따라 결과가 달라질 수 있다는 한계가 있다. 또한, Gaussian splatting head는 NVS 성능을 향상시키지만, MVS 재구성 성능에는 큰 영향을 미치지 않는다.

실용적 활용

MV-DUSt3R+는 실시간 3D 장면 재구성, 자율주행 시뮬레이션, 증강현실(Augmented Reality) 등에서 빠른 처리와 정확한 재구성이 요구되는 분야에 적용 가능하다. 특히, 카메라 파라미터가 미리 알려지지 않은 환경에서 유용하며, 대규모 장면의 실시간 분석 및 시각화에도 활용할 수 있다.