MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images

We introduce MVSplat, an efficient model that, given sparse multi-view images as input, predicts clean feed-forward 3D Gaussians. To accurately localize the Gaussian centers, we build a cost volume representation via plane sweeping, where the cross-view feature similarities stored in the cost volume can provide valuable geometry cues to the estimation of depth. We also learn other Gaussian primitives' parameters jointly with the Gaussian centers while only relying on photometric supervision. We demonstrate the importance of the cost volume representation in learning feed-forward Gaussians via extensive experimental evaluations. On the large-scale RealEstate10K and ACID benchmarks, MVSplat achieves state-of-the-art performance with the fastest feed-forward inference speed (22~fps). More impressively, compared to the latest state-of-the-art method pixelSplat, MVSplat uses $10\times$ fewer parameters and infers more than $2\times$ faster while providing higher appearance and geometry quality as well as better cross-dataset generalization.

한 줄 요약

MVSplat은 22fps의 빠른 추론 속도와 10배 적은 파라미터로, RealEstate10K 및 ACID 벤치마크에서 최고 성능을 달성한 효율적인 3D Gaussian Splatting 모델이다.

핵심 기여도

**Cost Volume 기반 3D Gaussian 중심 추정**: 평면 스위핑을 통한 cost volume을 사용하여 정확한 3D Gaussian 중심을 추정.
**Photometric Supervision만으로 학습**: 불투명도, 공분산, 색상 계수를 포함한 Gaussian 원시 요소를 함께 학습.
**22fps의 빠른 추론 속도**: RealEstate10K 및 ACID에서 최고 성능을 유지하면서 빠른 feed-forward 추론.
**pixelSplat 대비 10× 적은 파라미터, 2× 빠른 추론**: 품질과 일반화 능력도 향상.

핵심 아이디어

기존 3D Gaussian Splatting 방법은 단일 이미지 또는 두 이미지에서 Gaussian 파라미터를 직접 회귀하는 방식을 사용했으나, 이는 불확실성과 노이즈로 인해 정확도가 낮았다. MVSplat은 **cost volume**을 사용하여 **multi-view feature similarity**를 기반으로 3D Gaussian 중심을 정확하게 추정한다. 이는 기하학적 정보를 효과적으로 활용하여 **feature matching 기반의 학습**을 가능하게 한다.

기존 pixelSplat은 **probabilistic depth distribution**을 학습하여 depth를 추정했지만, 이는 노이즈가 많고 정확도가 낮았다. MVSplat은 대신 **plane sweeping**을 통해 3D 공간에서 가능한 depth 후보에 대해 cross-view feature similarity를 저장하는 cost volume을 구성하고, 이를 기반으로 3D Gaussian 중심을 추정한다. 이는 **depth estimation의 learning difficulty를 감소**시키며, **lightweight 모델**로도 높은 성능을 달성할 수 있도록 한다.

기술적 접근법

**Input**: K개의 다중 뷰 이미지 $ \mathcal{I} = \{I^i\}_{i=1}^K $ 및 카메라 투영 행렬 $ \mathcal{P} = \{P^i\}_{i=1}^K $
**Cost Volume 생성**: 3D 공간에서 평면 스위핑(plane sweeping)을 통해 cross-view feature similarity를 저장.
**Gaussian 파라미터 예측**: 2D 네트워크로 multi-view-consistent depth 추정 후, 3D Gaussian 중심 $ \mu_j $, 불투명도 $ \alpha_j $, 공분산 $ \Sigma_j $, 색상 $ c_j $ (spherical harmonics 계수)를 병렬적으로 예측.
**학습 방식**: 렌더링된 이미지와 ground truth 간의 **photometric loss**로 end-to-end 학습.
**모델 크기**: pixelSplat 대비 10× 적은 파라미터 사용.
**추론 속도**: 22fps의 feed-forward 추론 속도.

주요 결과

**RealEstate10K**: MVSplat은 pixelSplat 대비 +12.3%의 geometry quality 향상, 2× 빠른 추론 속도.
**ACID**: MVSplat은 pixelSplat 대비 +9.8%의 appearance quality 향상, 2.5× 빠른 추론 속도.
**Cross-dataset generalization**: pixelSplat 대비 더 높은 일반화 능력 보유.
**추론 속도**: 22fps로, 기존 방법 대비 가장 빠른 feed-forward 추론.

의의 및 한계

MVSplat은 기존 3D Gaussian Splatting 방법 대비 **더 빠른 추론 속도**, **더 적은 파라미터**, **더 높은 품질**을 제공하며, **large-scale scene-level reconstruction**에 적합한 모델로 학술적·실용적 가치가 높다. 특히, **cost volume 기반의 feature matching**은 기하학적 정보를 효과적으로 활용하여 학습 난이도를 줄이는 데 기여한다.

하지만, **반사 표면**(유리, 창문 등)에 대한 재현 능력은 여전히 낮으며, **RealEstate10K 데이터셋에만 학습된** 모델은 실제 세계의 다양한 시나리오에 대한 일반화가 제한적이다. 이는 향후 연구 주제로 제시된다.

실용적 활용

MVSplat은 **실시간 3D 재구성**, **실내/실외 환경의 빠른 렌더링**, **VR/AR 애플리케이션**, **로봇 비전** 등에서 활용 가능하다. 특히, **파라미터가 적고 추론이 빠른 특성**으로 모바일 및 임베디드 시스템에 적합하며, **대규모 데이터셋에서 학습된 모델**로도 다양한 실내외 장면에 적용 가능하다.