No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images

We introduce NoPoSplat, a feed-forward model capable of reconstructing 3D scenes parameterized by 3D Gaussians from \textit{unposed} sparse multi-view images. Our model, trained exclusively with photometric loss, achieves real-time 3D Gaussian reconstruction during inference. To eliminate the need for accurate pose input during reconstruction, we anchor one input view's local camera coordinates as the canonical space and train the network to predict Gaussian primitives for all views within this space. This approach obviates the need to transform Gaussian primitives from local coordinates into a global coordinate system, thus avoiding errors associated with per-frame Gaussians and pose estimation. To resolve scale ambiguity, we design and compare various intrinsic embedding methods, ultimately opting to convert camera intrinsics into a token embedding and concatenate it with image tokens as input to the model, enabling accurate scene scale prediction. We utilize the reconstructed 3D Gaussians for novel view synthesis and pose estimation tasks and propose a two-stage coarse-to-fine pipeline for accurate pose estimation. Experimental results demonstrate that our pose-free approach can achieve superior novel view synthesis quality compared to pose-required methods, particularly in scenarios with limited input image overlap. For pose estimation, our method, trained without ground truth depth or explicit matching loss, significantly outperforms the state-of-the-art methods with substantial improvements. This work makes significant advances in pose-free generalizable 3D reconstruction and demonstrates its applicability to real-world scenarios. Code and trained models are available at https://noposplat.github.io/.

한 줄 요약

NoPoSplat은 카메라 포즈 없이 3D 가우시안을 실시간으로 재구성하는 단순한 피드포워드 모델이다.

핵심 기여도

NoPoSplat은 카메라 포즈 없이 3D 가우시안을 재구성하는 피드포워드 모델로, 포토메트릭 손실만으로 학습된다.
카메라 내부 파라미터를 토큰 임베딩으로 변환하여 정확한 스케일 예측을 가능하게 한다.
2단계 코어-파인 파이프라인을 제안하여 정확한 카메라 포즈 추정을 달성한다.
입력 이미지 간의 중첩이 적은 경우에도 높은 품질의 뉴럴 뷰 시너지(NVS)를 보인다.

핵심 아이디어

NoPoSplat은 기존의 3D 재구성 방법이 카메라 포즈에 의존하는 한계를 극복하기 위해, 하나의 입력 뷰를 기준 좌표계로 삼아 모든 뷰의 가우시안을 이 좌표계 내에서 직접 예측한다. 이는 포즈 추정 및 좌표 변환 과정을 생략함으로써 오류를 줄이고, 실시간 성능을 향상시킨다. 기존 방법은 각 뷰의 로컬 좌표계에서 가우시안을 예측한 후, 포즈 정보를 사용해 글로벌 좌표계로 변환하고 병합하는 방식이었으나, 이 과정에서 정확도가 저하되는 문제가 있었다. NoPoSplat은 이러한 변환-병합 파이프라인을 생략하고, 캐노니컬 좌표계 내에서 직접 병합을 학습함으로써 더 정확한 3D 표현을 달성한다.

또한, 스케일 모호성을 해결하기 위해 카메라 내부 파라미터(예: 초점 거리)를 토큰 임베딩으로 변환하여 네트워크에 입력한다. 이는 모델이 정확한 스케일을 예측하도록 도와준다. 기존 방법은 내부 파라미터를 고려하지 않아, 재구성된 장면의 스케일이 실제와 차이가 나는 문제가 있었으나, NoPoSplat은 이를 해결한다.

기술적 접근법

**모델 구조**: 피드포워드 네트워크이며, 포토메트릭 손실만으로 학습된다.
**캐노니컬 좌표계**: 첫 번째 입력 뷰의 로컬 좌표계를 기준 좌표계로 삼고, 모든 뷰의 가우시안을 이 좌표계 내에서 예측한다.
**내부 파라미터 임베딩**: 카메라 내부 파라미터를 토큰으로 변환하여 이미지 토큰과 결합하여 네트워크 입력으로 사용한다.
**포즈 추정 파이프라인**: 2단계 코어-파인 파이프라인을 사용. 첫 번째 단계에서 PnP 알고리즘으로 초기 포즈 추정, 두 번째 단계에서 포토메트릭 손실을 기반으로 정제한다.
**데이터셋**: RealEstate10k, ACID, DL3DV, DTU, ScanNet, ScanNet++ 등을 사용하며, 입력 이미지의 중첩 비율에 따라 Small (0.05% - 0.3%), Medium (0.3% - 0.55%), Large (0.55% - 0.8%)로 분류하여 평가한다.

주요 결과

**NVS 성능**: 입력 이미지 중첩이 작은 경우, NoPoSplat은 PSNR 22.514 (베이스라인 대비 +3.25), SSIM 0.784 (베이스라인 대비 +0.17), LPIPS 0.210 (베이스라인 대비 -0.05)를 달성한다.
**포즈 추정 성능**: 포즈 추정에서 AUC@5° 0.839, AUC@10° 0.883, AUC@20° 0.883를 기록하며, 기존 SOTA 방법 대비 10% 이상 개선된다.
**데이터셋**: RealEstate10k, ACID, DTU, ScanNet 등에서 모두 뛰어난 성능을 보인다.
**실시간 성능**: 인퍼런스 시 실시간 3D 가우시안 재구성을 가능하게 한다.

의의 및 한계

NoPoSplat은 카메라 포즈 없이도 높은 품질의 3D 재구성을 가능하게 하여, 실시간 애플리케이션 및 사용자 제공 이미지에 대한 3D 재구성에 큰 의의를 가진다. 특히, 입력 이미지 간의 중첩이 적은 경우에도 뛰어난 성능을 보이며, 기존 포즈 의존적 방법을 대체할 수 있는 가능성을 제시한다. 또한, 포토메트릭 손실만으로 학습 가능하다는 점에서, 대규모 데이터셋을 활용한 학습이 용이하다는 장점이 있다.

그러나, 모델은 여전히 스케일 모호성 문제를 완전히 해결하지 못하며, 일부 복잡한 장면에서는 정확도가 저하될 수 있다. 또한, 포즈 추정 파이프라인은 여전히 PnP 알고리즘에 의존하므로, 완전히 포즈 독립적인 시스템이 되지는 않는다.

실용적 활용

NoPoSplat은 사용자 제공 이미지나 모바일 장치로 촬영된 스파스 이미지 쌍, 텍스트-투-비디오 모델로 생성된 영상 등 다양한 상황에서 적용 가능하다. 특히, 카메라 포즈 정보가 부족하거나, 실시간 성능이 요구되는 애플리케이션