Pumpire: Unified Benchmark for Metric Distance Estimation

We present Pumpire, a unified benchmark for evaluating metric point-pair distance estimation capability of both image- and video-level 3D foundation models, with or without depth priors. In contrast to previous approaches that normally evaluate depth and camera intrinsics separately or evaluate point-clouds with geometric similarity metrics, which cannot directly reflect models' point-to-point distance estimation capability, Pumpire directly assesses point-to-point distances from the reconstructed geometry. To this end, we collect a large-scale and diverse dataset (pumpire-6k) comprising 100 real-world scenes, each annotated with physically measured point-pair distances and containing 64 frames, for a total of 6,400 frames. Building on this dataset, we establish a holistic evaluation protocol that covers both image- and video-level 3D foundation models and enables direct assessment of point-pair distance errors and cross-setting comparison. We conduct extensive experiments across 29 baseline configurations of representative 3D foundation models and provide a comprehensive analysis of the results. By offering this benchmark, we target the more fundamental ability to perceive and estimate physical scale in the reconstructed 3D space, which prior evaluation protocols have largely overlooked. The project page can be found at https://pumpire.github.io/

한 줄 요약

Pumpire는 3D 기초 모델의 점-점 거리 추정 능력을 직접 평가하는 통합 벤치마크로, 6,400개의 실제 장면 데이터와 29개 기준 모델 실험을 통해 정확도를 분석한다.

핵심 기여도

**Pumpire-6k 데이터셋**을 제시: 100개 실제 장면, 6,400개 프레임, 물리적으로 측정된 점-점 거리 포함.
**통합 평가 프로토콜**을 제안: 이미지 및 비디오 수준 3D 기초 모델을 비교 가능하게 함.
**29개 기준 설정**에서 실험 수행: 다양한 3D 기초 모델의 성능을 분석.
**점-점 거리 추정 능력** 평가: 기존 지오메트리 유사도 기반 평가 방식과 차별화.

핵심 아이디어

기존 3D 기초 모델 평가 방식은 깊이 추정 또는 카메라 내부 파라미터를 별도로 평가하거나, 점군의 유사도 지표를 사용해 실제 점-점 거리 추정 능력을 정확히 반영하지 못했다. Pumpire는 재구성된 3D 지오메트리에서 직접 점-점 거리를 평가함으로써, 모델이 실제 물리적 거리를 얼마나 정확히 추정하는지를 측정한다. 이는 자율주행, 로봇 조작, 비전-언어 모델 등에서 핵심적인 능력이다. Pumpire-6k 데이터셋은 실제 환경에서 측정된 점-점 거리를 기반으로 구성되어 있어, 다양한 조건에서의 모델 성능을 평가할 수 있다.

기술적 접근법

**Pumpire-6k 데이터셋**: 100개 실제 장면, 각 장면당 64개 프레임, 총 6,400개 프레임.
**점-점 거리 추정 평가**: 재구성된 3D 지오메트리 기반으로 직접 평가.
**평가 프로토콜**: 이미지 및 비디오 수준 3D 기초 모델 모두를 포함.
**기준 모델**: 29개의 대표 3D 기초 모델 설정에서 실험 수행.
**입력 구성**: 이미지 수준 모델과 비디오 수준 모델로 구분.
**예측 패러다임**: 추정 모델(입력 RGB에서 직접 기하 추정)과 완성 모델(깊이 힌트 포함)로 구분.

주요 결과

**Pumpire-6k 데이터셋**에서 29개 기준 모델의 점-점 거리 추정 오차를 측정.
**점-점 거리 추정 정확도**는 기존 지오메트리 유사도 기반 평가와 상관관계가 낮음.
**비디오 수준 모델**은 이미지 수준 모델 대비 다중 뷰 컨텍스트로 인해 더 높은 정확도를 보임.
**깊이 힌트 포함 모델**은 정확도와 교차 뷰 일관성에서 우수한 성능을 나타냄.

의의 및 한계

Pumpire는 3D 기초 모델이 재구성된 3D 공간에서 물리적 스케일을 얼마나 정확히 인식하고 추정하는지를 평가하는 기초적인 능력을 평가하는 데 기여한다. 이는 기존 평가 프로토콜에서 간과되었던 핵심 요소이다. 또한, 다양한 입력 구성(이미지/비디오)과 예측 패러다임(추정/완성)을 통합적으로 평가할 수 있는 첫 번째 벤치마크라는 점에서 학술적·실용적 가치가 있다. 한계로는 특정 환경(예: 야간, 낮은 조도)에서의 성능 평가가 제한적일 수 있으며, 모델의 일반화 능력은 추가 실험을 통해 검증이 필요하다.

실용적 활용

Pumpire는 자율주행, 로봇 조작, AR/VR, 비전-언어 모델 등에서 3D 공간의 물리적 거리 추정 능력을 평가하는 데 활용될 수 있다. 특히, 모델의 실제 환경에서의 안정성과 정확도를 측정하여, 안전한 시스템 설계에 기여할 수 있다.