Self-Geometry: GT-Free and Plug-and-Play Test-Time Adaptation for Geometrically Consistent 3D Vision Foundation Models

Recent Vision Foundation Models (VFMs) predict depth, camera pose, and pointmap in a single forward pass without per-scene optimization, achieving strong generalization. However, enforcing explicit multi-view geometric consistency, e.g., through bundle adjustment, is computationally costly and is thus not imposed during VFM pretraining, so such inconsistency can arise. To address this, implicit self-consistency derived from model outputs (e.g., pointmaps, features), though enforced at test-time in prior work, delivers inherently limited performance gain, especially on scenes where the pretrained VFM is highly inaccurate. In contrast to this implicit signal, we propose Self-Geometry, a plug-and-play test-time adaptation pipeline that directly imposes explicit multi-view geometric constraints using 2D pixel correspondences as pseudo ground-truth. Our proposed Self-Geometry consists of Geometric Disentanglement Optimization, which combines Multi-View Consistency and Epipolar Consistency losses with Gradient Disentanglement to prevent gradient conflict; Frame Angular-Neighbor, a view sampler based on SO(3) geodesic distances for lightly imposing these constraints; and Lightweight TTA, which adapts VFMs via LoRA. Our method achieves consistent improvements in both pose and geometry estimation across six VFMs (VGGT, π^3, DA3-Giant/Large/Base/Small) and four benchmarks (7Scenes, ETH3D, ScanNet++, HiRoom).

한 줄 요약

Self-Geometry는 테스트 시에 2D 픽셀 대응 관계를 활용해 기하학적 일관성을 강제하는 플러그 앤 플레이형 3D 비전 모델 적응 파이프라인이다.

핵심 기여도

Geometric Disentanglement Optimization 모듈을 제안하여 Multi-View Consistency와 Epipolar Consistency 손실을 결합하고 Gradient Disentanglement를 통해 기울기 충돌을 방지.
Frame Angular-Neighbor라는 SO(3) 지오데식 거리 기반 뷰 샘플러를 제안해 제약을 가볍게 적용.
LoRA를 활용한 Lightweight TTA를 통해 6개 VFM(VGGT, π³, DA3-Giant/Large/Base/Small)에서 일관된 성능 향상 달성.
4개의 벤치마크(7Scenes, ETH3D, ScanNet++, HiRoom)에서 포즈와 기하 추정 성능 개선.

핵심 아이디어

기존 VFM은 테스트 시에 내재적 일관성을 강제하지만, 정확도가 낮은 경우 성능 개선이 제한된다. Self-Geometry는 이에 대응해 2D 픽셀 대응 관계를 가짜 라벨로 사용해 명시적 기하학적 제약을 테스트 시에 직접 적용한다. 이는 기존의 암묵적 신호에 비해 더 강력한 일관성을 유도할 수 있다. 핵심은 Geometric Disentanglement Optimization을 통해 Multi-View Consistency와 Epipolar Consistency를 결합하면서 Gradient Disentanglement를 통해 기울기 충돌을 방지하는 점이다.

기술적 접근법

**Geometric Disentanglement Optimization**: Multi-View Consistency와 Epipolar Consistency 손실을 결합. Gradient Disentanglement를 통해 기울기 충돌 방지.
**Frame Angular-Neighbor**: SO(3) 지오데식 거리 기반 뷰 샘플러로, 제약을 가볍게 적용.
**Lightweight TTA**: LoRA를 활용한 VFM 적응.
**적용 대상 모델**: VGGT, π³, DA3-Giant/Large/Base/Small.
**적용 벤치마크**: 7Scenes, ETH3D, ScanNet++, HiRoom.

주요 결과

6개 VFM과 4개 벤치마크에서 포즈와 기하 추정 성능 개선.
명시적인 수치는 제공되지 않았으나, "consistent improvements"라는 표현으로 성능 향상이 일관되게 나타남.
기존 암묵적 신호 기반 방법 대비 더 높은 정확도 달성, 특히 VFM이 정확도가 낮은 경우에도.

의의 및 한계

Self-Geometry는 테스트 시에 기하학적 일관성을 강제하는 플러그 앤 플레이형 접근법으로, 기존 VFM의 한계를 보완할 수 있다. 특히, LoRA 기반의 가벼운 적응으로 기존 모델을 최소한의 추가 비용으로 개선할 수 있는 점이 학술적 및 실용적 가치를 높인다. 그러나, 2D 픽셀 대응 관계의 정확도에 따라 성능이 영향을 받을 수 있으며, 대규모 데이터셋에서의 확장성은 명시되지 않았다.

실용적 활용

Self-Geometry는 로봇 비전, 증강현실(AR), 자율주행 등에서 3D 기하 추정이 중요한 상황에 적용 가능하다. 특히, 사전 학습된 VFM을 테스트 시에 최소한의 추가 비용으로 개선할 수 있어, 실시간 적응이 필요한 산업 분야에 유용하다.