VGGT: Visual Geometry Grounded Transformer

We present VGGT, a feed-forward neural network that directly infers all key 3D attributes of a scene, including camera parameters, point maps, depth maps, and 3D point tracks, from one, a few, or hundreds of its views. This approach is a step forward in 3D computer vision, where models have typically been constrained to and specialized for single tasks. It is also simple and efficient, reconstructing images in under one second, and still outperforming alternatives that require post-processing with visual geometry optimization techniques. The network achieves state-of-the-art results in multiple 3D tasks, including camera parameter estimation, multi-view depth estimation, dense point cloud reconstruction, and 3D point tracking. We also show that using pretrained VGGT as a feature backbone significantly enhances downstream tasks, such as non-rigid point tracking and feed-forward novel view synthesis. Code and models are publicly available at https://github.com/facebookresearch/vggt.

한 줄 요약

VGGT는 3D 장면 속 카메라 파라미터, 포인트 맵, 깊이 맵 등을 단일 패스로 추정하는 트랜스포머 기반 신경망이다.

핵심 기여도

VGGT는 1개 또는 수백 개의 이미지 입력으로 카메라 파라미터, 깊이 맵, 포인트 맵, 3D 포인트 트랙을 단일 패스로 추정한다.
기존 최적화 기반 방법 없이도, DUSt3R, MASt3R, VGGSfM보다 뛰어난 성능을 보인다.
VGGT는 3D 속성 예측을 위한 별도 네트워크 설계 없이, 표준 트랜스포머를 3D 어노테이션이 있는 대규모 데이터셋으로 학습하여 구현한다.
VGGT는 포스트-프로세싱 없이도 실시간 3D 재구성을 가능하게 하며, 1초 미만에 이미지 재구성 가능하다.

핵심 아이디어

VGGT는 기존 3D 재구성에서 필수적인 포스트-프로세싱(예: Bundle Adjustment)을 거의 생략하고, 단일 신경망 패스로 3D 속성을 추정하는 새로운 접근법을 제시한다. 이는 기존의 DUSt3R, MASt3R, VGGSfM와 달리, 2개 이미지만 처리하거나 추가 최적화가 필요한 방식을 벗어난다. VGGT는 대규모 트랜스포머를 사용하며, 프레임 단위와 글로벌 어텐션을 번갈아 사용하는 구조를 제안한다. 이는 3D 인덕티브 바이어스 없이도 3D 속성을 효과적으로 학습할 수 있음을 보여준다. 또한, VGGT는 여러 3D 속성을 함께 예측함으로써 전체 정확도를 향상시키는 학습 전략을 채택한다.

기술적 접근법

**모델 구조**: VGGT는 대규모 트랜스포머 기반 모델로, 입력 이미지 집합을 받아 3D 속성을 출력한다.
**예측 헤드**: 카메라 파라미터, 깊이 맵, 포인트 맵, 3D 포인트 트랙 예측 헤드를 포함.
**학습 데이터**: 공개된 3D 어노테이션이 있는 대규모 데이터셋을 사용.
**트레이닝 전략**: 다양한 3D 속성을 함께 예측하도록 학습.
**추론 과정**: 깊이 맵과 카메라 파라미터를 이용해 포인트 맵을 유도하여, 전용 헤드보다 더 정확한 결과를 얻는다.

주요 결과

**Camera parameter estimation**: VGGT는 기존 최적화 기반 방법보다 뛰어난 성능을 보인다.
**Multi-view depth estimation**: VGGT는 DUSt3R, MASt3R보다 더 높은 정확도를 기록.
**Dense point cloud reconstruction**: VGGT는 포스트-프로세싱 없이도 높은 품질의 포인트 클라우드를 생성.
**3D point tracking**: VGGT는 기존 방법 대비 +10% 이상의 정확도 향상 보임.
**Novel view synthesis**: VGGT 기반 특징은 기존 방법보다 1.6× 가속화된 성능을 보인다.

의의 및 한계

VGGT는 3D 재구성에서 기존의 기하학적 최적화를 대체하는 신경망 기반 접근법을 제시하며, 실시간 3D 처리에 적합한 속도와 정확도를 동시에 달성한다. 이는 3D 컴퓨터 비전 분야에서 중요한 발전이며, 기존 최적화 기반 방법의 복잡성과 계산 비용을 줄이는 데 기여한다. 그러나 VGGT는 특정 3D 작업에 최적화된 모델(예: DepthAnything, MoGe)보다 일부 작업에서 정확도가 낮을 수 있으며, 복잡한 장면에서는 포스트-프로세싱이 여전히 유용할 수 있다.

실용적 활용

VGGT는 실시간 3D 재구성, 드론 및 로봇의 환경 인식, AR/VR, 비정상적인 영상에서의 포인트 추적 등 다양한 산업 및 연구 분야에서 활용 가능하다. 특히, 비전 기반 자율 주행 시스템에서 실시간 3D 정보 추정에 유용할 것으로 기대된다.