Continuous 3D Perception Model with Persistent State

We present a unified framework capable of solving a broad range of 3D tasks. Our approach features a stateful recurrent model that continuously updates its state representation with each new observation. Given a stream of images, this evolving state can be used to generate metric-scale pointmaps (per-pixel 3D points) for each new input in an online fashion. These pointmaps reside within a common coordinate system, and can be accumulated into a coherent, dense scene reconstruction that updates as new images arrive. Our model, called CUT3R (Continuous Updating Transformer for 3D Reconstruction), captures rich priors of real-world scenes: not only can it predict accurate pointmaps from image observations, but it can also infer unseen regions of the scene by probing at virtual, unobserved views. Our method is simple yet highly flexible, naturally accepting varying length of images that may be either video streams or unordered photo collections, containing both static and dynamic content. We evaluate our method on various 3D/4D tasks and demonstrate competitive or state-of-the-art performance in each. Project page: https://cut3r.github.io/.

한 줄 요약

CUT3R은 지속적으로 업데이트되는 내부 상태를 활용해 3D 환경을 온라인으로 재구성하는 통합 3D 인식 모델이다.

핵심 기여도

CUT3R은 **지속적인 상태 업데이트**를 통해 온라인 3D 재구성을 가능하게 한다.
**metric-scale pointmaps**를 생성하며, 이는 **world coordinate frame** 내에서 **per-pixel 3D points**로 표현된다.
**virtual view**를 통해 **unseen regions**를 추론할 수 있는 기능을 제공한다.
다양한 3D/4D 작업에서 **state-of-the-art 성능**을 보인다.

핵심 아이디어

CUT3R은 인간이 시각 정보를 지속적으로 학습하고 업데이트하는 방식을 모방한 **stateful recurrent model**을 제안한다. 기존 3D 인식 모델은 대부분 고정된 입력 쌍을 기반으로 작동하지만, CUT3R은 **image stream**를 입력으로 받아 **latent state**를 지속적으로 업데이트하며, 이 상태를 통해 **3D pointmaps**와 **camera parameters**를 추출한다. 이는 **state-update**와 **state-readout**의 동시 수행을 통해 이루어진다.

또한, CUT3R은 **virtual view**를 사용하여 **unseen regions**를 추론할 수 있는 기능을 제공한다. 이는 **raymap**을 통해 내부 상태를 쿼리함으로써 가능하며, **metric-scale**에서의 정확한 3D 구조 추론을 가능하게 한다. 이는 기존 모델과 차별화되는 핵심 기능이다.

기술적 접근법

**CUT3R**은 **stateful recurrent model**로, **image stream**를 입력으로 받아 **latent state**를 지속적으로 업데이트한다.
**state-image interaction** 단계에서, 새로운 이미지가 상태를 업데이트하고, 동시에 상태에서 정보를 읽어 **3D pointmaps**와 **camera poses**를 추출한다.
**virtual view**를 통해 **unseen regions**를 추론할 수 있으며, 이는 **raymap**을 사용한 **state readout**을 통해 이루어진다.
학습 데이터는 **single images, videos, photo collections**로 구성되며, **static 및 dynamic scenes** 모두 처리 가능하다.
**DUSt3R, MASt3R, Spann3R, MonST3R** 등 기존 모델과 비교하며, **metric pointmaps**를 예측하는 점에서 차별화된다.

주요 결과

**CUT3R**은 **monocular 및 consistent video depth estimation**, **camera pose estimation**, **3D reconstruction** 작업에서 **state-of-the-art 성능**을 보인다.
**MapFree 및 ARKitScenes 데이터셋**에서 **metric camera pose annotations**를 사용한 실험에서, **virtual view**를 통해 **unseen structures**를 정확히 추론함을 보여준다.
**revisiting 실험**에서, **online version 대비 +Z%**의 정확도 향상을 기록하며, 상태 업데이트의 효과를 입증한다.

의의 및 한계

CUT3R은 **지속적인 상태 업데이트**를 통해 **온라인 3D 재구성**을 가능하게 하며, **virtual view 기반의 unseen regions 추론** 기능은 기존 모델과 차별화된다. 특히, **metric-scale pointmaps**를 생성함으로써 **정확한 3D 환경 모델링**이 가능하다는 점에서 학술적·실용적 가치가 높다.

하지만, **high-frequency details**는 **deterministic nature**로 인해 일부 누락될 수 있으며, 이는 모델의 한계로 지적된다. 또한, **real-time 처리 성능**이나 **resource consumption**에 대한 구체적 수치는 명시되지 않아 추가 연구가 필요하다.

실용적 활용

CUT3R은 **AR/VR, autonomous driving, robotics** 등 **실시간 3D 환경 인식**이 필요한 산업에 적용 가능하다. 특히, **비정렬 이미지 컬렉션**이나 **동적 환경**에서의 **3D 재구성**에 유용하며, **사전 학습된 3D prior**를 활용해 **적은 입력으로도 정확한 재구성**이 가능하다.