SpatialTracker: Tracking Any 2D Pixels in 3D Space

Recovering dense and long-range pixel motion in videos is a challenging problem. Part of the difficulty arises from the 3D-to-2D projection process, leading to occlusions and discontinuities in the 2D motion domain. While 2D motion can be intricate, we posit that the underlying 3D motion can often be simple and low-dimensional. In this work, we propose to estimate point trajectories in 3D space to mitigate the issues caused by image projection. Our method, named SpatialTracker, lifts 2D pixels to 3D using monocular depth estimators, represents the 3D content of each frame efficiently using a triplane representation, and performs iterative updates using a transformer to estimate 3D trajectories. Tracking in 3D allows us to leverage asrigid-as-possible (ARAP) constraints while simultaneously learning a rigidity embedding that clusters pixels into different rigid parts. Extensive evaluation shows that our approach achieves state-of-the-art tracking performance both qualitatively and quantitatively, particularly in challenging scenarios such as out-of-plane rotation. And our project page is available at https://henry123-boy.github.io/SpaTracker/.

한 줄 요약

SpatialTracker는 3D 공간에서 2D 픽셀 추적을 수행하여 복잡한 시나리오에서도 정확한 장거리 픽셀 추적을 달성하는 새로운 방법이다.

핵심 기여도

2D 픽셀을 3D 공간으로 변환하여 추적하는 새로운 프레임워크 제안 (SpatialTracker).
3D 공간에서 반복적인 트랜스포머 기반 추적을 수행하며, Triplane 표현을 사용하여 3D 콘텐츠를 효율적으로 표현.
ARAP(As-Rigid-As-Possible) 제약 조건과 rigidity embedding 학습을 통해 장애물 및 복잡한 움직임 상황에서도 추적 성능 향상.
TAP-Vid, BADJA, PointOdyssey 데이터셋에서 기존 방법 대비 우수한 성능 달성.

핵심 아이디어

기존 2D 기반 추적 방법은 3D-2D 투영 과정에서 생기는 가림 현상과 불연속성으로 인해 한계가 있었다. SpatialTracker는 이 문제를 해결하기 위해 2D 픽셀을 3D 공간으로 변환하여 추적한다. 이는 3D 공간에서 ARAP 제약 조건을 적용할 수 있게 하며, 픽셀이 어떤 빠진 물체에 속하는지 학습하는 rigidity embedding을 통해 추적 정확도를 높인다. 3D 공간에서의 추적은 회전, 가림 현상 등이 3D 파라미터로 간결하게 표현될 수 있어, 2D 기반 추적보다 더 의미 있는 정보를 제공한다.

기술적 접근법

**입력**: 단일 카메라 비디오 (RGB 또는 RGBD).
**깊이 추정**: ZoeDepth, MiDaS, DPT 등 monocular depth estimator를 사용하여 2D 픽셀을 3D 좌표로 변환.
**Triplane 표현**: 3D 점 구름을 3개의 직교 평면에 투영하여 3D 콘텐츠를 효율적으로 표현.
**트랜스포머 기반 반복 추적**: Triplane 표현을 사용하여 트랜스포머가 3D 경로를 반복적으로 예측.
**ARAP 제약**: 3D 공간에서 빠진 물체 그룹을 식별하고, rigidity embedding을 통해 ARAP 정규화를 적용하여 추적 정확도 향상.

주요 결과

TAP-Vid-DAVIS 데이터셋에서 "Ours w/ ZoeDepth"가 가장 우수한 성능을 보임.
ZoeDepth는 MiDaS 및 DPT 대비 시간적 일관성과 정확도가 높아 추적 성능에 긍정적 영향.
장거리 2D 픽셀 추적 및 3D 추적 모두에서 기존 방법 대비 향상된 정량적 성능 달성.
복잡한 움직임과 장기 가림 상황에서도 우수한 추적 결과를 보여줌.

의의 및 한계

SpatialTracker는 3D 공간에서의 추적을 통해 2D 기반 방법의 한계를 극복하며, 장거리 및 밀집된 픽셀 추적 문제에 기술적 기여를 한다. 특히 ARAP 제약과 rigidity embedding을 통해 물체의 빠진 움직임을 학습하여 추적 정확도를 높이는 점이 학술적·실용적 가치가 있다. 그러나 현재 모델은 off-the-shelf monocular depth estimator에 의존하며, 이들의 정확도가 최종 추적 성능에 영향을 미친다는 한계가 있다. 향후 monocular depth 추정 기술의 발전이 추적 성능 향상에 기여할 것으로 기대된다.

실용적 활용

SpatialTracker는 로봇 비전, 자율 주행, AR/VR 등에서 장거리 및 밀집된 픽셀 추적을 필요로 하는 다양한 산업 분야에 적용 가능하다. 특히, 복잡한 움직임과 가림 현상이 있는 실시간 비디오 처리에 유용하며, 3D 공간에서의 물체 움직임 이해를 필요로 하는 연구 분야에도 활용 가능하다.