TrackCraft3R: Repurposing Video Diffusion Transformers for Dense 3D Tracking

Dense 3D tracking from monocular video is fundamental to dynamic scene understanding. While recent 3D foundation models provide reliable per-frame geometry, recovering object motion in this geometry remains challenging and benefits from strong motion priors learned from real-world videos. Existing 3D trackers either follow iterative paradigms trained from scratch on synthetic data or fine-tune 3D reconstruction models learned from static multi-view images, both lacking real-world motion priors. Pre-trained video diffusion transformers (video DiTs) offer rich spatio-temporal priors from internet-scale videos, making them a promising foundation for 3D tracking. However, their frame-anchored formulation, which generates each frame's content, is fundamentally mismatched with reference-anchored dense 3D tracking, which must follow the same physical points from a reference frame across time. We present TrackCraft3R, the first method to repurpose a video DiT as a feed-forward dense 3D tracker. Given a monocular video and its frame-anchored reconstruction pointmap, TrackCraft3R predicts a reference-anchored tracking pointmap that follows every pixel of the first frame across time in a single forward pass, along with its visibility. We achieve this through two designs: (i) a dual-latent representation that uses per-frame geometry latents and reference-anchored track latents as dense queries, and (ii) temporal RoPE alignment, which specifies the target timestamp of each track latent. Together, these designs convert the per-frame generative paradigm of video DiTs into a reference-anchored tracking formulation with LoRA fine-tuning. TrackCraft3R achieves state-of-the-art performance on standard sparse and dense 3D tracking benchmarks, while running 1.3x faster and using 4.6x less peak memory than the strongest prior method. We further demonstrate robustness to large motions and long videos.

📋 한 줄 요약

**[3D 추적 / 비디오 디퓨전]** 비디오 디퓨전 트랜스포머의 시공간 사전을 활용해 단안 비디오에서 모든 픽셀의 dense 3D 추적을 단일 forward로 수행하는 TrackCraft3R 제안.

🎯 핵심 기여도

비디오 DiT의 frame-anchored 생성 패러다임을 reference-anchored 3D 추적으로 재활용하는 첫 시도.
per-frame geometry latent과 reference-anchored track latent을 결합한 dual-latent 표현 도입.
temporal RoPE alignment로 각 track latent의 target timestamp를 명시적으로 지정.
LoRA fine-tuning으로 강력한 사전을 보존하면서 추적 형식으로 변환, 표준 sparse·dense 3D 추적 벤치마크에서 SOTA 달성.

💡 핵심 아이디어

인터넷 규모 비디오로 학습된 비디오 디퓨전 트랜스포머는 풍부한 실세계 motion prior를 갖고 있지만 frame-anchored 생성 형식 때문에 3D 추적에 부적합하다. 표현 형식만 reference-anchored로 재배치하면 그 prior를 직접 추적에 활용할 수 있다.

🔬 기술적 접근법

**모델/방법론**: 비디오 DiT 위에 dual-latent 표현(per-frame geometry latent + reference-anchored track latent)을 dense query로 도입, LoRA로 가벼운 미세조정.
**핵심 기법**: temporal RoPE alignment로 track latent별 target 타임스탬프 인코딩, frame-anchored reconstruction pointmap을 입력으로 받아 reference-anchored tracking pointmap과 visibility를 단일 forward로 예측.

📊 주요 결과

표준 sparse·dense 3D 추적 벤치마크에서 SOTA.
기존 최강 방법 대비 1.3배 빠르고 peak memory 4.6배 적음.
큰 움직임과 긴 비디오에서도 강건한 추적.

💭 의의 및 한계

**의의**: 비디오 디퓨전 사전을 생성이 아닌 추적·이해 태스크로 재활용하는 일반 청사진 제시. **한계**: 비디오 DiT의 사전 학습 가용성에 의존, 극단적 폐색·매우 빠른 비강체 운동에서의 한계는 추가 검증 필요.

🚀 실용적 활용

동영상 편집·VFX의 dense 3D 추적 백엔드.
로봇 시각 추론에서 객체 운동 사전 추정.
AR 콘텐츠 제작에서 단안 비디오 기반 3D 점 일치.