Video Depth Anything: Consistent Depth Estimation for Super-Long Videos

Depth Anything has achieved remarkable success in monocular depth estimation with strong generalization ability. However, it suffers from temporal inconsistency in videos, hindering its practical applications. Various methods have been proposed to alleviate this issue by leveraging video generation models or introducing priors from optical flow and camera poses. Nonetheless, these methods are only applicable to short videos (< 10 seconds) and require a trade-off between quality and computational efficiency. We propose Video Depth Anything for high-quality, consistent depth estimation in super-long videos (over several minutes) without sacrificing efficiency. We base our model on Depth Anything V2 and replace its head with an efficient spatial-temporal head. We design a straightforward yet effective temporal consistency loss by constraining the temporal depth gradient, eliminating the need for additional geometric priors. The model is trained on a joint dataset of video depth and unlabeled images, similar to Depth Anything V2. Moreover, a novel key-frame-based strategy is developed for long video inference. Experiments show that our model can be applied to arbitrarily long videos without compromising quality, consistency, or generalization ability. Comprehensive evaluations on multiple video benchmarks demonstrate that our approach sets a new state-of-the-art in zero-shot video depth estimation. We offer models of different scales to support a range of scenarios, with our smallest model capable of real-time performance at 30 FPS.

한 줄 요약

Video Depth Anything는 초장시간 동영상에서도 깊이 추정의 일관성을 유지하면서 계산 효율성을 보장하는 모델이다.

핵심 기여도

Depth Anything V2를 기반으로 하되, 공간-시간 헤드(Spatial-Temporal Head)로 교체하여 초장시간 영상에서도 일관된 깊이 추정 가능.
기하학적 가정 없이 시간 경로의 깊이 변화를 제약하는 **Temporal Gradient Matching Loss**를 제안.
550K 개의 라벨된 영상 프레임과 0.62M 개의 비정제 이미지로 학습한 **조인트 학습 전략**을 도입.
30 FPS 실시간 처리가 가능한 최소 모델 포함, 다양한 시나리오 지원.

핵심 아이디어

기존의 Depth Anything V2는 단일 이미지에서 뛰어난 성능을 보이지만, 동영상에서는 시간에 따른 깊이 일관성이 부족하다. 이를 해결하기 위해, Video Depth Anything는 기존 모델의 헤드를 **Spatial-Temporal Head (STH)**로 교체하여 시간 정보를 모델링한다. STH는 4개의 **Temporal Attention Layer**를 포함하며, 각 공간 위치에서 시간 축을 따라 어텐션을 적용하여 시간 정보를 효과적으로 통합한다. 이는 기존 이미지 인코더가 시간 정보를 무시하는 한계를 보완한다.

또한, 기하학적 가정이나 영상 생성 모델을 사용하지 않고, **Temporal Gradient Matching Loss**를 통해 시간 축 상의 깊이 변화를 제약함으로써 일관성을 확보한다. 이 손실 함수는 기존의 Scale-Shift-Invariant Loss와 Spatial Gradient Matching Loss와 함께 최적화되어, 시간 일관성을 향상시키는 동시에 공간 정확도를 유지한다.

기술적 접근법

**모델 아키텍처**: Depth Anything V2의 인코더를 사용하며, 헤드를 STH로 교체.
**STH 구성**: 4개의 Temporal Attention Layer 포함, 각 레이어는 Self-Attention과 FFN으로 구성.
**입력 처리**: 영상 클립의 시간 축을 배치 축으로 쌓아 처리 (𝐗 ∈ ℝ^(B×N)×C×H×W).
**학습 전략**: 550K 개의 라벨 영상 프레임 + 0.62M 개의 비정제 이미지로 조인트 학습.
**추론 전략**: 8개의 중첩 프레임 + 2개의 키 프레임을 결합한 32프레임 윈도우 기반 처리.

주요 결과

**TartanAir, VKITTI 등 다중 데이터셋**에서 기하 정확도(AbsRel)와 시간 일관성(TAE) 지표에서 기존 방법 대비 **+12.3%~+18.7% 개선**.
**30 FPS 실시간 처리**가 가능한 최소 모델 포함, **Zero-shot 이미지 깊이 추정에서도 Depth Anything V2 대비 0.5% 이하 성능 저하**.
**4분 4초 길이의 영상**에서도 일관된 깊이 추정 가능, 기존 방법은 10초 이하 영상에만 제한.

의의 및 한계

Video Depth Anything는 기존 모델의 일반화 능력과 계산 효율성을 유지하면서, 초장시간 동영상에서도 깊이 일관성을 보장하는 **새로운 기준**을 제시한다. 특히, 기하학적 가정이나 영상 생성 모델 없이도 시간 일관성을 달성한 점은 학술적으로 중요한 기여이다. 또한, 다양한 크기의 모델을 제공하여 실시간 처리부터 고정밀 추정까지 다양한 시나리오에 적용 가능하다는 실용적 가치를 가진다.

한편, **500프레임 이하의 데이터셋만 평가**했기 때문에, 더 긴 영상에서의 일관성 유지 능력은 추가 실험 필요. 또한, **중첩 프레임 기반 추론 전략**은 메모리 사용량 증가를 유발할 수 있다.

실용적 활용

**로봇 시각**, **증강현실(AR)**, **고급 영상 편집** 등에서 시간 일관된 깊이 정보가 필요한 시스템에 적용 가능.
**실시간 처리가 필요한 산업 현장**(예: 드론, 자율주행)에서 30 FPS 성능을 활용할 수 있음.
**다양한 환경**(실내, 야외, 야생)에서 일반화된 성능을 유지하므로, **다목적 영상 분석 플랫폼**에 적합.