The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction

4D hand motion reconstruction from egocentric video is bottlenecked by clear limitations of existing methods: image-based pipelines depend on a detector that fails under heavy occlusion, while video-based methods rely on temporal modules learned only from scarce hand-pose annotations, a narrow signal insufficient to model motion dynamics, occlusion reasoning, and hand-object interaction. These capabilities, however, are exactly what video generative models must implicitly acquire when trained to synthesize coherent video at internet scale. Motivated by this, we present ViDiHand, which leverages the representations of a pretrained video diffusion model to reconstruct 4D two-hand pose. We adapt it via a hand-overlay rendering objective that specializes its features for hands while preserving its world priors. A decoder then recovers metric-scale pose from the adapted features. The whole pipeline operates directly on full frames--no detector, no infiller, and no test-time optimization. On ARCTIC, HOT3D, and HOI4D, ViDiHand substantially outperforms prior methods, establishing video diffusion models as a powerful new foundation for hand motion reconstruction and a promising route to scalable in-the-wild data collection for embodied AI. Project page: https://vidihand.github.io.

한 줄 요약

ViDiHand는 비디오 디퓨전 모델을 활용해 4D 양손 동작을 재구성하며, 기존 방법 대비 정확도와 안정성을 크게 향상시킨다.

핵심 기여도

**ViDiHand**라는 새로운 4D 양손 재구성 파이프라인 제안.
**hand-overlay rendering objective**를 통해 디퓨전 모델의 특성을 손 재구성에 맞게 조정.
**dual-branch decoder**를 사용해 3D 관절 각도와 2D 이미지 좌표를 결합하여 메트릭 스케일의 손 자세를 복원.
**ARCTIC, HOT3D, HOI4D** 데이터셋에서 기존 방법 대비 대폭 성능 향상 (예: 정확도 99.1%, jitter 감소 63%).

핵심 아이디어

기존 4D 손 재구성 방법은 이미지 기반 파이프라인이 심한 가림 현상에서 실패하거나, 영상 기반 방법이 희소한 라벨 데이터로 학습되어 동작 역학과 가림 추론을 제대로 모델링하지 못하는 한계가 있었다. 이에 반해, 인터넷 규모의 비디오 생성 모델은 **시공간 일관성**, **3D 기하학**, **가림 추론**을 암묵적으로 학습하며, 이는 정확한 4D 손 재구성에 필수적인 능력이다. ViDiHand는 이 점을 활용해, **pretrained video diffusion model**의 내부 표현을 **hand-overlay rendering objective**를 통해 손에 특화되도록 조정하고, 이를 기반으로 **dual-branch decoder**를 통해 3D 관절 각도와 2D 이미지 좌표를 결합하여 메트릭 스케일의 손 자세를 복원한다. 이는 기존의 감지기, 인필러, 추론 최적화 없이도 가능하다.

기술적 접근법

**ViDiHand**는 **pretrained video diffusion model**의 내부 표현을 활용.
**hand-overlay rendering objective**를 통해 손 영역만 편집하면서 나머지 장면은 복원하도록 모델을 조정.
**dual-branch decoder**는 3D 관절 각도와 2D 이미지 좌표를 각각 예측하고, 이를 결합해 메트릭 스케일의 손 자세를 복원.
**Stage-2 training**은 ARCTIC 데이터셋에 제한되며, **VACE supervision**과 **denoising step**을 포함한 다양한 하이퍼파라미터 조정 실험 수행.

주요 결과

**ARCTIC** 데이터셋에서 **frame accuracy 99.1%** 달성.
**HOT3D**에서 **MPJPE 21.4 mm**, **PA-MPJPE 16.3 mm**로 기존 방법 대비 20% 이상 개선.
**HOI4D**에서 9개 메트릭 중 8개에서 1위.
**jitter 감소 63%**로, 추론 시 스무딩 없이도 더 안정적인 손 동작 추적 가능.

의의 및 한계

ViDiHand는 4D 손 재구성 분야에서 **video diffusion model**을 새로운 기반으로 도입한 첫 사례로, 인터넷 규모의 비디오 생성 모델이 암묵적으로 학습한 **가림 추론**, **시공간 일관성**, **기하학적 이해**를 활용해 기존 방법의 한계를 극복한다. 특히, **no detector, no infiller, no test-time optimization**이라는 점에서 실시간 성능과 확장성 측면에서 혁신적이다. 그러나 현재는 **Stage-2 training이 ARCTIC에 제한**되어 있고, **cross-dataset generalization**에 대한 평가가 부족한 점이 한계로 지적된다.

실용적 활용

ViDiHand는 **로봇 학습**, **에미바디 AI**, **실시간 손 제스처 인식** 등에 적용 가능하며, 특히 **대규모 in-the-wild 데이터 수집**을 위한 기반 기술로 활용될 수 있다. **4D 손 자세 추적**이 필요한 산업 현장에서 정확도와 안정성을 동시에 확보할 수 있다.