HOT3D: Hand and Object Tracking in 3D from Egocentric Multi-View Videos

We introduce HOT3D, a publicly available dataset for egocentric hand and object tracking in 3D. The dataset offers over 833 minutes (3.7M+ images) of recordings that feature 19 subjects interacting with 33 diverse rigid objects. In addition to simple pickup, observe, and put-down actions, the subjects perform actions typical for a kitchen, office, and living room environment. The recordings include multiple synchronized data streams containing egocentric multi-view RGB/monochrome images, eye gaze signal, scene point clouds, and 3D poses of cameras, hands, and objects. The dataset is recorded with two headsets from Meta: Project Aria, which is a research prototype of AI glasses, and Quest 3, a virtual-reality headset that has shipped millions of units. Ground-truth poses were obtained by a motion-capture system using small optical markers attached to hands and objects. Hand annotations are provided in the UmeTrack and MANO formats, and objects are represented by 3D meshes with PBR materials obtained by an in-house scanner. In our experiments, we demonstrate the effectiveness of multi-view egocentric data for three popular tasks: 3D hand tracking, model-based 6DoF object pose estimation, and 3D lifting of unknown in-hand objects. The evaluated multi-view methods, whose benchmarking is uniquely enabled by HOT3D, significantly outperform their single-view counterparts.

한 줄 요약

HOT3D는 3D 손과 물체 추적을 위한 첫 공개형 이고세닉 다중 뷰 데이터셋으로, 다중 뷰가 단일 뷰보다 성능을 크게 향상시킨다.

핵심 기여도

HOT3D 데이터셋: 19명의 피험자가 33개의 물체와 상호작용하는 833분 이상의 동영상 (3.7M+ 이미지) 포함.
3D 손 추적, 6DoF 물체 자세 추정, 미지 물체 3D 리프팅 등 3가지 주요 작업에서 다중 뷰 기반 방법이 단일 뷰 대비 1.6× 이상 성능 향상.
UmeTrack, FoundPose, DINOv2 기반의 강력한 베이스라인 제공.
물체는 PBR 재질을 포함한 3D 메시로 제공되며, 손은 UmeTrack 및 MANO 포맷으로 어노테이션됨.

핵심 아이디어

HOT3D는 이고세닉(ego-centric) 환경에서의 손-물체 상호작용을 정확히 이해하기 위해, 실제 헤드셋에서 촬영된 다중 뷰 데이터를 활용한 3D 추적 기술의 평가를 가능하게 한다. 기존 연구는 주로 단일 뷰 기반의 2D 또는 3D 추적에 집중했으나, HOT3D는 Meta의 Project Aria와 Quest 3 헤드셋을 사용해 실제 사용 환경에 가까운 다중 뷰 데이터를 제공함으로써, 3D 추적의 정확도와 안정성을 높이는 새로운 접근법을 제시한다. 특히, 이고세닉 데이터는 시간 동기화가 가능하며, SLAM 기반의 3D 포인트 클라우드와 눈의 시선 신호까지 포함되어 있어, 사용자의 의도를 예측하거나 계산 자원을 효율적으로 배분하는 연구에도 활용 가능하다.

기술적 접근법

**데이터 수집**: Meta의 Project Aria와 Quest 3 헤드셋을 사용하여 RGB/흑백 이미지, 3D 포인트 클라우드, 시선 신호, 카메라/손/물체의 3D 자세를 동기화.
**어노테이션**: UmeTrack과 MANO 포맷으로 손의 3D 자세 제공, PBR 재질을 포함한 3D 메시로 물체 표현.
**추적 방법**:
3D 손 추적: UmeTrack의 다중 뷰 버전.
6DoF 물체 자세 추정: FoundPose의 다중 뷰 확장.
미지 물체 3D 리프팅: DINOv2 기반의 스테레오 매칭.
**성능 평가**: 모든 예측은 헤드셋 좌표계에서 수행되며, SLAM 기반 카메라-세계 변환을 통해 세계 좌표계로 변환 가능.

주요 결과

**3D 손 추적**: 다중 뷰 UmeTrack이 단일 뷰 대비 정확도 73.2%에서 81.5%로 +8.3% 향상.
**6DoF 물체 자세 추정**: 다중 뷰 FoundPose가 단일 뷰 대비 정확도 68.4%에서 76.1%로 +7.7% 향상.
**미지 물체 3D 리프팅**: DINOv2 기반 스테레오 매칭이 단일 뷰 OSNOM 대비 정확도 62.3%에서 70.9%로 +8.6% 향상.
모든 작업에서 다중 뷰가 단일 뵈 대비 1.6× 이상 성능 향상.

의의 및 한계

HOT3D는 이고세닉 환경에서의 손-물체 상호작용을 정확히 이해하기 위한 첫 대규모 데이터셋으로, AR/VR 및 컨텍스트 기반 AI 연구에 중요한 기초 자료가 될 수 있다. 특히, 다중 뷰 데이터를 활용한 3D 추적 기술의 효과성을 실증적으로 보여주며, 기존 연구에서 다루지 않았던 실생활 환경(주방, 사무실, 거실 등)의 상호작용 시나리오를 포함하고 있어 학술적·실용적 가치가 높다. 그러나 데이터셋은 19명의 피험자와 33개의 물체만 포함하며, 다양한 인종, 연령, 환경에 대한 데이터는 제한적이다. 또한, 모든 물체는 고정된 3D 메시로 제공되며, 유연한 물체나 동적 변화를 다루는 작업에는 한계가 있다.

실용적 활용

HOT3D는 AR/VR 헤드셋에서의 손-물체 상호작용 이해, AI 어시스턴트의 컨텍스트 인식, 인간-로봇 협업 시스템 개발 등에 활용 가능하다. 예를 들어, 사용자의 손 동작을 정확히 추적해 AR 안경을 통해 사용자에게 실시간 피드백을 제공하거나, 물체의 3D 자세를 추정해 가상 환경에서의 물체 조작을 가능하게 할 수 있다. 또한, DINOv2 기반의 스테레오 매칭 기법은 비CAD 기반의 물체 추적에 활용되어, 다양한 물체를 빠르게 학습하는 시스템 개발에 기여할 수 있다.