HD-EPIC: A Highly-Detailed Egocentric Video Dataset

We present a validation dataset of newly-collected kitchen-based egocentric videos, manually annotated with highly detailed and interconnected ground-truth labels covering: recipe steps, fine-grained actions, ingredients with nutritional values, moving objects, and audio annotations. Importantly, all annotations are grounded in 3D through digital twinning of the scene, fixtures, object locations, and primed with gaze. Footage is collected from unscripted recordings in diverse home environments, making HD-EPIC the first dataset collected in-the-wild but with detailed annotations matching those in controlled lab environments.We show the potential of our highly-detailed annotations through a challenging VQA benchmark of 26K questions assessing the capability to recognise recipes, ingredients, nutrition, fine-grained actions, 3D perception, object motion, and gaze direction. The powerful long-context Gemini Pro only achieves 37.6% on this benchmark, showcasing its difficulty and highlighting shortcomings in current VLMs. We additionally assess action recognition, sound recognition, and long-term video-object segmentation on HD-EPIC.HD-EPIC is 41 hours of video in 9 kitchens with digital twins of 413 kitchen fixtures, capturing 69 recipes, 59K fine-grained actions, 51K audio events, 20K object movements and 37K object masks lifted to 3D. On average, we have 263 annotations per minute of our unscripted videos.

한 줄 요약

HD-EPIC는 41시간 분량의 집중적 주방 내 체험 기반 1인칭 영상 데이터셋으로, 3D 디지털 트윈과 고밀도 라벨을 통해 다양한 비전-언어 모델 평가에 활용된다.

핵심 기여도

41시간의 실내 주방 환경에서 촬영된 1인칭 영상, 9개 주방, 413개의 주방 가구 디지털 트윈 포함.
59,000개의 세부 행동 라벨, 51,000개의 오디오 이벤트, 20,000개의 객체 이동 추적, 37,000개의 3D 객체 마스크 제공.
26,000개 질문을 포함한 VQA 벤치마크 제시, Gemini Pro가 37.6% 정확도에 그침.
레시피 영양 변화, 객체 이동 경로, 시선 기반 예측 등 기존에 없던 새로운 질문 유형 포함.

핵심 아이디어

HD-EPIC은 기존의 대규모 영상 데이터셋이 라벨이 희소하고 3D 정보가 부족한 문제를 해결하기 위해 제안되었다. 주방 내 1인칭 영상에서 레시피 단계, 세부 행동, 재료 영양 정보, 객체 이동, 오디오, 시선 정보 등을 3D 디지털 트윈을 통해 정밀하게 라벨링함으로써, 영상-언어 모델의 종합적 평가가 가능하도록 설계되었다. 특히, Gemini Pro가 37.6%의 정확도에 그친 VQA 벤치마크는 기존 모델의 한계를 드러내며, 더 정밀한 인식 기술 개발을 촉진할 수 있다.

기술적 접근법

**데이터 수집**: 9개 주방에서 3일간 촬영한 41시간 분량의 1인칭 영상.
**라벨링**: 레시피 단계, 세부 행동, 재료 영양, 객체 이동, 오디오, 시선 정보 등 263개/분의 고밀도 라벨.
**3D 디지털 트윈**: 주방 가구 413개의 3D 정보와 객체 이동, 행동과 연계.
**VQA 벤치마크**: 26,000개 질문, LLM 기반 음성 생성 없이 유사 라벨 기반으로 구성.
**추가 평가**: 행동 인식, 소리 인식, 장기 비디오 객체 분할 평가 포함.

주요 결과

**VQA 벤치마크**: Gemini Pro가 37.6% 정확도를 기록, 기존 VLM의 한계를 드러냄.
**행동 인식**: 59,000개의 세부 행동 라벨 기반 평가.
**오디오 인식**: 51,000개의 오디오 이벤트 기반 평가.
**객체 추적**: 20,000개의 객체 이동, 37,000개의 3D 객체 마스크 기반 평가.
**시선 기반 예측**: 객체 이동 예측 정확도 향상 가능성 제시.

의의 및 한계

HD-EPIC는 1인칭 영상에서의 장기적 행동 이해, 3D 객체 추적, 시선 기반 예측 등 다양한 비전-언어 모델 평가에 기초 자료로 활용될 수 있다. 특히, 3D 디지털 트윈과 고밀도 라벨은 모델의 종합적 이해 능력을 평가하는 데 기여한다. 그러나 데이터셋은 9개 주방에 국한되어 있어 일반화 가능성에 한계가 있을 수 있으며, 라벨링 과정의 수작업 특성으로 인한 비용과 시간 문제도 존재한다.

실용적 활용

HD-EPIC는 주방 자동화, 스마트 홈 시스템, 행동 인식 기반 보안, 1인칭 영상 기반 콘텐츠 추천 등 다양한 산업 분야에서 활용 가능하다. 또한, 비전-언어 모델의 개선과 3D 객체 추적 기술 발전에 기여할 수 있다.