HumanTracker: Towards Comprehensive and Human-Aligned Motion Tracking Benchmark

Humanoid motion tracking is central to teleoperation and whole-body imitation, yet evaluation often disagrees with what people perceive in videos. Kinematic errors average per-frame pose differences but miss the physical artifacts that matter most, particularly unstable support and incorrect contacts such as foot skating and mistimed touch-downs. Meanwhile, widely used test suites are small and lack the diversity needed to stress contact-rich, long-horizon behaviors. We introduce HumanTracker to make humanoid tracking evaluation both perceptually aligned and scalable. The HumanTracker benchmark contains approximately 153 hours of optical motion trajectories from multiple professional performers, organized into four motion families with text labels for fine-grained diagnosis. We further propose HumanScore, a preference-aligned metric trained on 12K motion pairs containing 24K motions. Across representative state-of-the-art trackers, HumanScore better predicts human preferences and reveals contact and stability failures that kinematic metrics often miss.

한 줄 요약

HumanTracker는 인간의 인식과 일치하는 대규모 인간 모션 추적 벤치마크와 HumanScore라는 인간 선호도 기반 평가 지표를 제안한다.

핵심 기여도

기존 키네마틱 메트릭(예: MPJPE)이 인간의 시각적 인식과 불일치함을 지적하고, HumanScore라는 인간 선호도 기반 평가 지표를 제안.
153시간 규모의 광학 모션 데이터를 4개의 모션 패밀리로 구성한 HumanTracker 벤치마크를 공개.
HumanScore가 기존 추적기(GMT, TWIST2, SONIC, Humanoid-GPT)에서 접촉 및 안정성 문제를 더 잘 포착함을 실험적으로 입증.

핵심 아이디어

기존 모션 추적 평가 방식은 키네마틱 오류(예: 평균 관절 오류)를 기반으로 하여, 실제 인간이 인식하는 안정성, 접촉 정확도, 자연스러움 등을 반영하지 못한다. 특히, 발 스케이팅, 잘못된 발 닿기 타이밍 등 접촉 관련 물리적 오류는 키네마틱 메트릭에서 누락된다. 이에 따라, HumanScore는 12,000개의 동영상 쌍을 기반으로 훈련된 선호도 정렬 지표로, 인간의 시각적 선호와 일치하는 평가를 가능하게 한다. HumanTracker는 24명의 전문 연기자로부터 기록된 153시간의 광학 모션 데이터를 4개의 모션 패밀리(Daily, Highly Dynamic, Interaction, Ground)로 분류하여, 다양한 상황에서의 추적 실패를 세부적으로 분석할 수 있도록 설계되었다.

기술적 접근법

**HumanScore**: 12,000개의 동영상 쌍(총 24,000개의 모션)을 기반으로 훈련된 선호도 정렬 지표.
**HumanTracker 데이터셋**: 24명의 전문 연기자로부터 기록된 153시간의 광학 모션 데이터. 4개의 모션 패밀리로 분류(일상, 고속 동작, 상호작용, 지면 접촉).
**평가 프로토콜**: GMT, TWIST2, SONIC, Humanoid-GPT 등 기존 추적기와 동일한 참조 모션을 제공하고, 동일한 평가자(Whole-Body Metric)를 사용.
**모션 재현 평가**: 각 추적기의 성능은 Daily, Highly Dynamic, Interaction, Ground 패밀리별로 분리하여 평가.

주요 결과

Humanoid-GPT가 Daily 및 Highly Dynamic 패밀리에서 HumanScore, 완료율, 추적 정확도에서 가장 우수한 성능을 보임.
SONIC은 Interaction 패밀리에서 가장 높은 완료율(Completion Rate)을, Ground 패밀리에서 가장 높은 HumanScore를 기록.
HumanScore는 기존 키네마틱 메트릭과 항상 일치하지 않으며, 인간의 시각적 선호를 더 잘 반영함을 실험적으로 입증.

의의 및 한계

HumanTracker는 기존의 소규모, 단일 평가 기준의 모션 추적 벤치마크를 대체하며, 인간의 인식과 일치하는 평가를 가능하게 함으로써 추적 기술의 진정한 품질을 측정하는 기준을 제시한다. 특히, 접촉과 안정성 문제를 포착하는 데 기존 메트릭이 한계가 있음을 보여주며, HumanScore는 이러한 물리적 오류를 정량적으로 평가할 수 있는 새로운 지표로 제시된다. 그러나 HumanScore는 12,000개의 동영상 쌍에 기반한 훈련 데이터로 제한될 수 있으며, 더 다양한 문화적, 신체적 배경의 데이터를 반영하는 것이 필요하다.

실용적 활용

HumanTracker는 텔레오퍼레이션, 전체 몸의 모방, 로봇 제어 등 인간 모션을 기반으로 하는 시스템 개발에 활용될 수 있다. 특히, HumanScore는 로봇이 생성한 모션이 인간의 시각적 기준과 얼마나 일치하는지를 평가하는 데 유용하며, 실제 산업 현장에서의 안정성과 자연스러움을 검증하는 데 기여할 수 있다.