H2R-Bench: Benchmarking Human-to-Robot Manipulation Video Generation in World Models

Large-scale manipulation data is essential for robot learning, yet collecting robot demonstrations remains expensive and difficult to scale. Meanwhile, abundant egocentric human manipulation videos provide rich behavioral experiences, but transferring them across embodiments remains challenging due to differences between human hands and robotic end-effectors. Recent advances in video world models offer a promising pathway to synthesize robot-centric manipulation videos from human observations, while their cross-embodiment transfer capability remains largely unexplored. Therefore, we introduce H2R-Bench, a benchmark for evaluating cross-embodiment human-to-robot manipulation video generation, where models transform egocentric human demonstrations into robot manipulation videos under specified embodiments. Each benchmark instance contains a human demonstration video, target embodiment constraints, and source-grounded annotations covering task goals, action events, functional contacts, and object responses. H2R-Bench evaluates generated videos through five dimensions, including goal-state completion, action-event completion, functional contact transfer, embodiment correctness, and general video quality. We benchmark eleven state-of-the-art video generation models across six manipulation families and two robot embodiments. Our evaluation reveals that current video world models remain limited in human-to-robot manipulation transfer: even leading models often fail in embodiment consistency, functional interaction, and task execution. H2R-Bench provides a systematic diagnostic framework for evaluating whether video world models can bridge the human-to-robot embodiment gap and convert human manipulation observations into robot-centric training resources.

한 줄 요약

H2R-Bench는 인간 조작 영상을 로봇 중심 조작 영상으로 전환하는 능력을 평가하는 벤치마크로, 6개 조작 유형과 2개 로봇 구조에서 11개 모델을 평가한다.

핵심 기여도

H2R-Bench를 제안하여, 인간 중심 영상에서 로봇 중심 영상으로의 조작 전환 능력을 체계적으로 평가한다.
6개 조작 유형 (rigid-object rearrangement, mechanism actuation 등)과 2개 로봇 구조 (embodiment)를 포함한 구조화된 데이터셋 제공.
5개 평가 차원 (goal-state completion, functional contact transfer 등)을 기반으로 11개 대표적 영상 생성 모델 평가.
H2RCore 점수 (30.0–84.6)를 도입하여, 시각 품질 (M5: 0.73–0.81)과 전환 능력 간의 약한 상관관계 (ρ=0.14)를 밝힘.

핵심 아이디어

H2R-Bench는 인간 조작 영상에서 로봇 조작 영상으로의 전환을 평가하기 위해 설계된 벤치마크로, 기존의 텍스트 또는 로봇 중심 조건에 의존하는 평가와 달리, 특정 인간 영상에 기반한 전환을 요구한다. 이는 로봇이 인간의 조작 의도, 기능적 접촉, 객체 상태 변화를 정확히 반영하면서도, 로봇의 구조와 종단기구(end-effector)에 맞게 실행해야 한다는 점에서 차별화된다. 핵심 통찰은, 시각적 품질(M5)이 높아도 실제 로봇 전환 능력(H2RCore)은 낮을 수 있으며, 이는 기존 영상 생성 모델이 인간-로봇 체제 간의 차이를 충분히 이해하지 못함을 시사한다.

기술적 접근법

**H2R-Bench 구성**: 6개 조작 유형 (rigid-object rearrangement, mechanism actuation, insertion and assembly 등), 2개 로봇 구조 (embodiment)를 포함.
**평가 차원**: goal-state completion, action-event completion, functional contact transfer, embodiment correctness, general video quality.
**평가 모델**: 11개 대표 영상 생성 모델 (5개 프로퍼티어리, 6개 오픈소스)을 사용.
**자동 평가**: H2RCore 점수 (30.0–84.6)를 사용하여, 기능적 접촉과 로봇 구조 정확도를 강조.
**인간 평가**: 3명의 평가자에 의해 transfer subscore 검증 (Spearman ρ=0.883, Pearson r=0.930).

주요 결과

11개 영상 생성 모델은 H2RCore 점수에서 30.0–84.6 범위를 보이며, M5 (0.73–0.81)와 약한 상관관계 (ρ=0.14)를 나타냄.
로봇 구조 (embodiment)에 따라 성능 차이가 발생하며, 일반적인 영상 품질이 로봇 전환 품질과 항상 일치하지 않음.
기존 모델은 embodiment consistency, functional interaction, task execution에서 자주 실패함.
인간 평가와 자동 평가 간의 높은 일관성 (Spearman ρ=0.883, Pearson r=0.930)을 보임.

의의 및 한계

H2R-Bench는 인간 조작 영상에서 로봇 조작 영상으로의 전환 능력을 체계적으로 평가하는 첫 번째 벤치마크로, 로봇 학습에서 데이터 부족 문제를 해결할 가능성을 제시한다. 특히, 기존 영상 생성 모델이 시각적 품질에 치우쳐 인간-로봇 체제 간의 차이를 충분히 반영하지 못함을 밝혀내며, 이 분야의 연구 방향을 재정립하는 데 기여한다. 그러나 H2R-Bench는 2개 로봇 구조만 포함하며, 더 다양한 로봇 형태나 환경에 대한 평가가 필요한 한계가 있다.

실용적 활용

H2R-Bench는 로봇 학습 데이터 생성, 인간-로봇 전이 학습, 로봇 행동 시뮬레이션 등에 활용될 수 있다. 특히, 대규모 인간 조작 영상을 로봇 중심 학습 자료로 전환하여, 로봇 학습의 효율성과 확장성을 높이는 데 기여할 수 있다.