Dex-One2Many: Learning Dexterous Manipulation from a Single Human Demonstration

While learning dexterous manipulation from a single human video offers a promising alternative to costly robot demonstrations, many recent methods predominantly imitate demonstrated motions. Such strict motion matching often limits generalization to initial object poses, goal poses, and grasps not shown in the video. Alternatively, discovering a policy via reinforcement learning (RL) allows for broad generalization, but without prior guidance, it struggles with high-dimensional exploration in complex, multi-stage tasks. To address these coupled generalization and exploration challenges, we present Dex-One2Many, a real-to-sim-to-real framework that learns a generalizable dexterous manipulation policy from a single human video. Our key insight is to abstract the video into sequential scene graphs that guide RL, enabling efficient exploration while preserving broad generalizability. The graphs serve as generative constraints for sampling diverse reset states and provide dense rewards for each stage. Because the graphs constrain relations rather than exact poses, these reset states cover object poses and grasps beyond the video, while initializing each stage from them with dense rewards keeps exploration short and guided. Trained entirely in simulation, Dex-One2Many transfers zero-shot to a real multi-fingered hand. Across five tool-use and manipulation tasks, Dex-One2Many exceeds baselines by 6.5% in seen configurations, while its robust generalization widens this gap to 71% in unseen scenarios.

한 줄 요약

Dex-One2Many는 단일 인간 동영상으로부터 다목적 다지 다exterous 조작 정책을 학습하는 real-to-sim-to-real 프레임워크로, 5개의 실제 작업에서 71%의 성능 향상을 달성한다.

핵심 기여도

**Stage-Wise Scene Graph Abstraction**: 인간 시연을 단계별 scene graph로 추상화하여 작업 구조를 유지하면서 구체적인 동작은 제거.
**Scene-Graph-Grounded RL**: scene graph를 기반으로 다양한 reset state를 생성하고, predicate-derived reward를 통해 밀집된 보상을 제공.
**Zero-shot sim-to-real transfer**: 5개의 실제 작업에서 입력 동영상에 없는 구성에서 평균 75%의 성공률 달성, 기존 베이스라인 대비 71% 포인트 개선.
**60–85%의 실제 성공률**: 입력 동영상에 없는 초기 및 목표 객체 자세에서 60–85%의 성공률을 기록.

핵심 아이디어

Dex-One2Many는 단일 인간 동영상으로부터 다지 다exterous 조작 정책을 학습하는 데, 기존 방법들이 동영상의 구체적인 동작을 모방하는 데 초점을 맞추는 반면, 본 연구는 작업의 구조적 요소를 추출하여 강화 학습(RL)을 효율적으로 유도한다. 핵심 아이디어는 **Stage-Wise Scene Graph Abstraction**을 통해 동영상에서 단계별 scene graph를 추출하는 것이다. 이 scene graph는 객체 간의 관계와 그 순서를 유지하면서 구체적인 자세나 움직임은 자유롭게 남겨두는 방식이다.

이 scene graph는 **Scene-Graph-Grounded RL**에서 generative constraint로 활용되어, 다양한 reset state를 생성하고, 각 단계에서 predicate-derived reward를 통해 밀집된 보상을 제공한다. 이는 RL의 탐색을 효율적으로 줄이고, 동영상에 없는 자세와 그립에도 일반화할 수 있도록 한다.

기술적 접근법

**Stage-Wise Scene Graph Abstraction**: 동영상에서 객체 간 관계와 순서를 추출하여 scene graph로 변환. 예: "손이 물체를 잡고 있음", "물체가 컨테이너 안에 있음" 등.
**Scene-Graph-Grounded RL**: scene graph를 기반으로 reset state를 샘플링하고, predicate-derived reward를 통해 각 단계에서의 진행을 측정.
**MDP 구성**: 관측, 보상, 초기 상태 분포는 scene graph에서 유도.
**Zero-shot transfer**: 시뮬레이션에서 학습한 정책을 실제 다지 손(Wuji 1, 20-DoF)으로 zero-shot 전이.
**데이터셋**: 5개의 실제 작업(직접 조작 및 도구 사용)에서 평가.

주요 결과

**5개 작업에서 6.5% 성능 향상**: 입력 구성에서 Dex-One2Many는 기존 베이스라인 대비 6.5% 개선.
**입력에 없는 구성에서 71% 개선**: Dex-One2Many는 입력에 없는 구성에서 평균 75% 성공률 달성, 기존 베이스라인 대비 71% 포인트 개선.
**실제 성공률 60–85%**: 입력에 없는 초기 및 목표 자세에서 60–85%의 성공률 기록.

의의 및 한계

Dex-One2Many는 단일 동영상으로부터 다지 다exterous 조작 정책을 학습하는 데, 기존 방법들이 동작 재현에 의존하는 반면, 본 연구는 작업 구조를 추출하여 RL을 유도함으로써 일반화 능력을 향상시켰다. 특히, scene graph를 기반으로 다양한 reset state를 생성하고, predicate-derived reward를 통해 탐색을 효율적으로 줄인 점이 학술적·실용적 가치를 높인다.

그러나 한계도 존재한다. 첫째, 시뮬레이션-실제 간의 차이가 존재하며, 실제 환경에서는 6D 객체 자세 추정 오차와 시뮬레이션과 실제 객체 기하학의 차이가 정책 성능에 영향을 줄 수 있다. 둘째, 현재의 real-to-sim 파이프라인은 고정된 객체만 재구성 가능하며, 회전 가능한 객체는 수작업 자산이 필요하다.

실용적 활용

Dex-One2Many는 인간 시연을 기반으로 한 로봇 정책 학습에 적용 가능하며, 특히 다지 손을 사용하는 산업 자동화, 로봇 수술, 물류 분야에서 활용될 수 있다. 또한, 다양한 형태의 손 형태에도 적용 가능하여, 로봇 연구 및 개발 분야에서 유용한 기술로 활용될 수 있다.

Abstract

한국어 요약