ManipTrans: Efficient Dexterous Bimanual Manipulation Transfer via Residual Learning

Human hands play a central role in interacting, motivating increasing research in dexterous robotic manipulation. Data-Driven embodied AI algorithms demand precise, large-scale, human-like manipulation sequences, which are challenging to obtain with conventional reinforcement learning or real-world teleoperation. To address this, we introduce ManipTrans, a novel two-stage method for efficiently transferring human bimanual skills to dexterous robotic hands in simulation. ManipTrans first pre-trains a generalist trajectory imitator to mimic hand motion, then fine-tunes a specific residual module under interaction constraints, enabling efficient learning and accurate execution of complex bimanual tasks. Experiments show that ManipTrans surpasses state-of-the-art methods in success rate, fidelity, and efficiency. Leveraging ManipTrans, we transfer multiple hand-object datasets to robotic hands, creating DexManipNet, a large-scale dataset featuring previously unexplored tasks like pen capping and bottle unscrewing. DexManipNet comprises 3.3K episodes of robotic manipulation and is easily extensible, facilitating further policy training for dexterous hands and enabling real-world deployments.

한 줄 요약

ManipTrans는 인간 이중 손 조작을 시뮬레이션 환경에서 로봇 손으로 이전하는 이중 단계 프레임워크로, DexManipNet이라는 3.3K 에피소드 규모의 데이터셋을 생성한다.

핵심 기여도

ManipTrans는 이중 단계 프레임워크로, 일반적인 트레 jury 모델과 잔차 학습 모듈(Residual Module)을 결합하여 이전 정확도를 향상시킴.
DexManipNet 데이터셋은 3.3K 에피소드, 1.34M 프레임을 포함하며, 펜 캡 닫기, 병 뚜껑 풀기 등 이전에 탐구되지 않은 이중 손 작업을 포함.
ManipTrans는 개인용 컴퓨터에서도 이전 효율성이 뛰어난 것으로 실험적으로 입증됨.
다양한 자유도(DoF)와 형태의 로봇 손에 대한 cross-embodiment 실험에서 일관된 성능을 보임.

핵심 아이디어

ManipTrans는 인간의 이중 손 조작을 로봇 손으로 이전하는 문제를 이중 단계 프로세스로 접근한다. 첫 번째 단계는 일반적인 트레 jury 모델(trajectory imitator)을 사전 학습하여 인간 손의 움직임을 정확히 모방하도록 훈련한다. 이 단계는 대규모 학습을 통해 형태학적 차이(morphological differences)를 완화하고, 잡음에 강한 모델을 구축한다. 두 번째 단계는 잔차 학습 모듈(residual module)을 도입하여, 로봇의 초기 동작을 물리적 제약과 상호작용 조건을 고려하여 정교하게 조정한다. 이 모듈은 두 가지 주요 측면을 다룸: 1) 물리적 제약하에서 객체 표면과 안정적인 접촉을 유지, 2) 이중 손 조작의 정밀하고 고신뢰도 실행을 위한 조정. 이는 학습 효율성을 높이기 위해 인간 손 모방과 객체 상호작용을 분리(decoupling)하는 전략이다.

기술적 접근법

**이중 단계 프레임워크**:

1. **Trajectory Imitator (I)**: 인간 손 움직임을 정확히 모방하는 일반 모델.
2. **Residual Module (R)**: 물리적 제약과 상호작용 조건을 고려한 정교한 동작 조정.

**상태 정의**: 각 단계에서 상태는 별도로 정의됨.
I 단계: $ \boldsymbol{s}^{t}_{\boldsymbol{\mathcal{I}}} \in \boldsymbol{\mathcal{S}}_{\boldsymbol{\mathcal{I}}} $
R 단계: $ \boldsymbol{s}^{t}_{\boldsymbol{\mathcal{R}}} \in \boldsymbol{\mathcal{S}}_{\boldsymbol{\mathcal{R}}} $
**학습 알고리즘**: 두 단계 모두 PPO(Proximal Policy Optimization)를 사용하여 할인된 보상 $ \mathbb{E}\left[\sum_{t=1}^{T} \gamma^{t-1} r^{t}_{\text{stage}}\right] $을 최대화.
**입력 데이터**: MANO 기반의 손 관절 위치, 속도, 객체 6-DoF 포즈 및 속도.
**정규화**: 모든 변환은 로봇 손의 손목 위치를 기준으로 정규화되며, 회전은 중력 방향 유지 위해 보존됨.

주요 결과

**성능 비교**: ManipTrans는 기존 최고 성능(SOTA) 방법 대비 이전 성공률, 정확도, 효율성에서 우수함.
**DexManipNet 성과**:
3.3K 에피소드, 1.34M 프레임
펜 캡 닫기, 병 뚜껑 풀기, 화학 실험 등 이전에 탐구되지 않은 작업 포함
이전 기술 대비 +15% 이상의 성공률 향상
**실제 세계 이식**: DexManipNet의 이중 손 트래젝토리가 실제 장치에서 실행되어 유연하고 자연스러운 조작을 보임.

의의 및 한계

ManipTrans는 인간의 이중 손 조작을 정확하고 효율적으로 로봇 손으로 이전하는 데 기여하며, 대규모 데이터셋 DexManipNet을 통해 정교한 정책 학습을 촉진한다. 이는 시뮬레이션에서 실제 세계로의 이식을 용이하게 하며, Embodied AI 연구에 중요한 기초 자료를 제공한다. 그러나 일부 MoCap 데이터는 이전에 효과적이지 못하며, 이는 1) 상호작용 포즈의 잡음, 2) 아트리큘레이트 객체의 정확도 부족 때문으로 분석된다. ManipTrans의 강건성 향상과 물리적으로 타당한 객체 모델 생성은 향후 연구 방향으로 제시된다.

실용적 활용

ManipTrans는 로봇 손 제어, 시뮬레이션 기반 학습, 실제 세계로의 이식 등 다양한 산업 및 연구 분야에 적용 가능하다. 특히, 복잡한 이중 손 작업을 처리하는 로봇 시스템 개발, 제조업, 의료 분야의 정밀 조작 로봇에 유용하게 활용될 수 있다.