DONIC: Generalist Dexterous Bimanual Tracking Control from Human Demonstrations

Despite recent progress in dexterous reference tracking, existing models focus primarily on single-hand manipulation and a limited range of interactions, leaving the bimanual dexterous behaviors common in real life unaddressed. The scarcity of contact-rich bimanual manipulation data and the increased complexity of coordinating contacts make developing a generalist bimanual tracker particularly challenging. Therefore, we present 1) DONIC, the first generalist bimanual tracker jointly trained across operation categories and human-motion sources, together with 2) BiHOI, a multi-view dataset of 1,575 sequences spanning 229 objects and emphasizing sustained bimanual interaction, where reconstructed interactions are retargeted into robot references. DONIC combines proximal policy optimization with behavioral cloning in a feedback loop that recycles verified successful executions into training demonstrations. An object-centered per-hand reward maintains object-motion feedback while supervising each hand according to its reference contact role. Clip-Centered Advantages remove reference-dependent advantage offsets while preserving within-trajectory differences. Together, these designs enable one single policy to learn coordinated manipulation across heterogeneous references. Without finetuning, a single checkpoint achieves 86.79% success on unseen trajectories of training objects and 57.32% on held-out objects, surpassing the state-of-the-art bimanual tracking baselines by 77.36 and 45.73 percentage points.

한 줄 요약

DONIC은 인간 시연을 기반으로 한 이족 조작 추적 제어 모델로, BiHOI 데이터셋과 혼합 학습을 통해 86.79%의 성공률을 달성합니다.

핵심 기여도

DONIC은 최초로 다양한 작업 범주와 인간 운동 데이터를 결합해 학습한 이족 추적 정책입니다.
BiHOI는 1,575개의 시퀀스, 229개의 객체, 14.77시간 분량의 이족 조작 데이터셋입니다.
개별 손의 역할과 비동기 접촉을 고려한 Object-Centered Per-Hand Reward와 Clip-Centered Advantages(CCA)를 제안합니다.
훈련 없이도 새로운 객체와 경로에서 86.79%와 57.32%의 성공률을 달성하며, 기존 기법 대비 77.36%포인트, 45.73%포인트 개선합니다.

핵심 아이디어

DONIC은 기존 이족 조작 추적 모델이 단일 손 중심이며, 복잡한 접촉 조율을 학습하기 어려운 문제를 해결하기 위해 설계되었습니다. 이 모델은 PPO와 Behavioral Cloning을 결합한 피드백 루프를 사용하여 성공적으로 실행된 시연을 재사용하며 학습합니다. Object-Centered Per-Hand Reward는 각 손의 접촉 역할에 따라 개별적으로 감독하면서 객체 운동 피드백을 유지합니다. CCA는 클립 내 전이 간의 차이를 보존하면서 클립에 의존적인 이점 오프셋을 제거하여 학습 안정성을 높입니다. 이는 이질적인 참조 경로에 걸쳐 조율된 조작을 가능하게 합니다.

기술적 접근법

**DONIC**: PPO와 Behavioral Cloning을 결합한 피드백 루프를 사용.
**Object-Centered Per-Hand Reward**: 각 손의 접촉 역할과 비동기 접촉을 고려한 보상 함수.
**Clip-Centered Advantages (CCA)**: 클립 내 이점 차이를 보존하면서 클립에 의존적인 오프셋을 제거.
**BiHOI 데이터셋**: 1,575개 시퀀스, 229개 객체, 14.77시간 분량의 다각도 이족 조작 데이터.
**실험 환경**: Isaac Gym, Wuji 손 2개, 공개 훈련 클립, 동일한 테스트 분할.

주요 결과

BiHOI 데이터셋에서 훈련된 DONIC은 새로운 객체 경로에서 86.79% 성공률, 새로운 객체에서 57.32% 성공률을 달성.
기존 이족 추적 기법 대비 각각 77.36%포인트, 45.73%포인트 개선.
BiHOI 추가 학습 시, 객체 경로 성공률은 88.68%, 객체 성공률은 59.76%에 도달.
객체 이동 오차는 15.74cm에서 13.96cm로 감소.

의의 및 한계

DONIC은 이족 조작의 복잡한 접촉 조율을 학습하는 데 중요한 기초를 제공하며, 단일 정책으로 다양한 작업과 객체를 처리할 수 있어 실용적 가치가 큽니다. BiHOI는 이족 조작 데이터의 부족을 보완하며, 객체와 참조 경로 간의 이질성을 고려한 학습을 가능하게 합니다. 그러나 BiHOI는 인간 운동 기반으로 생성된 데이터이므로, 실제 로봇 환경에서의 일반화 능력은 추가 실험을 통해 검증이 필요합니다. 또한, 이 모델은 훈련 없이 새로운 객체를 처리하는 데 강점을 보이지만, 특정 작업에 최적화된 미세 조정이 필요한 경우 한계가 있을 수 있습니다.

실용적 활용

DONIC은 가정용 로봇, 산업 자동화, 보조 의료 장비 등에서 이족 조작이 필요한 작업에 적용 가능합니다. 특히, 다양한 객체와 작업 유형을 처리하는 일반적인 정책을 필요로 하는 상황에서 유용하며, BiHOI와 같은 데이터셋을 활용해 신속한 학습이 가능합니다.