Zero-Shot Sim-to-Real Robot Learning: A Dexterous Manipulation Study on Reactive Catching

Dexterous manipulation is physics-intensive and highly sensitive to modeling errors and perception noise, making sim-to-real transfer prohibitively challenging. Domain randomization (DR) is commonly used to improve the robustness of learned policies for such tasks, but conventional DR randomizes one instance per episode, offering very limited exposure to the variability of real-world dynamics. To this end, we propose Domain-Randomized Instance Set (DRIS), which represents and propagates a set of randomized instances simultaneously, providing richer approximation of uncertain dynamics and enabling policies to learn actions that account for multiple possible outcomes. Supported by theoretical analysis, we show that DRIS yields more robust policies and alleviates the need for real-world fine-tuning, even with a modest number of instances (e.g., 10). We demonstrate this on a challenging reactive catching task. Unlike traditional catching setups that use end-effectors designed to mechanically stabilize the object (e.g., curved or enclosing surfaces), our system uses a flat plate that offers no passive stabilization, making the task highly sensitive to noise and requiring rapid reactive motions. The learned policies exhibit strong robustness to uncertainties and achieve reliable zero-shot sim-to-real transfer.

한 줄 요약

**[로봇 학습 / 시뮬레이션-실제 전이]** 무작위화된 인스턴스 집합을 동시에 전파해 더 풍부한 동역학 불확실성을 노출시키는 Domain-Randomized Instance Set(DRIS)으로 평판(flat plate) 반응적 catching의 제로샷 sim-to-real을 달성.

핵심 기여도

기존 도메인 무작위화(DR)가 에피소드당 단일 인스턴스만 노출시켜 실세계 동역학 변동성에 대한 정책 노출이 매우 제한적이라는 한계를 진단.
무작위화된 인스턴스 집합을 표현·전파해 한 번에 여러 가능 결과에 대응 가능한 정책을 학습하게 만드는 DRIS 제안 (이론적 분석 포함).
비교적 적은 인스턴스 수(예: 10개)로도 정책 견고성이 크게 향상되어 실세계 fine-tuning 필요성을 완화함을 보임.
곡면·포위형 엔드이펙터가 아닌 패시브 안정성이 없는 "평판"으로 동적 객체를 잡는 매우 노이즈 민감한 반응적 catching 태스크에서 신뢰성 있는 zero-shot sim-to-real 시연.

핵심 아이디어

하나의 에피소드 안에서 단일 무작위 환경만 경험하는 정책은 실세계의 동역학 모호성에 과적합되기 쉽다. 같은 행동의 결과를 여러 인스턴스 위에서 동시에 평가하면, 정책은 "여러 가능한 미래"에 함께 대응하는 액션을 자연스럽게 학습한다.

기술적 접근법

**모델/방법론**: 정밀 조작 정책 학습에 DR을 확장한 DRIS, 평판 기반 반응 catching 시스템에 적용.
**핵심 기법**: 무작위 인스턴스 집합 동시 전파, 이론적 분석으로 더 풍부한 동역학 근사가 견고성 향상으로 이어짐을 입증, 소수(예: 10개) 인스턴스로 효율 확보.

주요 결과

평판 catching이라는 패시브 안정성이 없는 어려운 태스크에서 신뢰성 있는 zero-shot sim-to-real 전이 달성.
학습된 정책이 불확실성에 대해 강한 견고성을 보이며 추가 실세계 미세조정이 거의 필요하지 않음.
적은 인스턴스 수로도 의미 있는 성능 향상이 가능함을 정량 확인.

의의 및 한계

**의의**: 패시브 안정성이 없는 진정한 의미의 정밀 반응 제어에서 zero-shot 전이를 보임으로써 dexterous manipulation의 sim-to-real 경계를 끌어올림. **한계**: 인스턴스 집합 전파는 계산 비용을 증가시키며, 매우 다양한 객체·환경에서의 일반화는 후속 검증 필요.

실용적 활용

산업 자동화에서 평탄한 그리퍼·도구를 사용하는 동적 조작 작업.
무인 항공기·로봇 손에서의 빠른 반응 catching 응용.
DR 기반 학습 파이프라인의 견고성 향상을 위한 일반적 처방.