Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?

Multi-fingered robots promise the speed and dexterity of human hands, yet challenging problems such as precise assembly have remained out of reach. These tasks are contact-rich, making data collection for imitation learning difficult, and sparse-reward, making direct exploration with reinforcement learning (RL) intractable. Consequently, prior work has made progress by structuring the problem with specialized grippers, tool attachments, and environment fixtures. In this work, we argue that before a robot can perfect precise assembly, it must first learn to play. We further ask the question: what factors in the process of learning to play matter for precise assembly? We propose Play2Perfect, an RL framework for task-agnostic pretraining through play on diverse objects and goals, which is then perfected on precise assembly. The goal of play is to acquire reusable manipulation priors, such as grasping, in-hand reorientation and pose reaching. Finetuning then adapts this general prior to assembly, focusing exploration on the final contact-rich, high-precision interactions needed for success. We systematically study key design choices in play pretraining, including object diversity, training objective, trajectory diversity, and goal precision. We show that our prior is 33x more sample-efficient than RL training from scratch, even when provided with dense, multi-stage rewards. We demonstrate zero-shot sim-to-real transfer, achieving 60% success on tight insertions with only 0.5 mm contact clearance, and over 50% success on long-horizon multi-part assembly and screwing.

한 줄 요약

Play2Perfect는 다지퍼 손으로 정밀 조립을 학습하기 위해 놀이를 통한 사전 학습을 제안하며, 33배 더 샘플 효율적이고 시뮬레이션-현실 간 제로샷 전이를 달성한다.

핵심 기여도

Play2Perfect: 놀이를 통한 정밀 조립을 위한 RL 프레임워크 제안.
놀이 사전 학습 설계 요소(객체 다양성, 목표 정밀도 등)에 대한 체계적 연구.
33배 더 샘플 효율적인 학습 성능을 보이며, 정밀 삽입에서 60% 성공률 달성.
시뮬레이션-현실 간 제로샷 전이 성공, 0.5 mm 접촉 간격에서도 60% 성공률 보여.

핵심 아이디어

정밀 조립은 희소 보상 문제와 접촉이 많은 상호작용으로 인해 강화 학습(RL)에서 어려운 문제이다. Play2Perfect는 정밀 조립을 완성하기 전에, 다양한 객체와 목표에 대한 놀이를 통해 재사용 가능한 조작 사전(manipulation priors)을 학습하는 것을 제안한다. 이는 Grasping, In-hand reorientation, Pose reaching과 같은 기본 조작 능력을 학습하게 하며, 이후 정밀 조립에 맞춘 Fine-tuning을 통해 최종 접촉 상호작용에 집중하도록 유도한다. 핵심 아이디어는 놀이를 통해 학습된 일반적 조작 사전이 정밀 조립의 샘플 효율성과 성능을 크게 향상시킬 수 있다는 점이다. 이는 기존 연구가 고정된 그립퍼나 환경 고정구를 사용하는 반면, Play2Perfect는 손가락을 활용한 조작 학습을 강조한다.

기술적 접근법

**Play2Perfect 프레임워크**: 다양한 객체와 목표에 대한 Goal-conditioned RL을 사용한 놀이 사전 학습.
**Finetuning**: 정밀 조립 환경에서 Sparse reward를 기반으로 Fine-tuning 수행.
**실험 환경**: 22-DoF Sharpa 다지퍼 손 + 7-DoF KUKA iiwa 14 팔 사용.
**데이터셋**: Tight-Insertion, Assemble-Beam, Screw-Leg 3가지 조립 작업.
**성능 평가 지표**: Success Rate (목표 구성도 내 1cm 내 도달 여부), Completion Time (작업 완료 평균 시간).

주요 결과

**샘플 효율성**: Play2Perfect는 RL from scratch 대비 33배 더 샘플 효율적.
**Tight-Insertion**: 0.5 mm 접촉 간격에서 60% 성공률 달성.
**Assemble-Beam & Screw-Leg**: 장기적 다부분 조립 및 나사 조임에서 50% 이상 성공률.
**Sim-to-Real 전이**: 제로샷 전이 성공, 실제 환경에서도 높은 성능 유지.

의의 및 한계

Play2Perfect는 정밀 조립에서 샘플 효율성과 전이 성능을 동시에 향상시켜, 다지퍼 로봇의 실용적 활용 가능성을 높인다. 특히, 놀이를 통한 사전 학습이 정밀한 접촉 상호작용에 효과적으로 전이될 수 있음을 보여준다. 그러나 이 시스템은 단기적 조립 기술만 학습하며, 전체 자율 조립 파이프라인(작업 순서, 부품 선택 등)은 외부에서 지정된다. 또한, 객체 위치 추정이 가려짐이나 빠른 움직임에 취약하며, 주변 기하 구조나 고정구에 대한 직접 관측이 없어, 시각 또는 촉각 관측을 통합하는 것이 필요하다.

실용적 활용

Play2Perfect는 제조, 로봇 조립, 가구 조립 등 정밀한 다지퍼 조작이 필요한 산업에서 활용 가능하다. 특히, 복잡한 조립 작업에서 샘플 효율성과 전이 성능을 통해 인간 작업자의 부담을 줄이고, 자동화 수준을 높일 수 있다.