Multifingered grasping is a crucial robotic skill, but current deep-learning grasp planners often struggle to generalize to new objects because they are trained on limited, object-specific datasets. We introduce a fundamentally different approach, grounded in the observation that the gripper and the object share identical surface geometry at their mutual contact points. We propose GOAG: Generative and Object-Agnostic Grasp Planner for Dexterous Robotic Manipulation, a novel deep generative model that learns a compact latent representation of a specific gripper's contact surface distribution, enabling the efficient sampling of valid grasp configurations without relying on object-specific training data. We show that by introducing object features only at inference time, our model can effectively retrieve admissible contact areas that are compatible with the gripper's capabilities. We validate our approach through extensive experiments on established grasp protocols in both simulated and real-world scenarios, demonstrating its effectiveness with different grippers from the literature. Our method delivers state-of-the-art results on the objects from the MultiDex dataset, achieving an average success rate of 86.93%. It offers significantly faster processing when generating numerous grasps, while matching the performance of leading approaches specifically trained on this dataset. Unlike these methods, our approach does not rely on object-specific training data, highlighting the advantages of object-agnostic learning. It effectively addresses the generalization challenges faced by traditional data-driven grasp planners. Code and videos are available on our project website https://cea-list.github.io/goagweb/ .
한 줄 요약
GOAG는 객체-무관한 다지 다exterous 그립 계획을 위한 생성 모델로, MultiDex 데이터셋에서 86.93%의 성공률을 달성했다.
핵심 기여도
- GOAG는 객체 특화 데이터 없이도 유효한 그립 구성을 생성할 수 있는 생성 모델이다.
- 객체 특성은 추론 단계에서만 도입하여, 그립기의 능력과 호환되는 접촉 영역을 효과적으로 검색한다.
- MultiDex 데이터셋에서 86.93%의 평균 성공률을 달성하며, 기존 방법과 동일한 성능을 유지하면서 처리 속도가 향상된다.
- 객체-무관 학습을 통해 전통적 데이터 기반 그립 계획기의 일반화 문제를 해결한다.
핵심 아이디어
GOAG는 그립기와 객체가 접촉점에서 동일한 표면 기하학을 공유한다는 관찰에 기반한다. 이는 객체 특화 데이터 없이도 그립기의 접촉 표면 분포를 학습할 수 있음을 의미한다. GOAG는 이 관찰을 바탕으로, 특정 그립기의 접촉 표면 분포를 학습하여, 객체에 관계없이 유효한 그립 구성을 생성할 수 있는 생성 모델을 제안한다. 핵심 아이디어는 객체 특성은 학습 단계가 아닌 추론 단계에서만 도입함으로써, 모델이 객체에 의존하지 않고도 그립 가능성 여부를 판단하도록 유도하는 것이다.
기술적 접근법
- GOAG는 특정 그립기의 접촉 표면 분포를 학습하는 **깊은 생성 모델**이다.
- **잠재 공간(latent space)** 을 사용하여 그립기의 접촉 표면 분포를 압축적으로 표현한다.
- 객체 특성은 추론 시점에서만 입력으로 도입된다.
- 학습 데이터는 객체 특화가 아닌, 그립기의 접촉 표면 정보만 사용된다.
- **MultiDex 데이터셋** 을 사용하여 실험을 수행하며, 다양한 그립기와 시뮬레이션/실세계 환경에서 검증한다.
주요 결과
- MultiDex 데이터셋에서 GOAG는 평균 **86.93%** 의 성공률을 달성했다.
- 기존 방법 대비 **처리 속도가 훨씬 빠르며**, 그립 생성 수가 증가할수록 이점이 더 두드러진다.
- 객체 특화 데이터 없이도 기존 방법과 동일한 성능을 유지한다.
- GOAG는 객체-무관 학습을 통해 일반화 능력을 향상시킨다.
의의 및 한계
GOAG는 객체-무관 학습을 통해 전통적 그립 계획기의 일반화 문제를 해결하며, 새로운 객체에 대한 그립 계획을 효율적으로 생성할 수 있는 기반을 제공한다. 특히, 객체 특화 데이터가 부족하거나 다종류 객체를 다루는 상황에서 유용하다. 그러나, 객체 특성은 추론 단계에서만 도입되므로, 객체의 복잡한 기하학적 특성을 고려하지 못할 가능성도 있다. 또한, 특정 그립기만 학습하는 방식이므로, 다양한 그립기 간의 전이 학습 가능성은 명시되지 않았다.
실용적 활용
GOAG는 로봇이 다양한 물체를 다루는 산업 자동화, 물류 분류, 의료 로봇 등에서 유용하게 활용될 수 있다. 특히, 새로운 물체에 대한 그립 계획이 필요한 상황에서, 객체 특화 데이터 없이도 즉시 그립을 생성할 수 있어 실용적 가치가 높다.