SeededGrasp: Language-Guided Grasping in Complex Scenes with Multiple Embodiments

Practical robotic grasping in complex scenes requires both 3D spatial reasoning and alignment with task-specific requirements. Vision-language models (VLMs) offer a natural way to specify these requirements using language, but existing approaches either use a VLM to predict the grasp directly with limited spatial awareness, or train the VLM together with the grasping model, which requires significantly more data and compute. These limitations impede performance and have prevented scaling to multiple embodiments in complex scenes. We address this by proposing SeededGrasp, a novel data-efficient framework that enables a VLM to predict a seed point to be used as conditioning for a subsequent lightweight grasp-generation model. Our architecture decouples high-level semantic reasoning from low-level geometric execution, enabling multi-embodiment support while bypassing the need for expensive end-to-end training. To enable training such models, we release the first multi-embodiment tabletop grasping dataset comprising over 2.5M grasps in cluttered scenes. Experimental results demonstrate that our approach outperforms existing baselines, achieving 72% success in simulation and 78% in real-world grasping experiments. See our project site for data and code: https://uoft-isl.github.io/seeded-grasp/

한 줄 요약

SeededGrasp는 언어 지시에 기반한 복잡한 환경에서 다중 로봇 형태의 정밀한 그립 생성을 위한 데이터 효율적인 프레임워크이다.

핵심 기여도

VLM을 이용한 시드 포인트 예측을 통해 가벼운 그립 생성 모델을 조건화하는 새로운 프레임워크 제안.
2.56M개의 그립을 포함한 첫 번째 다중 로봇 형태 테이블탑 그립 데이터셋 개발.
시뮬레이션에서 72%, 실제 환경에서 78%의 성공률 달성.
학습 과정에서 end-to-end 학습이 필요 없어 데이터 및 계산 비용 절감.

핵심 아이디어

SeededGrasp는 고차원 언어 정보와 저차원 기하학적 실행을 분리하여, 복잡한 환경에서의 그립 생성을 효율적으로 처리한다. 기존 접근법은 VLM을 직접 그립 예측에 사용하거나, VLM과 그립 모델을 함께 학습하여 데이터와 계산 비용이 높았다. SeededGrasp는 VLM을 사용하여 시드 포인트를 예측한 후, 이 시드 포인트를 조건으로 가진 가벼운 그립 생성 모델을 학습한다. 이는 고차원 의미 추론과 저차원 기하학적 실행을 분리함으로써, 다양한 로봇 형태(embodiment)에 대한 지원을 가능하게 한다. 특히, 시드 포인트는 사용자의 언어 지시에 따라 장애물이 있는 복잡한 환경에서도 정확한 그립 위치를 결정하는 데 기여한다.

기술적 접근법

**모델 아키텍처**: 시드 포인트 예측과 그립 생성을 두 단계로 분리.
**Point Cloud Encoding**: Fourier-encoding과 PCA 기반의 정규화 벡터를 결합하여 3D 포인트 클라우드를 처리.
**Grasp Pose Generation**: Flow Matching 기반의 확률적 그립 생성 모델 사용.
Vector field 예측을 위한 Diffusion Transformer(DiT) 아키텍처 적용.
Cross-attention을 통해 로봇 및 환경 조건을 반영.
**학습 세부 사항**:
조건화된 flow-matching loss(λ = (0.4, 0.04, 0.8))를 사용.
L1 loss 대신 L2 loss를 사용하지 않고, 시간 단계 t는 Beta 분포에서 샘플링.
Classifier-Free Guidance를 통해 조건 신호에 대한 모델의 정확도 향상.
**데이터셋**: 610개의 복잡한 테이블탑 환경, 334개의 객체, 3개의 로봇 형태를 포함한 2.56M개의 그립 데이터.

주요 결과

**시뮬레이션 성능**: 72%의 그립 성공률 달성.
**실제 환경 성능**: 78%의 그립 성공률 달성.
**데이터셋**: 2.56M개의 그립을 포함한 첫 번째 다중 로봇 형태 그립 데이터셋 개발.
**VLM 비교 실험**: Gemini 3.1 Flash가 다른 VLM 대비 가장 높은 성능을 보임.
**데이터 규모 실험**: 75%의 데이터만 사용해도 성능이 71.5%에 도달하며, 추가 데이터는 성능 향상에 제한적임.

의의 및 한계

SeededGrasp는 복잡한 환경에서의 언어 기반 그립 생성 문제를 해결하기 위한 모듈형 프레임워크로, 다양한 로봇 형태에 대한 지원과 데이터 효율성을 동시에 달성한다. 기존 접근법 대비 학습 비용이 낮고, VLM의 개선에 따라 자연스럽게 성능이 향상될 수 있는 구조를 갖추고 있다. 또한, 첫 번째로 제시된 다중 로봇 형태 그립 데이터셋은 향후 연구에 중요한 자산이 될 것으로 기대된다. 그러나, VLM의 선택이 성능에 큰 영향을 미치며, 현재로서는 특정 VLM에 의존적인 측면이 있다. 또한, 복잡한 기동 구조를 가진 로봇(예: Allegro Hand)에 대한 학습이 여전히 어려운 점이 한계로 지적된다.

실용적 활용

SeededGrasp는 물류, 제조, 서비스 로봇 분야에서 복잡한 환경에서의 언어 기반 그립 제어에 활용될 수 있다. 특히, 다양한 로봇 형태를 사용하는 산업 현장에서 데이터 효율적인 학습과 유연한 작업 수행이 필요한 경우에 적합하다. 또한, 시뮬레이션-실제 환경 간의 이전(sim-to-real transfer)이 가능하므로, 실제 로봇 배치 전의 시뮬레이션 테스트에도 유용하다.