Translation as a Bridging Action: Transferring Manipulation Skills from Humans to Robots

We study whether we can learn novel manipulation skills from human actions to a bi-manual robot with parallel grippers. Human action data is cheap, abundant, and diverse, making it one of the most promising resources for scaling up robot learning. Yet transferring skills from humans to robots remains hard: most prior work treats humans as just another bi-manual 6DoF embodiment, where hand-pose estimates are noisy and the contact patterns of human fingers differ fundamentally from those of a parallel gripper. We argue that learning rotation-inclusive action signals from human data is therefore sub-optimal, and instead propose a bridging action representation: the relative wrist translation within the initial head-camera frame, an action space shared by humans and robots. To handle the potential absence of certain action components in different embodiments, we build a π_0-like vision-language-action model with interleaved action tokens and attention masking. On a suite of novel bi-manual manipulation tasks, our bridging action transfers human manipulation knowledge to robots far more effectively than noisy 6DoF human actions and scales with the amount of human data.

한 줄 요약

이 연구는 인간의 이중 팔 조작 행동을 로봇으로 전이하는 데, 회전 정보를 배제한 손목 이동량 기반의 "bridging action"을 제안한다.

핵심 기여도

**bridging action**: 회전 정보를 배제하고, 인간과 로봇이 공유할 수 있는 손목 이동량 기반의 행동 표현을 제안.
**π₀-like vision-language-action 모델**: 다양한 행동 성분을 처리하기 위해 interleaved action tokens과 attention masking을 결합한 모델 구조를 설계.
**대규모 인간 행동 사전 학습**: 6DoF 인간 행동 대신 wrist translation만을 사용한 사전 학습이 로봇 행동 전이 성능을 향상시킴.
**15개의 이중 팔 조작 태스크 실험**: 실제 로봇에서 성공률과 진행률을 기준으로 평가하여, 기존 6DoF 인간 행동 기반 접근보다 우수한 성능을 보임.

핵심 아이디어

기존 연구는 인간의 6DoF 손 위치를 로봇 조작 행동으로 전이하려는 경향이 있었으나, 인간 손가락의 자유도와 로봇 그리퍼의 접촉 패턴 차이로 인해 이는 노이즈에 취약하고 비효율적이다. 본 연구는 이러한 문제를 해결하기 위해, 인간과 로봇이 공유할 수 있는 **head-camera frame 내의 손목 이동량**(wrist translation)을 행동 표현으로 제안한다. 이는 회전 정보를 배제하고, 인간의 행동 데이터에서 추출 가능하며, 로봇의 그리퍼 제어와도 호환된다.

또한, 다양한 행동 성분(예: 6DoF, 그리퍼 신호 등)을 처리하기 위해 **interleaved action tokens**과 **attention masking**을 결합한 π₀-like vision-language-action 모델을 설계한다. 이는 각 행동 성분의 유무에 따라 입력 길이가 달라지는 데이터를 처리할 수 있도록 설계되었다.

기술적 접근법

**bridging action**: head-camera frame 기준의 wrist translation만을 사용.
**모델 구조**: π₀-like vision-language-action 모델로, interleaved action tokens과 attention masking을 결합.
**학습 전략**:

1. 대규모 인간 행동 데이터로 wrist translation 기반 pre-training.
2. 일반적인 pick-and-place 로봇 행동과 특정 태스크별 인간 행동을 결합한 co-training.
3. few-shot 실제 로봇 데이터로 post-training.

**데이터셋**: 15개의 이중 팔 조작 태스크(전자레인지, 냉장고, 컵, 토스터 등)에서 3시간의 인간 행동 데이터와 100개의 로봇 트레이젝토리 데이터 사용.

주요 결과

**15개 태스크 평가**: 각 태스크당 8회 실험(4개 scene × 2회 반복).
**성능 개선**:
**bridging action** 기반 모델이 6DoF 인간 행동 기반 모델보다 성공률과 진행률에서 더 우수한 성능.
대규모 인간 행동 사전 학습은 few-shot 로봇 데이터 학습의 데이터 효율성을 향상시킴.
**예시**: 전자레인지 문 열기/닫기, 컵 쌓기, 토스터에서 토스트 꺼내기 등에서 높은 성공률 보임.

의의 및 한계

**의의**:
인간 행동 데이터를 대규모로 활용할 수 있는 새로운 표현 방식을 제안.
로봇 학습에서 인간 행동의 노이즈와 자유도 차이를 극복하는 기술적 해결책을 제시.
실제 로봇에서 15개 태스크에 걸쳐 성능을 검증하여 실용성을 입증.
**한계**:
회전 정보를 배제한 bridging action은 미세 회전 조정이 필요한 태스크에서 성능 저하 가능성 있음.
인간 행동의 노이즈와 관찰-로봇 구조 차이로 인해 얇은 물체를 집는 등 일부 태스크에서 성능이 제한됨.
더 다양한 로봇 행동 데이터가 필요해 대규모 학습에 의존적.

실용적 활용

이 연구는 저비용으로 대규모 인간 행동 데이터를 수집하여 로봇 학습에 적용할 수 있는 기반을 제공한다. 특히, **이중 팔 로봇**이 다양한 조작 태스크(전자기기 조작, 물체 정렬, 청소 등)를 학습하는 데 활용 가능하며, **로봇 제조, 서비스 로봇, 산업 자동화** 분야에서 실용적 적용이 기대된다.