Fingers as Legs: Learning Self-Supported Locomotion and Manipulation with an Anthropomorphic Hand

A walking robotic hand must use the same fingers to move its body, support its weight, and interact with the environment. We show how an anthropomorphic hand can learn these skills while retaining its finger design and position controller. Onboard power and computation make the platform self-contained. Our reinforcement learning approach accounts for the hand's unequal fingers, with training in a simulator calibrated from hardware measurements. In simulation, the hand moves faster with our reward formulation than with tuned rewards originally designed for quadrupeds. On hardware, task-specific policies enable untethered crawling, steering, and fall recovery. While supporting its own weight, the hand also executes successive keyboard commands without vision and pushes an object to targets using overhead visual feedback. These results demonstrate a compact mobile manipulator that reuses its fingers for locomotion and interaction, without a separate locomotion mechanism.

한 줄 요약

인간 손 형태의 로봇이 위치 제어기를 유지하면서 이동과 조작을 동시에 학습하는 방법을 제시한다.

핵심 기여도

인체공학적 로봇 손이 위치 제어기를 유지하면서 이동 및 조작을 학습함.
강화학습을 통해 손의 불균형한 손가락 구조를 고려한 정책을 학습함.
시뮬레이터는 하드웨어 측정값을 기반으로 교정됨.
실제 기기에서 무선 크롤링, 조향, 복구를 수행함.

핵심 아이디어

기존 로봇은 이동과 조작을 위한 별도의 메커니즘을 필요로 하지만, 본 연구는 손가락을 이동 및 조작에 모두 활용하는 새로운 접근법을 제시한다. 손가락의 길이와 굴곡 범위가 서로 다른 구조를 고려하여 강화학습 알고리즘을 설계함으로써, 기존 사자형(4족) 로봇을 위한 보상 함수보다 더 빠른 이동 속도를 달성했다. 이는 손가락의 고유한 역학을 반영한 학습 전략의 중요성을 강조한다.

기술적 접근법

강화학습 기반의 정책 학습을 통해 손가락을 활용한 이동 및 조작 수행.
시뮬레이터는 실제 하드웨어 측정값으로 교정됨.
위치 제어기(position controller)를 유지하면서 학습.
학습된 정책은 무선 크롤링, 조향, 복구 등 실시간 태스크 수행 가능.

주요 결과

시뮬레이션 상에서 제안된 보상 함수를 사용한 손의 이동 속도는 기존 사자형 로봇을 위한 조정된 보상 함수 대비 더 빠름.
실제 기기에서 무선 크롤링, 조향, 복구 성공.
시야 없이 키보드 명령을 연속 실행하며, 상단 카메라 피드를 사용해 물체를 목표 지점으로 밀기 성공.

의의 및 한계

본 연구는 이동과 조작을 위한 별도 메커니즘 없이 손가락만으로 기능하는 로봇 플랫폼의 가능성을 보여준다. 특히, 인체공학적 구조를 유지하면서 강화학습을 통한 정책 학습이 실용적임을 입증한다. 그러나 손의 무게 지지 능력이나 장거리 이동 성능은 명시되지 않았으며, 다양한 환경에서의 안정성 검증이 필요하다.

실용적 활용

이 연구는 소형 이동형 조작 로봇 개발에 기여할 수 있으며, 특히 공간이 제한된 환경(예: 구조 현장, 산업 검사)에서 유용할 수 있다. 또한, 인체공학적 로봇 손의 실시간 제어 및 학습 기술 개발에 활용 가능하다.