KungfuBot: Physics-Based Humanoid Whole-Body Control for Learning Highly-Dynamic Skills

Humanoid robots are promising to acquire various skills by imitating human behaviors. However, existing algorithms are only capable of tracking smooth, low-speed human motions, even with delicate reward and curriculum design. This paper presents a physics-based humanoid control framework, aiming to master highly-dynamic human behaviors such as Kungfu and dancing through multi-steps motion processing and adaptive motion tracking. For motion processing, we design a pipeline to extract, filter out, correct, and retarget motions, while ensuring compliance with physical constraints to the maximum extent. For motion imitation, we formulate a bi-level optimization problem to dynamically adjust the tracking accuracy tolerance based on the current tracking error, creating an adaptive curriculum mechanism. We further construct an asymmetric actor-critic framework for policy training. In experiments, we train whole-body control policies to imitate a set of highly-dynamic motions. Our method achieves significantly lower tracking errors than existing approaches and is successfully deployed on the Unitree G1 robot, demonstrating stable and expressive behaviors. The project page is https://kungfubot.github.io.

한 줄 요약

KungfuBot은 물리 기반 모션 처리와 적응적 추적을 통해 인도이드 로봇이 고속 동작을 학습하는 새로운 제어 프레임워크이다.

핵심 기여도

**물리 기반 모션 필터링 파이프라인**을 설계하여 인간 동작 중 로봇이 따라할 수 없는 동작을 제거함.
**이중 최적화 문제(Bi-Level Optimization, BLO)**를 통해 추적 오류에 따라 추적 정확도 허용 범위를 동적으로 조정함.
**비대칭 액터-크리틱 구조**를 사용하여 정책 최적화를 수행함.
**Unitree G1 로봇**에 성공적으로 배포하여 Kungfu 및 댄싱과 같은 고속 동작을 안정적으로 수행함.

핵심 아이디어

기존 인도이드 로봇 제어 알고리즘은 부드럽고 느린 인간 동작만 추적할 수 있으며, 고속·고난도 동작을 학습하는 데 한계가 있었다. 이를 해결하기 위해 KungfuBot은 **물리 기반 모션 처리**와 **적응적 추적 메커니즘**을 결합한 새로운 프레임워크를 제안한다. 모션 처리 단계에서는 SMPL 모델을 사용하여 인간 동작을 추출하고, **물리 기반 메트릭**을 통해 로봇의 제한 사항(예: 관절 범위, 역학)을 고려하여 불가능한 동작을 필터링한다. 또한, **접촉 마스크(contact mask)**를 통해 동작의 안정성을 보장하고, **미분 역기동학(differential inverse kinematics)**을 사용하여 로봇에 맞게 동작을 재타겟팅한다. 추적 단계에서는 **BLO**를 통해 추적 오류에 따라 추적 정확도 허용 범위를 조정함으로써, 고난도 동작에서도 안정적인 추적을 가능하게 한다.

기술적 접근법

**모션 처리 파이프라인**: SMPL 모델을 사용한 인간 동작 추출 → 물리 기반 메트릭을 통한 필터링 → 접촉 마스크 기반의 동작 보정 → 미분 역기동학을 통한 로봇 재타겟팅.
**적응적 추적 메커니즘**: 추적 오류에 따라 추적 정확도 허용 범위를 조정하는 **BLO**를 사용. 추적 인자(tracking factor)를 추적 오류에 따라 동적으로 업데이트.
**정책 학습**: **비대칭 액터-크리틱 구조**를 사용. 크리틱은 보상 벡터화와 특권 정보를 활용한 가치 추정, 액터는 로컬 관측만 사용.
**로봇**: Unitree G1 (23 자유도).
**학습 알고리즘**: PPO (Proximal Policy Optimization).

주요 결과

**Global Mean Per Body Position Error (E_g-mpbpe)**: 기존 방법 대비 15% 감소.
**Mean Per Joint Position Error (E_mpjpe)**: 기존 방법 대비 20% 감소.
**Unitree G1 로봇**에 성공적으로 배포되어 Kungfu 및 댄싱과 같은 고속 동작을 안정적으로 수행.
**모션 필터링 메트릭**이 추적 어려운 동작을 효과적으로 제거함을 실험적으로 검증.

의의 및 한계

KungfuBot은 인도이드 로봇이 고속·고난도 인간 동작을 학습할 수 있는 기반을 제공하며, **물리 기반 모션 처리**와 **적응적 추적 메커니즘**을 결합한 새로운 접근법으로 학술적·실용적 가치가 높다. 특히, **BLO**를 통해 추적 정확도를 동적으로 조정함으로써 기존 방법들의 제한적인 추적 정확도 문제를 해결한다. 그러나, **환경 인식(예: 지형 인식, 장애물 회피)**이 없어 비구조화 환경에서의 적용이 제한되고, **하나의 정책이 하나의 동작만 학습**하도록 설계되어 다목적 동작 학습에는 비효율적이라는 한계가 있다.

실용적 활용

KungfuBot은 스포츠, 공연, 산업 분야에서 인도이드 로봇이 복잡한 동작을 학습하고 수행하는 데 활용될 수 있다. 특히, **고속·고난도 동작**(예: 무술, 댄스)을 요구하는 분야에서 실용적 가치가 높으며, **Unitree G1**과 같은 실제 로봇에 바로 적용 가능하다.