Hierarchical Diffusion Policy for Kinematics-Aware Multi-Task Robotic Manipulation

This paper introduces Hierarchical Diffusion Policy (HDP), a hierarchical agent for multi-task robotic manipulation. HDP factorises a manipulation policy into a hierarchical structure: a high-level task-planning agent which predicts a distant next-best end-effector pose (NBP), and a low-level goal-conditioned diffusion policy which generates optimal motion trajectories. The factorised policy representation allows HDP to tackle both long-horizon task planning while generating fine-grained low-level actions. To generate context-aware motion trajectories while satisfying robot kinematics constraints, we present a novel kinematics-aware goal-conditioned control agent, Robot Kinematics Diffuser (RK-Diffuser). Specifically, RK-Diffuser learns to generate both the end-effector pose and joint position trajectories, and distill the accurate but kinematics-unaware end-effector pose diffuser to the kinematics-aware but less accurate joint position diffuser via differentiable kinematics. Empirically, we show that HDP achieves a significantly higher success rate than the state-of-the-art methods in both simulation and real-world.11Code and videos are available in our project page.

한 줄 요약

계층적 확산 정책 HDP는 로봇 운동학 제약을 고려한 다중 작업 조작 성능을 향상시킨다.

핵심 기여도

**HDP**는 고수준 NBP 에이전트와 저수준 RK-Diffuser를 결합한 계층적 정책을 제안.
**RK-Diffuser**는 운동학 제약을 만족하면서도 정확한 관절 위치 궤적을 생성.
**24.55%의 IK 오류율**을 보이는 기존 정책 대비 성능 개선.
**20개의 데모만으로 실제 로봇에서 높은 성공률 달성**.

핵심 아이디어

기존 NBP 에이전트는 작업 맥락을 이해하지 못하는 미리 정의된 경로 계획기를 사용하여 실패를 초래할 수 있다. HDP는 이 문제를 해결하기 위해 고수준 NBP 에이전트와 저수준 **RK-Diffuser**를 결합한 계층적 구조를 도입한다. 고수준 에이전트는 3D 시각 정보와 언어 지시를 입력으로 받아 6-DoF의 다음 최적 끝효자 위치(NBP)를 예측한다. 저수준 RK-Diffuser는 이 NBP를 기반으로 **운동학 제약을 고려한 관절 위치 궤적**을 생성하며, **미분 가능한 운동학**을 통해 정확한 끝효자 궤적을 관절 궤적으로 전달한다. 이는 기존의 역운동학 솔버가 자주 실패하는 문제를 해결한다.

기술적 접근법

**HDP**는 고수준 NBP 에이전트와 저수준 **RK-Diffuser**로 구성된 계층적 정책.
**RK-Diffuser**는 **6-DoF 끝효자 위치와 관절 위치 궤적**을 모두 생성.
**미분 가능한 운동학**을 사용해 끝효자 궤적을 관절 궤적으로 전달.
**PointNet++**을 사용한 포인트 클라우드 특징 추출 모듈.
**20개 데모**로 실제 로봇 학습 가능.
**100K 반복 학습**과 **100개 데모**로 시뮬레이션 실험 수행.

주요 결과

**RLBench** 데이터셋에서 HDP는 기존 최고 성능 기법 대비 **높은 성공률** 달성.
**Pose Diffusion** 정책은 **24.55%의 IK 오류율** 보임.
**RRT 기반 경로 계획기**는 세부 궤적 필요 작업에서 **완전 실패**.
**20개 데모**로 실제 로봇에서 **고난이도 작업 성공**.

의의 및 한계

HDP는 운동학 제약을 고려하면서도 정확한 궤적 생성을 가능하게 하여, 기존의 역운동학 솔버와 NBP 기반 계획기의 단점을 보완한다. 특히, **3D 정보와 특징 추출 모듈**이 성능에 큰 영향을 미치며, 이는 일반화 가능한 제어에 필수적이다. 그러나 **오래된 작업에서 오류 누적으로 인한 분포 이동** 문제가 존재하며, 이는 향후 연구 주제로 남는다.

실용적 활용

HDP는 **다양한 작업 환경에서의 로봇 조작**, 특히 **조인트 제약이 있는 복잡한 작업**에 적용 가능하다. **실제 로봇 학습**과 **제한된 데모 데이터** 상황에서도 높은 성능을 보이는 만큼, 산업 현장의 **자동화 시스템** 및 **로봇 제어 연구**에 유용하게 활용될 수 있다.