RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation

Bimanual manipulation is essential in robotics, yet developing foundation models is extremely challenging due to the inherent complexity of coordinating two robot arms (leading to multi-modal action distributions) and the scarcity of training data. In this paper, we present the Robotics Diffusion Transformer (RDT), a pioneering diffusion foundation model for bimanual manipulation. RDT builds on diffusion models to effectively represent multi-modality, with innovative designs of a scalable Transformer to deal with the heterogeneity of multi-modal inputs and to capture the nonlinearity and high frequency of robotic data. To address data scarcity, we further introduce a Physically Interpretable Unified Action Space, which can unify the action representations of various robots while preserving the physical meanings of original actions, facilitating learning transferrable physical knowledge. With these designs, we managed to pre-train RDT on the largest collection of multi-robot datasets to date and scaled it up to 1.2B parameters, which is the largest diffusion-based foundation model for robotic manipulation. We finally fine-tuned RDT on a self-created multi-task bimanual dataset with over 6K+ episodes to refine its manipulation capabilities. Experiments on real robots demonstrate that RDT significantly outperforms existing methods. It exhibits zero-shot generalization to unseen objects and scenes, understands and follows language instructions, learns new skills with just 1~5 demonstrations, and effectively handles complex, dexterous tasks. We refer to https://rdt-robotics.github.io/rdt-robotics/ for the code and videos.

한 줄 요약

RDT-1B는 이중 팔 조작을 위한 확산 기반 기초 모델로, 1.2B 파라미터와 6K+ 에피소드로 학습하여 제로샷 및 퓨샷 학습 성능을 크게 향상시킨다.

핵심 기여도

**RDT (Robotics Diffusion Transformer)**: 확산 모델 기반으로 이중 팔 조작의 다중 모달성과 비선형성을 효과적으로 표현.
**Physically Interpretable Unified Action Space**: 다양한 로봇의 액션 표현을 통합하면서 물리적 의미를 유지, 이전 학습 지식 전이 가능.
**1.2B 파라미터 규모**: 로봇 조작 분야에서 최대 규모의 확산 기반 기초 모델.
**6K+ 에피소드로 fine-tuning**: 이중 팔 작업 능력을 정제하여 56% 성공률 향상.

핵심 아이디어

RDT는 이중 팔 조작의 복잡성과 데이터 부족 문제를 해결하기 위해 확산 모델과 트랜스포머를 결합한 새로운 기초 모델이다. 이중 팔 조작은 단일 팔보다 액션 공간의 차원이 두 배로 늘어나, **다중 모달성**이 증가하며, 기존 모델이 이를 효과적으로 학습하지 못하는 문제가 있었다. RDT는 **Diffusion Transformer (DiT)**를 활용하여 이 문제를 해결하며, **MLP decoding**, **improved normalization**, **alternating condition injecting** 등의 구조적 수정을 통해 로봇 데이터의 비선형성과 고주파 변화를 정확히 모델링한다. 또한, **Physically Interpretable Unified Action Space**를 도입하여 다양한 로봇의 액션 표현을 통일하면서도 물리적 의미를 유지함으로써, 이전 학습된 지식을 다른 로봇으로 전이할 수 있도록 한다.

기술적 접근법

**모델 아키텍처**: RDT는 **Diffusion Transformer (DiT)**를 기반으로 하며, **MLP decoding**, **improved normalization**, **alternating condition injecting**을 포함한 수정된 구조를 사용.
**입력 처리**: 텍스트, 이미지, 액션 등 다양한 모달의 입력을 처리하기 위해 **multi-modal encoding**을 설계.
**액션 공간**: **Physically Interpretable Unified Action Space**를 도입하여 다양한 로봇의 액션을 통일.
**학습 데이터**: **6K+ 에피소드**로 구성된 자체 수집 이중 팔 데이터셋을 사용한 fine-tuning.
**모델 규모**: **1.2B 파라미터**로 확장, 확산 기반 로봇 조작 모델 중 최대 규모.

주요 결과

**성능 개선**: 기존 방법 대비 **56% 성공률 향상**.
**제로샷 일반화**: **Wash Cup**, **Pour Water** 등 미见过 객체/환경에서도 높은 성공률 유지.
**퓨샷 학습**: **1~5개 샷**으로 새로운 기술 학습 가능 (예: **Handover**, **Fold Shorts**).
**정교한 작업 수행**: **Robot Dog** 조작 등 정밀한 조작 요구 작업 성공.

의의 및 한계

RDT는 이중 팔 조작 분야에서 **확산 모델**, **대규모 파라미터**, **다중 모달 데이터 학습**을 결합한 최초의 기초 모델로, **제로샷**, **퓨샷**, **정교한 작업 수행** 등 다양한 측면에서 기존 방법을 크게 앞선다. 특히, **Physically Interpretable Unified Action Space**는 다양한 로봇 간 지식 전이를 가능하게 하며, 실용적 적용 가능성을 높인다. 그러나, **1.2B 파라미터** 규모는 계산 자원이 제한된 환경에서는 적용이 어려울 수 있으며, **데이터 편향**이나 **복잡한 환경에서의 안정성**은 추가 연구가 필요하다.

실용적 활용

RDT는 **로봇 제조**, **물류 자동화**, **의료 로봇** 등에서 이중 팔 조작이 필요한 다양한 산업에 적용 가능하다. 특히, **제로샷 및 퓨샷 학습 능력**은 새로운 작업 환경에 빠르게 적응할 수 있어, **실시간 학습**이 필요한 현장에서 유용하다.