RoboDojo: A Unified Sim-and-Real Benchmark for Comprehensive Evaluation of Generalist Robot Manipulation Policies
Tianxing Chen, Yue Chen, Zixuan Li, Junyuan Tang, Kailun Su, Haoran Lu, Weijie Wan, Baijun Chen, Songling Liu, Haowen Yan, Honghao Su, Zhiyang Dou, Kaixuan Wang, Dandan Zhang, Yunze Liu, Yan Qin, Qiwei Liang, Qiwei Wu, Zijian Lin, Wenwei Lin, Yuran Wang, Minghua He, Tianshu Wu, Ruihai Wu, Jingquan Zhou, Kai-Chong Lei, Haibao Yu, Yuanfeng Ji, Weiyang Jin, Guanyu Lin, Xiaofan Li, Qi Xiong, Renjing Xu, Zhongyu Li, Wenhao Chai, Enze Xie, Ziwei Wang, Yao Mu, Hao Dong, Wojciech Matusik, Mingyu Ding, Wenbo Ding, Ping Luo, Masayoshi Tomizuka
arXiv:2607.04434 · 2026-07-09 공개 · arXiv · PDF
long-horizon robot-manipulation policy-evaluation open-vocabulary real-world-evaluation sim-and-real generalist-policy isaac-sim
Abstract
Generalist robot manipulation policies have advanced rapidly, yet existing benchmarks remain limited in systematically evaluating their capabilities. Many rely on simple, short-horizon, or skill-narrow tasks with limited capability coverage, and are often conducted only in simulation or only in the real world. Simulation enables scalable feedback but misses physical deployment challenges, while real-world evaluation is costly, time-consuming, and difficult to reproduce. We introduce RoboDojo, a unified sim-and-real benchmark for comprehensive evaluation of generalist robot manipulation policies. RoboDojo includes 42 simulation tasks and 18 real-world tasks covering diverse and complementary manipulation capabilities. The simulation benchmark evaluates five dimensions: generalization, memory, precision, long-horizon execution, and open-vocabulary instruction following, while the real-world benchmark exposes policies to challenging physical-world deployment conditions. RoboDojo supports scalable evaluation through heterogeneous parallel simulation in Isaac Sim and provides RoboDojo-RealEval, a reproducible real-world evaluation system with remote cloud access, standardized hardware, scene reset, evaluation protocol, and deployment interface. Together with XPolicyLab, policies can be integrated once and evaluated across simulation and real-world settings with minimal adaptation. We integrate 30 policies into XPolicyLab and evaluate them on RoboDojo, establishing a public leaderboard and systematic analysis of current policy performance. The website is available at http://robodojo-benchmark.com/.
한국어 요약
한 줄 요약
RoboDojo는 시뮬레이션과 실제 환경에서 일반적인 로봇 조작 정책을 종합적으로 평가하는 통합 벤치마크를 제시한다.
핵심 기여도
- RoboDojo는 42개 시뮬레이션 태스크와 18개 실제 태스크로 구성된 통합 벤치마크를 제시.
- 5개의 능력 차원 (Generalization, Memory, Precision, Long-Horizon, Open)을 평가하며, Isaac Sim을 활용한 이질적 병렬 시뮬레이션을 지원.
- RoboDojo-RealEval을 통해 표준화된 하드웨어, 시나리오 리셋, 평가 프로토콜을 갖춘 재현 가능한 실제 평가 시스템을 제공.
- XPolicyLab을 통해 30개 정책을 통합하여 시뮬레이션과 실제 환경에서 평가 가능하며, 공개 리더보드와 체계적 분석을 제공.
핵심 아이디어
기존 로봇 조작 정책 평가 시스템은 단일 환경(시뮬레이션 또는 실제)에 제한적이며, 다양한 능력 차원을 포괄적으로 평가하지 못했다. RoboDojo는 이러한 한계를 극복하기 위해 시뮬레이션과 실제 환경을 통합한 평가 프레임워크를 제안한다. 특히, 시뮬레이션은 5개의 능력 차원을 다각도로 평가하며, 실제 환경에서는 물리적 요인(접촉, 인식 노이즈, 환경 변화)을 고려한 평가를 수행한다. XPolicyLab을 통해 정책 통합과 최소한의 수정으로 시뮬레이션과 실제 환경을 모두 평가할 수 있도록 지원하며, RoboDojo-RealEval은 표준화된 하드웨어와 평가 프로토콜을 통해 재현 가능한 실제 평가를 가능하게 한다.
기술적 접근법
- **RoboDojo**: 42개 시뮬레이션 태스크와 18개 실제 태스크로 구성.
- **Isaac Sim**: 이질적 병렬 시뮬레이션을 지원하여 평가 처리량을 대폭 향상.
- **RoboDojo-RealEval**: 표준화된 하드웨어(ARX X5, Piper, Piper X), 시나리오 리셋, 평가 프로토콜, 클라우드 기반 원격 평가 시스템.
- **XPolicyLab**: 30개 정책 통합, 시뮬레이션과 실제 환경 평가 가능, 최소한의 정책 수정으로 통합.
- **평가 설정**: 시뮬레이션 태스크는 50 에피소드당 평가, 실제 태스크는 10회 시도. 성공률과 평균 점수를 기준으로 평가.
주요 결과
- **시뮬레이션 평가**: 42개 태스크, 5개 능력 차원(Generalization, Memory, Precision, Long-Horizon, Open)에서 평가.
- **실제 평가**: 18개 태스크, 3개 로봇(ARX X5, Piper, Piper X)에서 평가.
- **성능 비교**: 30개 정책을 XPolicyLab을 통해 통합 평가, 공개 리더보드와 체계적 분석 제공.
- **재현성**: RoboDojo-RealEval을 통해 표준화된 하드웨어와 평가 프로토콜을 사용하여 실제 평가의 재현성을 확보.
의의 및 한계
RoboDojo는 기존 시뮬레이션과 실제 평가의 단점을 보완하여, 일반적인 로봇 조작 정책의 종합적 평가를 가능하게 한다. 특히, 5개의 능력 차원을 포괄적으로 평가하고, 표준화된 실제 평가 시스템을 통해 재현 가능한 결과를 제공하는 점에서 학술적·실용적 가치가 높다. 그러나, 모든 실제 환경의 복잡성을 완전히 반영하지 못하거나, 일부 정책이 특정 평가 설정에 과적합될 수 있는 한계가 있다. 또한, 평가 과정에서 사용자 간의 주관적 점수 차이를 최소화하기 위한 더 강력한 점수 평가 프로토콜이 필요할 수 있다.
실용적 활용
RoboDojo는 로봇 정책 개발자들이 시뮬레이션과 실제 환경에서의 성능을 비교하고, 정책의 일반화 능력과 물리적 환경 적응력을 평가하는 데 유용하다. 특히, 산업 현장에서 로봇이 다양한 조건에서 안정적으로 작동하는지 확인하거나, 연구자들이 새로운 정책의 성능을 체계적으로 검증하는 데 활용할 수 있다.