EBench: Elemental Diagnosis of Generalist Mobile Manipulation Policies
Ning Gao, Jinliang Zheng, Xing Gao, Haoxiang Ma, Hanqing Wang, Yukai Wang, Jiantong Chen, Zanxin Chen, Shujie Zhang, Mingda Jia, Xuekun Jiang, Zihou Zhu, Xinyu Li, Shuai Wang, Hao Li, Wenzhe Cai, Yuqiang Yang, Xudong Xu, Zhaoyang Lyu, Yao Mu, Tai Wang, Jiangmiao Pang, Jia Zeng, Weinan Zhang, Chunhua Shen
arXiv:2606.18239 · 2026-06-26 공개 · arXiv · PDF
model-evaluation distribution-shift manipulation-tasks mobile-manipulation capability-profiling generalization-analysis generalist-policies simulation-benchmark
Abstract
We present EBench, a simulation benchmark that diagnoses generalist mobile manipulation policies beyond a single success-rate scalar. EBench comprises 26 diverse and challenging manipulation tasks annotated along 5 capability dimensions and 4 generalization dimensions. We evaluate state-of-the-art generalist manipulation models including π_0, π_{0.5}, XVLA, and InternVLA-A1, and reveal that models with near success rates exhibit strikingly different capability profiles: π_{0.5} achieves the highest test success rate and the best train--test retention, whereas InternVLA-A1 dominates mobile manipulation but collapses on dexterous tasks, and XVLA exhibits strengths on a disjoint set of atomic skills compared to other policies. Beyond capability profiling, EBench analyzes the generalization ability from 4 representative perspectives, identifying the impact of different distribution shift factors. The results reveal strengths and weaknesses of models behind an overall score. We hope this benchmark offers a broad set of diagnostic signals to guide iteration on generalist manipulation models.
한국어 요약
한 줄 요약
EBench는 모바일 조작 정책의 다면적 진단을 위한 시뮬레이션 벤치마크이다.
핵심 기여도
- 26개의 다양한 조작 태스크와 5개의 능력 차원, 4개의 일반화 차원으로 구성된 EBench 제안.
- π_{0.5}는 테스트 성공률과 학습-테스트 유지율에서 최고 성능.
- InternVLA-A1은 모바일 조작에서 우수하지만 섬세한 작업에서 실패.
- XVLA는 다른 정책과 겹치지 않는 원자적 기술 집합에서 강점을 보임.
핵심 아이디어
기존 성공률 단일 지표로는 모바일 조작 정책의 능력을 완전히 평가할 수 없다는 문제를 지적한다. EBench는 5개의 능력 차원과 4개의 일반화 차원을 도입하여 정책의 다면적 성능을 분석한다. 이는 단순히 성공 여부가 아닌, 정책이 갖는 핵심 조작 능력과 일반화 능력을 정량적으로 진단하는 데 목적이 있다. 예를 들어, π_{0.5}는 학습-테스트 유지율에서 우수한 성능을 보이며, 모델의 학습 효과를 반영하는 지표로 활용 가능하다.
기술적 접근법
- EBench는 26개의 다양한 조작 태스크로 구성됨.
- 각 태스크는 5개의 능력 차원과 4개의 일반화 차원으로 분류됨.
- 평가 모델: π_0, π_{0.5}, XVLA, InternVLA-A1.
- 성능 평가 지표: 성공률, 학습-테스트 유지율, 일반화 능력.
주요 결과
- π_{0.5}는 테스트 성공률 1위이며, 학습-테스트 유지율도 가장 우수함.
- InternVLA-A1은 모바일 조작 태스크에서 우수하지만, 섬세한 조작 태스크에서 성능 저하.
- XVLA는 다른 정책과 겹치지 않는 원자적 기술 집합에서 강점을 보임.
- EBench는 단일 성공률 지표를 넘어서, 모델의 장단점을 명확히 드러냄.
의의 및 한계
EBench는 모바일 조작 정책의 다면적 진단을 가능하게 하여, 단일 성공률 지표로는 파악할 수 없는 모델의 내재적 특성을 드러낸다. 이는 일반적인 정책 개선 방향을 제시하는 데 기여할 수 있다. 그러나 EBench는 시뮬레이션 환경에 기반하므로, 실제 물리적 환경에서의 성능과의 일치 여부는 명시되지 않으며, 추가 실험 필요성이 있다.
실용적 활용
EBench는 로봇 조작 정책의 개선 및 비교를 위한 진단 도구로 활용 가능하다. 특히, 모바일 로봇이 다양한 환경에서 조작 능력을 유지해야 하는 산업 현장 및 연구실에서 유용할 수 있다.