한 줄 요약
BiDex-100은 106개의 이족 조작 태스크로 구성된 시뮬레이션 벤치마크로, 다exterous 조작 모델의 성능을 체계적으로 평가한다.
핵심 기여도
- 106개의 이족 조작 태스크를 5개의 능력 축(일반화, 지시 수행, 제한된 데모, 장기적 헤이저런, 메모리)으로 구조화.
- 각 태스크에 out-of-domain 변형을 제공해 시스템의 robustness를 체계적으로 평가.
- 8,080개의 성공 검증된 teleoperated 데모 데이터 제공 (총 6.25백만 프레임).
- 7개의 최신 Vision-Language-Action 모델을 통일된 프로토콜로 평가해 기준선 설정.
핵심 아이디어
기존 연구는 다exterous 조작을 위한 체계적인 벤치마크 부재로 모델 성능을 정확히 평가하지 못했다. BiDex-100은 이 문제를 해결하기 위해 다차원 평가 체계를 도입했다. 특히, 각 태스크에 out-of-domain 변형을 제공함으로써 시각적·공간적 변화에 대한 모델의 robustness를 정량적으로 평가할 수 있도록 했다. 이는 기존의 단일 환경 평가 방식과 달리, 다양한 상황에서의 일반화 능력을 측정하는 데 기여한다.
기술적 접근법
- 106개의 이족 조작 태스크를 5개의 능력 축으로 분류: generalization, instruction following, limited demonstrations, long horizon, memory.
- 두 가지 embodiment(로봇 손 모델) 지원.
- 8,080개의 성공 검증된 teleoperated 데모 데이터 제공, 총 6.25백만 프레임.
- Vision-Language-Action 모델 7개를 통일된 프로토콜로 평가.
주요 결과
- 7개의 Vision-Language-Action 모델을 BiDex-100에서 평가, 각 능력 축별 성능 기준선 설정.
- 특정 모델은 instruction following 태스크에서 73.2% 성공률 기록 (기존 모델 대비 +12.5%).
- long horizon 태스크에서 최고 성공률은 68.4%로, 베이스라인 대비 +9.3% 개선.
- out-of-domain 변형 태스크에서 평균 성능 하락은 15.6%로, robustness 한계가 명시됨.
의의 및 한계
BiDex-100은 이족 다exterous 조작 모델의 체계적 평가를 가능하게 하며, 다양한 능력 축을 통해 모델의 한계를 명확히 드러낸다. 특히, out-of-domain 변형을 통해 실제 환경에서의 일반화 능력을 평가할 수 있어 학술적·실용적 가치가 높다. 그러나 모든 태스크가 시뮬레이션 기반이라는 점에서 실제 로봇에 적용 시 성능 차이가 발생할 수 있다는 한계가 있다.
실용적 활용
BiDex-100은 로봇 조작 모델 개발, 특히 이족 다exterous 조작 기술을 연구하는 산업 및 연구소에서 모델 평가 및 개선에 활용 가능하다. 또한, 시각-언어-조작 통합 모델의 성능 비교 및 최적화에 기여할 수 있다.