SO-101 Bench: Accessible Spatial Manipulation

Low-cost arms such as the SO-101 have become the most common entry point to robot learning, yet no released policy performs spatially constrained, language-conditioned tasks on them out of the box, and existing SO-101 benchmarks run only on physical hardware with simple tasks and few held-out objects. We introduce SO-101 Bench, a simulated benchmark for language-conditioned spatial manipulation built on an Isaac Lab digital twin of a real SO-101 setup. It has four tasks scored as five families, 138 objects in seen, unseen-instance and unseen-class splits, 916 evaluation episodes with subsets for held-out appearances, rotate-to-fit planning and occlusion memory, and 3,629 simulated demonstrations on which every learned policy is fine-tuned under an equal compute budget. The twin ranks policies as the real robot does: five policies trained without real data, four VLAs and an LLM agent, keep their exact ranking when the same weights run on the physical arm in an unseen environment with unseen objects (Spearman rho = 1.00, MMRV = 0.000), although simulation overestimates success. Across nine VLAs and world-action models, the best learned policies score near 61%, with spatial placement, unseen object classes and rotate-to-fit planning remaining open. An LLM agent that writes code and hands grasping to a learned policy scores 83.2%, and an ablation shows that this lead comes from the choice of harness and the choice of language model.

한 줄 요약

SO-101 Bench는 저비용 로봇 팔에서 언어 조건을 기반으로 한 공간 조작을 평가하는 시뮬레이션 벤치마크로, 실제 로봇과 동일한 순위를 재현한다.

핵심 기여도

SO-101 Bench는 Isaac Lab 기반의 디지털 트윈을 사용한 시뮬레이션 벤치마크로, 138개의 객체와 916개의 평가 에피소드를 포함한다.
5개의 정책이 실제 환경에서 동일한 순위를 유지함 (Spearman rho = 1.00, MMRV = 0.000).
3,629개의 시뮬레이션 데모를 기반으로 모든 정책이 동일한 컴퓨트 예산(36시간 × 4 × A100)으로 미세조정됨.
LLM 에이전트(GPT-6.1 Sol)가 PyRUA-Lean 허네스를 사용해 83.2% 성능을 달성함.

핵심 아이디어

SO-101 Bench는 저비용 로봇 팔에서의 언어 조건 기반 공간 조작을 평가하기 위한 시뮬레이션 벤치마크로, 실제 로봇과 동일한 성능 순위를 재현하는 것을 목표로 한다. 기존 연구는 대부분 실제 하드웨어에서만 평가되며, 시뮬레이션과 실제 간의 차이를 해소하지 못했다. 본 연구는 Isaac Lab을 기반으로 실제 SO-101 설정을 정확히 재현한 디지털 트윈을 구축하여, 시뮬레이션에서 학습된 정책이 실제 환경에서도 동일한 순위를 유지함을 보여준다. 특히, LLM 에이전트가 코드를 작성하고 학습된 정책에 그립을 위임함으로써 높은 성능을 달성하는 방식이 핵심 아이디어 중 하나이다.

기술적 접근법

**모델**: 9개의 VLA(Vision-Language-Action) 모델과 WAM(World-Action Model)이 평가됨.
**데이터**: 138개의 객체가 seen, unseen-instance, unseen-class로 분할됨.
**평가**: 916개의 평가 에피소드가 포함되며, 각 에피소드는 ROBUST(외관 차이), PLAN(회전-맞춤 계획), MEM(가림 기억) 등의 하위 집합으로 구성됨.
**학습**: 모든 정책이 3,629개의 시뮬레이션 데모로 동일한 36시간 × 4 × A100 컴퓨트 예산으로 미세조정됨.
**디지털 트윈**: Isaac Lab 기반의 SO-101 설정을 정확히 재현하며, 실제 로봇과 동일한 실험 환경을 제공함.

주요 결과

5개의 정책(GR00T, 4개의 VLA, 1개의 LLM 에이전트)이 실제 환경에서 시뮬레이션과 동일한 순위를 유지함 (Spearman rho = 1.00, MMRV = 0.000).
9개의 VLA와 WAM 중 최고 성능은 61% 수준이며, 공간 배치, 미见过 객체 클래스, 회전-맞춤 계획에서 낮은 성능을 보임.
LLM 에이전트(GPT-6.1 Sol)가 PyRUA-Lean 허네스와 Galaxea 0.5 정책을 결합해 83.2% 성능을 달성함.
시뮬레이션은 실제 성능을 9~31%포인트 과대평가함.

의의 및 한계

SO-101 Bench는 저비용 로봇에서의 언어 조건 기반 공간 조작 연구를 위한 반복 가능하고 예측 가능한 평가 기준을 제공한다. 디지털 트윈을 통해 실제 로봇과 동일한 실험 조건을 재현함으로써, 연구자들이 시뮬레이션에서 개발한 정책을 실제 환경으로 이전할 수 있는 신뢰성을 높인다. 또한, 다양한 정책 간의 비교가 가능하며, 특히 LLM 에이전트와 학습 정책의 협업이 높은 성능을 보임. 그러나 시뮬레이션이 실제 성능을 과대평가한다는 한계가 있으며, 공간 배치, 미见过 객체, 회전-맞춤 계획 등 특정 영역에서의 성능 저하가 여전히 존재한다.

실용적 활용

SO-101 Bench는 로봇 학습 연구, 특히 저비용 로봇에서의 언어-공간 조작을 개발하고 평가하는 데 유용하다. 교육, 연구소, 산업 현장에서 실제 로봇을 사용하지 않고도 정책의 성능을 예측하고 개선할 수 있다. 특히, LLM과 학습 정책의 협업 방식은 실제 로봇 제어 시스템에 적용 가능한 실용적 모델로 활용될 수 있다.