RoboRefer: Towards Spatial Referring with Reasoning in Vision-Language Models for Robotics

Spatial referring is a fundamental capability of embodied robots to interact with the 3D physical world. However, even with the powerful pretrained vision language models (VLMs), recent approaches are still not qualified to accurately understand the complex 3D scenes and dynamically reason about the instruction-indicated locations for interaction. To this end, we propose RoboRefer, a 3D-aware VLM that can first achieve precise spatial understanding by integrating a disentangled but dedicated depth encoder via supervised fine-tuning (SFT). Moreover, RoboRefer advances generalized multi-step spatial reasoning via reinforcement fine-tuning (RFT), with metric-sensitive process reward functions tailored for spatial referring tasks. To support SFT and RFT training, we introduce RefSpatial, a large-scale dataset of 20M QA pairs (2x prior), covering 31 spatial relations (vs. 15 prior) and supporting complex reasoning processes (up to 5 steps). In addition, we introduce RefSpatial-Bench, a challenging benchmark filling the gap in evaluating spatial referring with multi-step reasoning. Experiments show that SFT-trained RoboRefer achieves state-of-the-art spatial understanding, with an average success rate of 89.6%. RFT-trained RoboRefer further outperforms all other baselines by a large margin, even surpassing Gemini-2.5-Pro by 17.4% in average accuracy on RefSpatial-Bench. Notably, RoboRefer can be integrated with various control policies to execute long-horizon, dynamic tasks across diverse robots (e,g., UR5, G1 humanoid) in cluttered real-world scenes.

한 줄 요약

RoboRefer는 3D 공간 인식과 강화 학습 기반 추론을 결합한 VLM으로, 복잡한 3D 환경에서 정확한 공간 참조를 수행한다.

핵심 기여도

RoboRefer는 SFT와 RFT를 결합한 3D 인식 VLM으로, 89.6%의 평균 성공률을 달성.
RefSpatial 데이터셋(20M QA, 31개 공간 관계)과 RefSpatial-Bench(200개 실제 이미지)를 제안.
RFT 단계에서 metric-sensitive process reward 함수를 도입해 다단계 추론 성능을 17.4% 개선.
UR5, G1 인간형 로봇 등 다양한 제어 정책과 호환 가능.

핵심 아이디어

기존 VLM은 3D 공간 인식과 다단계 추론을 결합하지 못해 실제 환경에서 한계가 있었다. RoboRefer는 이 문제를 해결하기 위해 두 단계의 학습 전략을 도입했다. 첫째, SFT 단계에서 RGB와 깊이 정보를 별도 인코더로 처리하여 3D 인식 능력을 향상시켰다. 둘째, RFT 단계에서는 공간 참조 과정을 단계별로 분해하고, metric-sensitive process reward 함수를 사용해 추론 정확도를 높였다. 특히, RFT는 기존의 암묵적 추론에 의존하는 SFT와 달리 명시적 단계별 학습을 통해 일반화 능력을 강화한다.

기술적 접근법

**모델 아키텍처**: RoboRefer는 RGB와 깊이 정보를 별도 인코더로 처리하는 disentangled depth encoder를 사용.
**학습 전략**: SFT(감독 미세조정) → RFT(강화 학습 기반 미세조정)의 2단계 학습.
**데이터셋**: RefSpatial(20M QA, 31개 공간 관계, 최대 5단계 추론)을 사용.
**보상 함수**: RFT 단계에서 metric-sensitive process reward를 도입해 단계별 추론 정확도를 개선.
**하이퍼파라미터**: 2D, 3D, 시뮬레이션 데이터를 결합한 데이터 레시피가 성능에 가장 효과적.

주요 결과

SFT 학습 모델은 CV-Bench, BLINK 등 단계별 공간 추론 벤치마크에서 평균 89.6% 성공률 달성.
RFT 학습 모델은 RefSpatial-Bench에서 Gemini-2.5-Pro 대비 17.4% 높은 정확도 기록.
RefSpatial-Bench의 70% 이상 샘플이 5단계 이하의 복잡한 추론을 요구하며, 정밀 마스크로 평가.
UR5, G1 인간형 로봇 등 다양한 로봇 플랫폼에서 장기적 동적 작업 수행 가능.

의의 및 한계

RoboRefer는 3D 인식과 다단계 추론을 결합한 최초의 VLM으로, 실제 로봇 작업에서 높은 정확도와 일반화 능력을 보여준다. 특히, RefSpatial과 RefSpatial-Bench는 공간 참조 분야의 데이터 및 평가 부족 문제를 해결하는 기초 자료로 기여할 수 있다. 그러나 현재 데이터셋은 실내 중심이며, 외부 환경에서의 성능 검증이 필요하다. 또한, RFT 단계에서의 보상 함수 설계는 복잡한 공간 상황에 따라 조정이 필요할 수 있다.

실용적 활용

RoboRefer는 UR5, G1 인간형 로봇 등 다양한 로봇 플랫폼에서 조작, 탐색, 배치 등 복잡한 작업을 수행할 수 있다. 특히, 실내 환경에서의 장기적 동적 작업 수행에 적합하며, 물류, 서비스 로봇, 자율 주행 등 다양한 산업 분야에 적용 가능하다.