한 줄 요약
RoboBrain은 ShareRobot 데이터셋을 기반으로, 로봇 조작의 추상적 지시를 구체적 행동으로 변환하는 통합 MLLM 모델로, 기존 모델 대비 14.6~18.75% 성능 향상.
핵심 기여도
- ShareRobot 데이터셋: 3명의 어노테이터가 정밀하게 라벨링한 태스크 플래닝, 객체 affordance, 엔드이펙터 트레젝토리 정보를 포함.
- RoboBrain 모델: LLaVA 기반으로, 로보틱스 및 일반 멀티모달 데이터를 결합하고, 멀티스테이지 훈련 전략과 고해상도 영상, 장시간 동영상 활용.
- 기존 모델 대비 BLEU-4 18.75% 상승, affordance AP 14.6~17.3% 개선.
- 3개 주요 로봇 능력(플래닝, affordance 인식, 트레젝토리 예측)을 통합한 첫 MLLM 기반 모델.
핵심 아이디어
기존 MLLM은 로봇 조작에서 필요한 세 가지 핵심 능력—플래닝, affordance 인식, 트레젝토리 예측—을 갖추지 못한다. 예를 들어, 물병을 들어 올리고 물을 따르는 작업은 "접근 및 들어 올리기", "물병 입구를 컵 위로 이동", "기울여 따르기"와 같은 하위 작업으로 분해되어야 하며, 각 작업에 대해 객체의 잡을 수 있는 영역(affordance)을 인식하고, 엔드이펙터의 정확한 이동 경로를 예측해야 성공한다. RoboBrain은 이러한 능력을 강화하기 위해 ShareRobot 데이터셋을 기반으로 설계되었으며, LLaVA 기반의 기초 모델과 A-LoRA, T-LoRA 모듈을 결합하여 각각 affordance 인식과 트레젝토리 예측을 담당한다.
기술적 접근법
- **모델 아키텍처**: RoboBrain은 3개의 모듈로 구성됨.
- **기초 모델 (Planning)**: LLaVA 기반으로, Vision Encoder (ViT), Projector, LLM으로 구성.
- **A-LoRA 모듈 (Affordance Perception)**: 객체의 잡을 수 있는 영역을 bounding box로 표현.
- **T-LoRA 모듈 (Trajectory Prediction)**: 2D 시각적 트레이스를 트레젝토리 웨이포인트로 표현.
- **데이터셋**: ShareRobot은 3명의 어노테이터가 정밀하게 라벨링한, 멀티디멘션 정보를 포함한 데이터셋.
- **훈련 전략**: 로보틱스 데이터와 일반 멀티모달 데이터의 비율을 조정한 멀티스테이지 훈련.
- **입력 데이터**: 장시간 동영상과 고해상도 이미지 사용.
주요 결과
- **플래닝 성능**: RoboVQA에서 BLEU-4 18.75% 상승 (2위 모델 대비).
- **Affordance 예측**: AGD20K 데이터셋에서 Qwen2-VL-7B 대비 14.6 AP, LLaVA-NeXT-7B 대비 17.3 AP 개선.
- **Trajectory 예측**: DFD, HD, RMSE가 각각 42.9%, 94.2%, 31.6% 감소.
- **데이터셋 성능**: ShareRobot 테스트 세트에서 GPT-4o 기반 평가에서 높은 정확도 달성.
의의 및 한계
RoboBrain은 추상적 지시를 구체적 로봇 행동으로 변환하는 데 있어 기존 MLLM의 한계를 극복한 첫 사례로, 로봇 학습 및 자율 조작 분야에 중요한 발전을 의미한다. 특히, ShareRobot 데이터셋은 로봇 학습의 정확성과 다양성을 동시에 확보한 고질량 데이터셋으로, 향후 연구에 기반 자료로 활용될 수 있다. 그러나 현재 모델은 특정 환경에서만 훈련되었으며, 실시간 성능이나 다중 로봇 협업 환경에서의 확장성은 추가 연구가 필요하다.
실용적 활용
RoboBrain은 산업 로봇, 서비스 로봇, 의료 로봇 등에서 복잡한 조작 작업을 자동화하는 데 활용 가능하다. 예를 들어, 물류 시스템에서 상자 정렬, 의료 환경에서 의료 장비 조작, 가정용 로봇에서 물건 이동 등 다양한 분야에서 적용 가능하다.