Hi Robot: Open-Ended Instruction Following with Hierarchical Vision-Language-Action Models

Generalist robots that can perform a range of different tasks in open-world settings must be able to not only reason about the steps needed to accomplish their goals, but also process complex instructions, prompts, and even feedback during task execution. Intricate instructions (e.g.,"Could you make me a vegetarian sandwich?"or"I don't like that one") require not just the ability to physically perform the individual steps, but the ability to situate complex commands and feedback in the physical world. In this work, we describe a system that uses vision-language models in a hierarchical structure, first reasoning over complex prompts and user feedback to deduce the most appropriate next step to fulfill the task, and then performing that step with low-level actions. In contrast to direct instruction following methods that can fulfill simple commands ("pick up the cup"), our system can reason through complex prompts and incorporate situated feedback during task execution ("that's not trash"). We evaluate our system across three robotic platforms, including single-arm, dual-arm, and dual-arm mobile robots, demonstrating its ability to handle tasks such as cleaning messy tables, making sandwiches, and grocery shopping. Videos are available at https://www.pi.website/research/hirobot

한 줄 요약

Hi Robot은 복잡한 언어 지시와 피드백을 처리하는 계층적 시각-언어-액션(VLA) 모델을 사용하여 오픈엔드 작업 수행이 가능한 로봇 시스템이다.

핵심 기여도

계층적 구조를 도입하여 복잡한 언어 지시와 실시간 피드백 처리를 가능하게 함.
PaliGemma-3B 기반 VLM을 사용한 고수준 정책과 π₀ VLA를 사용한 저수준 정책을 결합.
합성 데이터 생성을 통해 고수준 정책 학습을 강화하여 언어 유연성 향상 (Figure 7).
단일 암, 이중 암, 이동 로봇 플랫폼에서 성능 평가를 수행.

핵심 아이디어

Hi Robot은 Kahneman의 "System 1"과 "System 2" 인지 모델을 모방한 구조를 도입한다. System 1은 단순 명령을 처리하는 저수준 정책(π₀ VLA)이며, System 2는 복잡한 언어 입력을 해석하고 작업을 계획하는 고수준 VLM 정책이다. 이는 기존 단일 VLA 정책이 단순 명령("pick up the cup")만 처리하는 데 한계가 있었던 문제를 해결한다. 고수준 정책은 PaliGemma-3B 기반 VLM을 사용하며, 합성 데이터를 통해 다양한 언어 상황을 학습한다. 예를 들어, "I don’t like that one"와 같은 피드백을 처리할 수 있도록 학습된다.

기술적 접근법

**고수준 정책**: PaliGemma-3B 기반 VLM.
**저수준 정책**: π₀ VLA, PaliGemma-3B를 flow-matching 기반 액션 전문가와 함께 fine-tuning하여 연속 액션 생성.
**입력 구성**: 다중 카메라 이미지, 로봇 구성(관절 및 그립퍼 위치), 언어 프롬프트.
**합성 데이터 생성**: 기존 로봇 관측 및 액션 데이터에 가상의 언어 입력을 생성하여 고수준 정책 학습에 활용.
**계층적 구조**: 고수준 정책이 언어 입력을 해석하고, 저수준 정책이 구체적 액션을 실행.

주요 결과

**테이블 정리, 샌드위치 제작, 쇼핑** 등 다양한 작업에서 성공적으로 수행.
**단일 암, 이중 암, 이동 로봇** 플랫폼에서 평가.
합성 데이터를 사용한 모델은 단순 라벨 데이터만 사용한 모델 대비 **언어 유연성 +20% 향상** (Figure 7).
계층적 구조는 단일 정책 대비 **중간 피드백 처리 성공률 +15% 향상** (Figure 8).

의의 및 한계

Hi Robot은 기존 단일 VLA 정책이 단순 명령에만 제한된 문제를 해결하며, 복잡한 언어 입력과 실시간 피드백을 처리할 수 있는 새로운 로봇 제어 프레임워크를 제시한다. 특히, 합성 데이터를 통해 고수준 정책의 언어 이해 능력을 향상시켜, 인간-로봇 상호작용의 유연성을 높인다. 그러나 합성 데이터 생성 과정에서 실제 상황과의 괴리가 발생할 수 있으며, 이는 모델의 일반화 능력에 영향을 줄 수 있다. 또한, 계층적 구조는 계산 비용이 증가할 수 있는 단점이 있다.

실용적 활용

Hi Robot은 가정용 로봇, 서비스 로봇, 제조 환경에서 인간과의 자연스러운 상호작용이 필요한 상황에 적용 가능하다. 예를 들어, 주방에서 사용자 피드백을 반영한 음식 준비, 상점에서 실시간 지시에 따라 물품 쇼핑 등 다양한 인간 중심 작업에 활용할 수 있다.