Let the Mind Conceive, Let the Hand Achieve: Following Multimodal Instructions for Long-Horizon Robotic Manipulation

A robot following a multi-step instruction needs to act on the right objects in the right order, even as the scene changes. It must also maintain awareness of task progress and determine when to advance. To address these challenges, we introduce Orchestra, an agent harness that separates task planning and execution management from action generation. Orchestra decomposes a complete multimodal instruction into ordered subtasks, tracks completed steps, and updates the locations of relevant objects and destinations during execution. It maintains a shared context containing the active subtask, spatial grounding, and recent observations. An action policy uses this context to generate actions, while a separately trained progress evaluator estimates when to advance to the next subtask. To evaluate whether robots trained on atomic instructions and short trajectories can execute longer subtask sequences, we introduce a benchmark named RMBench-Compose. Orchestra achieves a mean success rate of 68.22% across nine RMBench tasks, outperforming Mem-0 by 26.22 percentage points. On RMBench-Compose, it achieves an Average Success Length (ASL) of 7.35 subtasks, 2.46 times that of HarnessVLA. Across four real-world multi-step tasks, it improves mean ASL by 25.0% over Orchestra using the base π_{0.5} policy. These results show that Orchestra helps robots carry out longer sequences of subtasks while preserving the requested subtask order and acting on the specified objects. Our code and project page are available at https://youpengwen.github.io/Orchestra.

한 줄 요약

Orchestra는 장기적 로봇 조작을 위한 다중 모달 지시 실행을 지원하는 에이전트 허브로, RMBench-Compose에서 7.35 ASL을 달성한다.

핵심 기여도

Orchestra는 작업 해석, 공간 정착, 작업 기억, 하위 작업 전환을 조율하는 공유 실행 컨텍스트를 유지하는 에이전트 허브를 도입.
RMBench-Compose라는 새로운 벤치마크를 제안, 장기적 작업 실행을 평가.
RMBench에서 68.22%의 평균 성공률을 달성, Mem-0 대비 26.22% 포인트 개선.
RMBench-Compose에서 ASL 7.35를 달성, HarnessVLA 대비 2.46배 향상.

핵심 아이디어

Orchestra는 로봇이 다중 단계 지시를 정확히 수행하기 위해 **공유 실행 컨텍스트**(shared execution context)를 도입한다. 이 컨텍스트는 활성화된 하위 작업(subtask), 공간 정착(spatial grounding), 최근 관측(observation)을 포함하며, 작업 정렬과 공간적 정확도를 유지한다. 이는 단순히 로컬 액션 생성을 넘어, 작업 전체의 일관성을 보장하는 시스템 수준 접근법이다. 특히, **π₀.₅**(pi_0.5) 정책을 사용한 액션 정책과 별도로 학습된 **진행 평가기**(progress evaluator)를 통해 하위 작업 전환 시점을 정확히 판단한다. 이는 기존 메모리 기반 접근법이 작업 기록과 관측을 활성 작업과 정렬하지 못하는 문제를 해결한다.

기술적 접근법

**Orchestra 허브**는 작업 해석, 공간 정착, 작업 기억, 하위 작업 전환을 조율하는 **공유 실행 컨텍스트**를 유지.
**액션 정책**은 π₀.₅ 모델을 사용, 활성 하위 작업, 공간 프롬프트, 최근 RGB 관측, 현재 고유체 정보를 조건으로 액션을 생성.
**진행 평가기**는 별도 학습된 모델로, 하위 작업 진행을 추정하고 전환 시점을 결정.
**RMBench-Compose**는 5개 RMBench 환경을 기반으로, 원자적 기술을 학습한 로봇이 더 긴 작업 시퀀스를 실행할 수 있는지 평가.
**공간 정착**(spatial grounding)은 작업 중 물체 위치가 변경되더라도 정확한 대상 인식을 보장.

주요 결과

**RMBench**에서 Orchestra는 68.22%의 평균 성공률을 달성, Mem-0 대비 26.22% 포인트 개선.
**RMBench-Compose**에서 ASL 7.35를 달성, HarnessVLA 대비 2.46배 향상.
실제 세계 작업에서 Orchestra는 π₀.₅ 정책 대비 평균 ASL을 25.0% 개선.
**Observe and Pick Up** 작업에서 81%, **Press Button**에서 97% 성공률 기록, HarnessVLA 대비 10%~44% 향상.

의의 및 한계

Orchestra는 로봇이 장기적 작업을 수행하면서도 작업 순서와 대상 물체를 정확히 유지할 수 있도록 지원하며, **공유 컨텍스트 기반 조율**(shared-context coordination)의 중요성을 입증한다. 특히, **π₀.₅ 정책**과 **진행 평가기**의 분리 학습은 액션 생성과 작업 완료 판단을 분리함으로써 작업 일관성을 높인다. 그러나 일부 작업(예: Swap T)에서는 성능이 낮아 작업 종류에 따른 성능 차이가 존재하며, 시뮬레이션 환경에서는 **참조 기반 정착**(reference-based grounding)에 의존해 실제 세계 적용 가능성에 한계가 있을 수 있다.

실용적 활용

Orchestra는 로봇이 복잡한 다단계 작업을 수행하는 산업 환경(예: 제조, 물류)에서 유용하게 활용될 수 있다. 특히, **RMBench-Compose**와 같은 벤치마크를 통해 로봇이 학습한 기술을 실제 세계에서 조합적으로 실행하는 능력을 평가할 수 있어, **로봇 학습 및 시스템 설계**에 실용적 기준을 제공한다.