MA-VLA: Multi-Arm Vision-Language-Action Model for Collaboration and Compositional Generalization

Multi-arm collaboration is becoming a core capability in embodied manipulation. Recent vision-language-action (VLA) models integrate perception, language, and control, but most represent language as a single global instruction and do not provide an explicit mechanism for assigning and composing arm-specific behaviors. This design limits transfer to collaboration patterns that differ from those observed during training. We present MA-VLA, a unified framework for multi-arm collaboration via atomic action assignment. MA-VLA decomposes cooperative behavior into mid-level atomic prompts and allocates them to individual arms, enabling explicit subgoal specification and compositional reuse across tasks. To reduce reliance on fixed execution roles, we introduce Arm Shuffle, a training-time permutation of the observation, state, and assigned atomic prompts for each arm. This permutation enforces role-agnostic instruction following and supports recomposition into unseen coordination patterns, which we term multi-arm compositional generalization. We also construct a benchmark in which test-time collaboration patterns are absent in training set. Across simulation and real-world evaluations, prior state-of-the-art VLAs largely fail under these unseen collaborations, while MA-VLA consistently succeeds. These results indicate that structured, per-arm atomic action assignment offers a practical route to scalable generalization in multi-arm embodied systems. Code, models, and data are available at https://github.com/zhangzaibin/future-robots

한 줄 요약

MA-VLA는 다팔 협업을 위한 구조화된 원-모델 VLA 프레임워크로, Arm Shuffle를 통해 새로운 협업 패턴으로의 일반화를 달성한다.

핵심 기여도

**MA-VLA**라는 다팔 협업을 위한 통합 VLA 프레임워크 제안.
**Arm Shuffle**이라는 훈련 시 팔의 관측, 상태, 할당된 원자적 프롬프트를 랜덤하게 순열하는 기법 도입.
**Three Robots Stack Cube** 태스크에서 100% 성공률 달성 (기존 모델은 0% 성공).
**RoboFactory**, **RoboTwin 2.0**, **SO101**에서 기존 VLA 기반 모델 대비 20% 이상 성능 향상.

핵심 아이디어

기존 VLA 모델은 언어를 단일 전역 명령으로 처리하고, 팔별 행동 할당 메커니즘을 제공하지 않아 협업 패턴의 일반화가 제한된다. 이에 반해, MA-VLA는 고급 언어 지시를 **중간 수준의 원자적 행동**(atomic actions)으로 분해하고, 이를 각 팔에 할당함으로써 **명시적인 하위 목표**(subgoal) 설정과 **재사용 가능한 협업 구조**를 구축한다.

핵심 통찰은, 인간 협업과 유사하게, **분업**(division of labor)을 명시적으로 표현함으로써 새로운 조합 패턴으로의 일반화가 가능하다는 점이다. 이는 **Arm Shuffle**을 통해 학습 과정에서 팔의 고정된 역할에 의존하지 않도록 유도함으로써 실현된다. Arm Shuffle는 훈련 시 각 팔의 관측, 상태, 할당된 원자적 프롬프트를 랜덤하게 순열하여, **역할 무관한**(role-agnostic) 행동을 강제하고, **미관측 협업 구조**(unseen coordination patterns)로의 재조합을 가능하게 한다.

기술적 접근법

**MA-VLA**는 단일 모델 내에서 고급 언어 지시를 **중간 수준의 원자적 행동**(atomic actions)으로 분해하고, 이를 각 팔에 할당.
**Arm Shuffle**: 훈련 시 각 팔의 관측, 상태, 할당된 원자적 프롬프트를 랜덤하게 순열.
**View Dropout**: 시각적 차이(환경 변화, 대상 외형, 팔 구성)를 감안한 훈련 강화.
**Three Robots Stack Cube** 태스크에서 **blue–green–red** 순서는 훈련 집합에 포함, **green–blue–red**, **red–green–blue**, **blue–red–green** 순서는 테스트 시 미관측.
**Shuffle 확률**(shuffle rate)을 0%에서 100%까지 조절하며, **out-of-domain 성능**이 0%에서 70% 이상 증가함을 확인.

주요 결과

**Three Robots Stack Cube** 태스크에서, 기존 VLA 기반 모델은 **0% 성공률**, MA-VLA는 **100% 성공률** 달성.
**RoboFactory**, **RoboTwin 2.0**, **SO101**에서 기존 모델 대비 **20% 이상 성능 향상**.
**Arm Shuffle**을 도입하면 **out-of-domain 성능**이 0%에서 70% 이상 증가.
**View Dropout**을 추가하면 **out-of-domain 성능**이 추가적으로 향상되며, **in-domain 성능**은 최대 5% 이하 감소.

의의 및 한계

MA-VLA는 다팔 협업 시스템에서 **구조화된 행동 할당**과 **역할 무관한 학습**을 통해 **미관측 협업 구조로의 일반화**(compositional generalization)를 가능하게 한다. 이는 기존 VLA 모델이 고정된 팔 역할에 의존하는 한계를 극복하고, **확장 가능한**(scalable) 협업 시스템 구축에 실질적인 기여를 한다.

하지만, MA-VLA는 **시각적 차이**(예: 환경 변화, 대상 외형)가 큰 경우에도 일반화 성능이 일정 수준까지 제한될 수 있다. 또한, **Arm Shuffle**의 과도한 적용은 **in-domain 성능**에 약간의 영향을 미칠 수 있으므로, **shuffle 확률**(shuffle rate) 조절이 필요하다.

실용적 활용

MA-VLA는 **로봇 공장**, **물류 시스템**, **의료 로봇** 등에서 다팔 협업이 필요한 상황에 적용 가능하다. 특히, **미관측 협업 구조**를 처리하는 능력은 **동적 작업 환경**에서 유용하며, **단일 모델 기반의 통합 제어**는 **배포 및 유지보수 비용**을 절감할 수 있다.