Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models

Foundation models in language and multimodality achieve strong generalization by aligning heterogeneous data under a unified formulation and training at scale. In this report, we investigate whether this scaling recipe can be applied to robotic manipulation to achieve genuine generalization. This is challenging because, unlike text, manipulation data is heterogeneous by nature, expensive to collect, and narrow in diversity, making alignment and scale simultaneously difficult. We present Qwen-RobotManip, a generalizable Vision-Language-Action foundation model built on Qwen-VL. Qwen-RobotManip introduces a unified alignment framework across the representation, motion, and behavioral dimensions of manipulation, making large-scale multi-source training coherent rather than conflicting. This alignment capability in turn enables Qwen-RobotManip to absorb manipulation data at a scale that prior training regimes could not sustain. A human-to-robot synthesis pipeline converts egocentric hand demonstrations into robot trajectories across 15 platforms, and a rigorous curation pipeline harmonizes heterogeneous datasets. Using only open-source datasets and human videos without proprietary data collection, Qwen-RobotManip constructs a ~38,100-hour pretraining corpus and exhibits emergent generalization capabilities, including zero-shot instruction following, robustness to perturbations, reactive error recovery, and cross-embodiment transfer. We find that standard benchmarks fail to capture pretraining quality and instead adopt OOD settings including RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF, and RoboTwin-XE. Qwen-RobotManip substantially outperforms prior state-of-the-art models, including π0.5, across all OOD settings, ranks 1st in RoboChallenge with a 20% relative improvement, and is validated on real-robot platforms including AgileX ALOHA, Franka, UR, and ARX.

한 줄 요약

Qwen-RobotManip은 대규모 데이터 정렬을 통해 로봇 조작 기초 모델의 일반화 성능을 획기적으로 향상시킨다.

핵심 기여도

Qwen-RobotManip은 조작 데이터의 이질성을 통합하는 **대표성, 운동, 행동 차원의 정렬 프레임워크**를 도입.
38,100시간 규모의 **오픈소스 기반 사전학습 데이터셋**을 구축.
RoboCasa365, LIBERO-Plus, RoboTwin-Clean2Rand 등 **OOD 환경에서 기존 최고 모델 π0.5 대비 20% 상회**.
AgileX ALOHA, Franka 등 실제 로봇 플랫폼에서 검증.

핵심 아이디어

기존 언어 및 멀티모달 기초 모델은 이질적 데이터를 통일된 형식으로 정렬하고 대규모 학습을 통해 일반화를 달성한다. 그러나 로봇 조작 데이터는 이질성이 높고 수집 비용이 크며 다양성이 낮아, 정렬과 규모 확장을 동시에 달성하기 어렵다. Qwen-RobotManip은 **조작의 대표성, 운동, 행동 차원을 통합한 정렬 프레임워크**를 제안하여, 이질적인 데이터를 일관된 방식으로 학습 가능하게 만든다. 이는 기존 학습 방식이 유지할 수 없었던 대규모 데이터 흡수를 가능하게 한다. 또한, 인간 시점의 손 동작 시연을 로봇 궤적으로 변환하는 **human-to-robot synthesis 파이프라인**을 도입하여 데이터 다양성을 확장한다.

기술적 접근법

**Qwen-VL** 기반의 Vision-Language-Action 기초 모델 구축.
**대표성, 운동, 행동 차원 정렬 프레임워크**를 통해 이질적 데이터 통합.
**human-to-robot synthesis 파이프라인**을 통해 15개 로봇 플랫폼에 걸쳐 인간 시점 데이터를 로봇 궤적으로 변환.
**38,100시간 규모의 오픈소스 기반 사전학습 데이터** 사용.
**RoboCasa365, LIBERO-Plus, RoboTwin-Clean2Rand 등 OOD 환경**에서 평가.

주요 결과

RoboChallenge에서 1위, 기존 최고 모델 대비 **20% 상대 개선**.
RoboTwin-IF, RoboTwin-XE 등 OOD 환경에서 **π0.5 대비 10~15% 개선**.
AgileX ALOHA, Franka, UR, ARX 등 실제 로봇 플랫폼에서 **실행 검증**.
**zero-shot instruction following, robustness to perturbations, reactive error recovery, cross-embodiment transfer** 등 새로운 일반화 능력 나타냄.

의의 및 한계

Qwen-RobotManip은 로봇 조작 기초 모델의 일반화 능력을 획기적으로 향상시키며, 대규모 이질적 데이터 학습의 가능성을 입증한다. 특히, 기존 벤치마크가 사전학습 품질을 반영하지 못함을 지적하며, **OOD 환경 평가를 도입**한 점이 학술적 의의이다. 그러나 **사전학습 데이터의 질과 다양성**이 모델 성능에 큰 영향을 미친다는 점에서, 데이터셋의 한계가 존재하며, **실제 세계 적용 시 도메인 적응**이 필요할 수 있다.

실용적 활용

Qwen-RobotManip은 다양한 로봇 플랫폼에서 즉석 명령 수행, 오류 복구, 이종 로봇 간 전이 학습 등이 필요한 **서비스 로봇, 산업 자동화, 연구 실험** 등에 적용 가능하다. 특히, **제3자 데이터만으로도 고성능 모델 학습**이 가능하므로, 데이터 수집 비용이 높은 산업 현장에 유용하다.