Xiaomi-Robotics-U0: Unified Embodied Synthesis with World Foundation Model

Recent foundation image and video generation models offer strong generalization and controllability, but their direct application to embodied scenarios is limited by requirements for multi-view consistency, geometric coherence, and robot embodiment constraints. Existing methods typically adapt foundation models with limited robot data, often sacrificing visual knowledge acquired during large-scale pre-training. We present Xiaomi-Robotics-U0, a 38-billion-parameter multimodal autoregressive model for unified embodied synthesis. It treats embodied generation as an extension of foundation image and video generation and jointly optimizes text-to-image generation, image editing, embodied scene generation, embodied transfer, and embodied video generation. This unified framework preserves the generalization of the pre-trained world foundation model while adapting it to embodied settings. Xiaomi-Robotics-U0 is the first model to support high-quality multi-view scene generation across multiple robot embodiments and to introduce structured, controllable embodied transfer for fine-grained editing while preserving multi-view consistency and interaction dynamics. It achieves state-of-the-art results on single-step and sequential generation tasks, outperforming GPT-Image-2.0 in human evaluations of embodied scene generation and transfer, ranking first on World Arena for embodied video generation, and improving the out-of-distribution success rate of pi_0.5 from 36.9% to 63.2% on challenging real-world manipulation tasks. These results show that foundation world models can serve both as embodied world models and scalable data engines for embodied intelligence. Code and checkpoints are available at https://robotics.xiaomi.com/xiaomi-robotics-u0.html.

한 줄 요약

Xiaomi-Robotics-U0는 380억 파라미터를 가진 통합형 체화 시너지 모델로, 다양한 로봇 체화 시나리오에서 최고 성능을 보인다.

핵심 기여도

Xiaomi-Robotics-U0는 380억 파라미터의 멀티모달 오토레그레시브 모델로, 텍스트-이미지 생성, 이미지 편집, 체화 장면 생성, 체화 전이, 체화 동영상 생성을 통합 학습한다.
체화 장면 생성에서 GPT-Image-2.0보다 인간 평가에서 우수한 성능을 보이며, World Arena 벤치마크에서 1위를 기록한다.
π₀.₅의 out-of-distribution 성공률을 36.9%에서 63.2%로 향상시킨다.
IBQ 토크나이저와 FlashAR 기반의 수직 예측 헤드를 도입하여 82.9×의 생성 가속화를 달성한다.

핵심 아이디어

Xiaomi-Robotics-U0는 기존의 체화 세계 모델이 단일 도메인에 특화된 학습 방식을 따르는 반면, 본 연구는 기초 이미지/동영상 생성 모델과 체화 생성을 **단일 오토레그레시브 프레임워크**로 통합한다. 이는 기초 모델이 학습한 시각적 지식과 생성 능력을 유지하면서도, 로봇의 다각 시점 일관성, 기하학적 일관성, 상호작용 동역학을 동시에 학습할 수 있도록 한다.

이를 위해, **EMU3.5**를 기반으로 하여 IBQ 토크나이저(16×16 압축)를 도입하고, 모든 생성 작업을 **단일 토큰 예측 문제**로 통합한다. 또한, **FlashAR 기반 수직 예측 헤드**를 통해 이미지 토큰을 대각선 방향으로 병렬 생성함으로써, 기존 NTP 패턴 대비 82.9×의 가속화를 달성한다.

이러한 통합 학습 방식은 기존 체화 모델이 로봇 데이터에만 의존하여 일반화 능력을 잃는 문제를 해결하며, **zero-shot 체화 동영상 생성**과 **무한 생성 기반 정책 학습**을 가능하게 한다.

기술적 접근법

**모델 아키텍처**: Qwen-3-32B 기반의 디코더-온리 트랜스포머를 사용하며, IBQ 토크나이저(16×16 압축)로 이미지 토큰화.
**학습 방식**: 텍스트-이미지 생성, 이미지 편집, 체화 장면 생성, 체화 전이, 체화 동영상 생성을 **단일 오토레그레시브 목표**로 통합 학습.
**추론 최적화**: FlashAR 기반의 수직 예측 헤드를 도입하여, 1024×1024 해상도에서 82.9×의 생성 가속화.
**데이터**: 일반 도메인 데이터와 체화 데이터를 함께 사용하여, 기초 모델의 일반화 능력을 유지하면서 체화 생성 능력을 학습.

주요 결과

**Embodied Scene Generation**: GPT-Image-2.0보다 인간 평가에서 우수한 성능.
**Embodied Video Generation**: World Arena 벤치마크에서 1위.
**Out-of-Distribution 성능**: π₀.₅의 성공률 36.9% → 63.2% 향상.
**추론 속도**: 1024×1024 해상도에서 82.9×의 생성 가속화.
**체화 전이**: π₀.₅에서 63.2%의 성공률 달성, 기하학적 일관성 유지.

의의 및 한계

Xiaomi-Robotics-U0는 체화 세계 모델을 **데이터 엔진**으로 확장하는 중요한 단계를 제시한다. 기존 체화 모델이 로봇 데이터에만 의존하여 일반화 능력을 잃는 문제를 해결하며, **무한 생성 기반 정책 학습**을 가능하게 한다. 또한, **다각 시점 일관성**과 **상호작용 동역학**을 동시에 학습하는 첫 번째 통합 체화 생성 모델이다.

그러나, 모델은 여전히 **복잡한 조명 조건**이나 **투영된 빛**에 민감할 수 있으며, **실제 세계 조건에서의 실패 모드**가 존재한다. 예를 들어, 포화 조명 하에서 이어폰을 잡지 못하거나, 이미 접힌 수건을 다시 접는 등의 문제가 발생할 수 있다. 이는 모델이 시각적 불확실성에 대한 내성을 개선해야 한다는 점을 시사한다.

실용적 활용

Xiaomi-Robotics-U0는 **로봇 정책 학습** 및 **시뮬레이션 기반 학습**에 활용 가능하다. 특히, **무한 생성 기반 데이터 엔진**으로서, 실제 세계 조건과 유사한 시뮬레이션 데이터를 생성하여 정책 학습을 가속화할 수 있다. 또한, **체화 전이**와 **체화 동영상 생성** 기능은 **로봇 제어**, **자율 시스템**, **산업 자동화** 분야에서 즉각적인 활용이 가능하다.