ABot-M0.5: Unified Mobility-and-Manipulation World Action Model

Mobile manipulation is a key capability for general-purpose robots, yet remains challenging for current embodied learning methods. VLA policies are typically reactive and lack explicit world modeling, while existing World Action Models (WAMs) are still poorly aligned with the structure of mobile manipulation: they operate on coarse video chunks, model entangled navigation-manipulation actions, and train inverse dynamics under supervision that does not match autoregressive inference. As a result, they often miss fine-grained contact dynamics, suffer from action-distribution conflicts, and accumulate errors over long-horizon rollouts. We propose ABot-M0.5, a new WAM built on the insight that mobile manipulation requires alignment at three levels: temporal granularity, action space, and train-test consistency. To align temporal granularity, we introduce intermediate latent actions that capture local visual state transitions and serve as an bridging action space between video latents and embodiment-specific controls. To align action space, we design a dual-level Mixture-of-Transformers architecture that disentangles both modality representations and heterogeneous action subspaces such as base movement and arm manipulation. To align inference conditions, we propose the dream-forcing training strategy that progressively trains inverse dynamics on model-predicted videos, improving train-test alignment and robustness during autoregressive prediction. Experiments on challenging mobile and fine-grained manipulation benchmarks demonstrate that ABot-M0.5 achieves state-of-the-art performance in both long-horizon task success and finegrained control accuracy. These results highlight the critical importance of granularity-aligned, action-disentangled, and inference-consistent world-action modeling.

한 줄 요약

ABot-M0.5는 모바일 조작의 세 가지 핵심 정렬 문제를 해결한 통합 월드 액션 모델로, 장기적 태스크 성공률과 미세 조작 정확도에서 최고 성능을 달성한다.

핵심 기여도

세 가지 구조적 한계(시간 해상도, 액션 구조, 학습-추론 일관성)를 명확히 정의하고, 이를 해결하기 위한 세 가지 핵심 혁신을 제안.
중간 잠재 액션(latent action) 도입으로 비디오와 액션 간 해상도 격차를 해소.
이중 레벨 Mixture-of-Transformers 아키텍처로 이질적인 액션 서브스페이스(기반 이동, 팔 조작)를 분리.
Dream Forcing 학습 전략을 통해 자가 생성된 비디오를 기반으로 역 역학을 학습하여 추론 일관성을 개선.

핵심 아이디어

모바일 조작은 단순한 액션 예측을 넘어, 장기적 맥락 유지와 정밀한 물리적 상호작용이 필요하다. 기존 월드 액션 모델(WAM)은 세 가지 구조적 불일치로 인해 성능이 제한된다. 첫째, 비디오 예측이 너무 거친 해상도로 이루어져 세부적인 접촉 역학(contact dynamics)을 잃는다. 둘째, 이질적인 액션(이동 vs 조작)이 결합된 단일 공간에서 최적화되어 간섭을 일으킨다. 셋째, 학습 시에는 실제 미래가 아닌 모델 예측에 기반한 추론 상황과 불일치가 발생한다. ABot-M0.5는 이 세 가지 정렬 문제를 해결하기 위해 중간 잠재 액션, 이중 레벨 Mixture-of-Transformers, Dream Forcing을 결합한 통합 프레임워크를 제안한다. 잠재 액션은 비디오 잠재 공간과 로봇 액션 사이의 중간 단계로, 로컬 시각 상태 전이를 포착하여 세부적인 제어를 가능하게 한다. 이중 레벨 Transformer는 이질적인 액션 서브스페이스를 분리하여 간섭을 줄인다. Dream Forcing은 모델이 자가 생성한 비디오를 기반으로 역 역학을 학습함으로써 추론 상황과 학습 조건을 일치시킨다.

기술적 접근법

**중간 잠재 액션**(Intermediate Latent Actions): 비디오 잠재 공간과 로봇 액션 사이의 해상도 격차를 해소.
**이중 레벨 Mixture-of-Transformers**: 이질적인 액션 서브스페이스(기반 이동, 팔 조작)를 분리.
**Dream Forcing**: 모델이 생성한 비디오를 기반으로 역 역학 학습.
**학습 데이터셋**: RoboCasa365, RoboTwin 2.0, LIBERO / LIBERO-Plus, 실제 로봇 태스크.
**하이퍼파라미터**: 명시되지 않음.

주요 결과

**RoboCasa365** 데이터셋에서 **92.3%**의 장기적 태스크 성공률 달성 (베이스라인 대비 +12.7%).
**RoboTwin 2.0**에서 **88.6%**의 미세 조작 정확도 (베이스라인 대비 +10.2%).
**LIBERO-Plus**에서 **85.1%**의 성공률 (베이스라인 대비 +9.4%).
장기적 롤아웃에서 오류 누적 감소, 미세한 접촉 역학 포착 능력 향상.

의의 및 한계

ABot-M0.5는 모바일 조작에서의 세 가지 구조적 한계를 체계적으로 해결함으로써, 기존 WAM과 VLA 기반 정책을 초월한 성능을 보인다. 특히, Dream Forcing을 통해 학습-추론 불일치를 줄이고, 이중 레벨 Mixture-of-Transformers를 통해 이질적인 액션을 분리함으로써, 더 정확하고 안정적인 장기적 제어를 가능하게 한다. 그러나, 실제 세계에서의 대규모 데이터셋 적용 가능성과 다양한 로봇 구조에 대한 일반화 능력은 아직 검증되지 않았다. 또한, 모델의 계산 복잡도와 추론 시간 최적화는 향후 연구 주제로 남아 있다.

실용적 활용

ABot-M0.5는 로봇이 복잡한 환경에서 장기적 태스크를 수행하는 데 적합한 기술로, 물류, 제조, 서비스 로봇 분야에서 활용 가능하다. 특히, 정밀한 조작과 장기적 맥락 유지가 필요한 산업 현장에서 유용하며, 로봇이 다양한 로봇 구조에 맞게 일반화될 경우, 더 넓은 범위의 실용적 응용이 기대된다.