Skeleton-Grounded Latent Action Model for Robot World Models

Robot world models simulate how environments evolve in response to robot actions. Latent action models enable learning dynamics from videos by encoding visual transitions as proxy actions. However, reconstruction-driven latent actions mix robot motion with object responses and other scene changes, complicating their correspondence with robot controls. We propose SkeLAM, a skeleton-guided latent action model for controllable robot world modeling. SkeLAM decomposes latent actions into a kinematic component grounded by robot skeleton supervision and a residual component retaining complementary visual dynamics. Cross-modal swap reconstruction encourages RGB-derived and skeleton-derived kinematic representations to be interchangeable during video reconstruction. The world model incorporates both components through separate conditioning pathways, while branch dropout reduces its dependence on future-derived residual information. A lightweight adapter maps robot actions to the kinematic space, and subsequent world-model fine-tuning adapts generation to these predicted conditions. At inference, the model generates future observations from the current observation and robot actions. On DROID, SkeLAM reduces end-effector ADE by 19.5% and LPIPS by 11.1% compared with DreamDojo. Motion probing supports kinematic specialization, while qualitative results demonstrate zero-shot human-to-robot motion transfer in generated rollouts. Policy evaluation shows agreement between predicted success rates and those measured in real robot executions.

한 줄 요약

SkeLAM은 로봇 제어와 일치하는 레이턴트 액션을 학습하기 위해 뼈대 정보를 활용한 구조화된 레이턴트 액션 모델로, DROID 데이터셋에서 ADE 19.5%, LPIPS 11.1% 개선을 달성했다.

핵심 기여도

**SkeLAM** 모델을 제안하여 레이턴트 액션을 **운동학적 요소**와 **잔여 요소**로 분리, 로봇 제어와 일치도 향상.
**Cross-modal swap reconstruction**을 도입, RGB와 뼈대 기반 운동학 표현을 교환 가능하게 학습.
**Branch dropout**을 통해 미래 정보에 대한 의존성을 줄이고, **lightweight adapter**를 통해 로봇 액션을 운동학 공간으로 매핑.
DROID 데이터셋에서 **DreamDojo 대비 ADE 19.5%, LPIPS 11.1% 개선**.

핵심 아이디어

기존 레이턴트 액션 모델은 시각적 변화를 액션으로 인코딩하지만, 로봇 운동과 환경 반응이 혼합되어 제어와의 일치도가 낮아진다. SkeLAM은 **로봇 뼈대 정보**를 기반으로 레이턴트 액션을 **운동학적 요소**와 **잔여 요소**로 분리한다. 운동학적 요소는 뼈대 감독을 통해 로봇 운동에 정착되며, 잔여 요소는 보완적인 시각적 역학을 유지한다. 이는 **Cross-modal swap reconstruction**을 통해 RGB와 뼈대 표현 간 상호 교환성을 유도하고, **branch dropout**을 통해 미래 정보에 대한 의존성을 줄인다. 이 구조는 로봇 액션 조건에 맞춘 생성을 가능하게 하며, **zero-shot human-to-robot motion transfer**도 지원한다.

기술적 접근법

**SkeLAM**은 **Transformer-VAE** 기반으로, RGB와 뼈대 전용 브랜치를 사용.
레이턴트 차원: RGB는 32 운동학 + 32 잔여, 뼈대는 32 운동학.
**Cross-modal swap reconstruction**: RGB 운동학 레이턴트를 뼈대 운동학 레이턴트로 교체해 생성.
**Branch dropout**: 미래 정보에 대한 의존성을 줄이기 위해 잔여 브랜치를 무작위로 제거.
**Lightweight adapter**: 로봇 액션을 운동학 공간으로 매핑, 이후 **world-model fine-tuning** 수행.
**World model**: **Cosmos-Predict2.5 2B** 가중치로 초기화, DreamDojo와 독립적 학습.

주요 결과

**DROID 데이터셋**에서 **SkeLAM**은 DreamDojo 대비 **end-effector ADE 19.5% 감소**, **LPIPS 11.1% 감소**.
**Motion probing** 결과, 운동학 요소는 동일 성능을 유지하면서 레이턴트 차원을 절반으로 줄임.
**Zero-shot human-to-robot motion transfer**를 통해 생성된 rollout에서 인간 운동이 로봇으로 전달됨.
**Policy evaluation**에서 예측 성공률과 실제 로봇 실행 성공률이 일치.

의의 및 한계

SkeLAM은 로봇 운동과 환경 변화를 분리하여 **제어와의 일치도**를 높이고, **시각적 생성의 정확도**도 개선하는 데 기여한다. 특히, **zero-shot transfer**는 인간 운동을 로봇에 적용할 수 있는 가능성을 열었다. 그러나 **현재는 open-loop policy evaluation에만 적용**되어 있으며, **closed-loop 상황에서의 성능**은 아직 평가되지 않았다. 또한, **DROID 데이터셋 외의 일반화 가능성**은 명시되지 않아 추가 연구가 필요하다.

실용적 활용

SkeLAM은 **로봇 제어 시뮬레이션**, **정책 평가**, **시각-운동 학습** 등에서 활용 가능하다. 특히, **로봇 제어 액션과 시각적 변화를 분리하여 정확한 시뮬레이션**이 필요한 산업 현장에서 유용하며, **로봇-인간 협업 시스템** 개발에도 기여할 수 있다.