Learning Transferable Dynamics Priors from Action to World Modeling

We study action-conditioned world modeling as a scalable way to learn transferable dynamics priors for robot learning. By pretraining a model to predict how actions drive visual scene evolution, the resulting world model captures reusable interaction dynamics beyond appearance-level video generation. Concretely, we pretrain a multi-view interactive base diffusion world model, A2World, on large-scale robot manipulation data with real action annotations. We validate the learned dynamics priors from two complementary perspectives. First, we adapt A2World into a task- or scene-specialized real-world simulator, A2World-sim, whose long-horizon rollouts support simulator-based policy evaluation and scalable what-if analysis by replacing real-robot rollouts with world model rollouts. Second, starting from the same pretrained weights, we adapt A2World into a video-action joint prediction model, A2World-policy, that predicts actions under visual and instruction conditioning. Experiments across simulation benchmarks and real-robot settings demonstrate that action-conditioned world model pretraining yields transferable dynamics priors that benefit both simulator-centric and policy-centric robot learning.

한 줄 요약

A2World는 행동 조건을 기반으로 학습된 다중 뷰 확산 월드 모델로, 이는 이전 연구 대비 전이 가능한 역학 사전 정보를 제공한다.

핵심 기여도

A2World는 대규모 로봇 조작 데이터를 기반으로 학습된 다중 뷰 확산 월드 모델로, 실제 행동 라벨을 사용한다.
A2World-sim은 A2World를 기반으로 한 자동 회귀 월드 모델로, 장기적 롤아웃을 지원하며 정책 평가에 활용된다.
A2World-policy는 A2World의 사전 학습 가중치를 기반으로 동영상-행동 결합 예측 모델로, 시각 및 지시 조건 하에 행동을 예측한다.
시뮬레이션 벤치마크와 실제 로봇 실험에서 A2World는 텍스트 조건 또는 작업 특화 사전 학습 기반 모델 대비 더 높은 전이 성능을 보인다.

핵심 아이디어

A2World는 행동 조건을 이용한 월드 모델링을 통해, 시각적 장면의 진화를 예측함으로써 재사용 가능한 역학 사전 정보를 학습한다. 이는 단순한 외관 수준의 영상 생성을 넘어, 실제 조작 행동(접촉, 잡기, 밀기 등)을 통해 유도되는 상태 변화를 인코딩한다.

A2World는 대규모 로봇 조작 데이터에 직접 학습되며, 보조적인 잠재 행동 모델을 사용하지 않아 다양한 로봇 구조, 카메라 설정, 작업, 움직임 패턴에 대한 일반화를 유도한다. 이는 기존 연구에서 보편적으로 사용되는 텍스트 조건 또는 작업 특화 사전 학습 방식과 구별된다.

기술적 접근법

**A2World**: 다중 뷰 확산 월드 모델로, 실제 행동 라벨이 있는 대규모 로봇 조작 데이터에 사전 학습됨.
**A2World-sim**: A2World를 기반으로 한 자동 회귀 월드 모델로, 장기적 롤아웃을 지원하며 실제 로봇 롤아웃 대신 사용됨.
**A2World-policy**: A2World의 사전 학습 가중치를 기반으로 동영상-행동 결합 예측 모델로, 시각 및 지시 조건 하에 행동을 예측함.
**하이퍼파라미터**: 명시되지 않음.
**데이터셋**: 대규모 로봇 조작 데이터로, 다양한 로봇 구조, 작업, 환경, 객체 범주를 포함.

주요 결과

A2World는 텍스트 조건 또는 작업 특화 사전 학습 기반 모델 대비 더 높은 전이 성능을 보인다.
시뮬레이션 벤치마크와 실제 로봇 플랫폼에서 A2World는 일관된 다운스트림 성능 향상과 정책 개선을 보인다.
A2World-sim은 실제 로봇 롤아웃 대신 사용 가능한 장기적 롤아웃을 지원하며, 정책 평가와 사후 훈련에 활용됨.
A2World-policy는 시각 및 지시 조건 하에 강력한 로봇 정책을 생성함.

의의 및 한계

A2World는 로봇 학습에서 전이 가능한 역학 사전 정보를 학습하는 새로운 패러다임을 제시하며, 월드 모델 기반 시뮬레이션과 정책 학습 모두에 이점을 제공한다. 특히, 행동 조건을 이용한 사전 학습은 텍스트 조건 또는 작업 특화 학습 방식보다 더 일반화된 역학 정보를 얻는 데 유리하다.

그러나, A2World는 특정 하이퍼파라미터나 데이터셋의 세부 사항이 명시되지 않았으며, 실제 산업 환경에서의 확장성과 안정성에 대한 평가가 부족하다. 또한, 다양한 로봇 플랫폼 간의 호환성도 추가 연구가 필요하다.

실용적 활용

A2World는 로봇 정책 평가, 시뮬레이션 기반 사후 훈련, 시각 및 지시 조건 하의 행동 생성 등 다양한 로봇 학습 상황에 적용 가능하다. 특히, 대규모 로봇 데이터가 있는 산업 현장에서 전이 학습을 통해 정책 개선과 시뮬레이션 효율성을 높일 수 있다.