SimForcing: Distilling Simulation Motion Priors into Real-Domain Robot World Models

Action-conditioned robot world models must respond precisely to robot trajectories while preserving realistic visual dynamics, yet learning both from heterogeneous robot videos remains challenging. Simulation offers structured motion supervision, but appearance differences hinder direct transfer, and inaccurate simulation predictions can misguide real-video generation. We present SimForcing, a simulation-guided framework that uses simulation both as a source of transferable motion knowledge and as a controllable reference for prediction. First, we transfer motion knowledge from a simulation teacher through latent-motion distillation, aligning temporal changes in latent space to internalize motion priors while mitigating the influence of appearance differences. Second, we introduce multi-block simulation conditioning with condition dropout to exploit predicted simulation trajectories without relying excessively on their accuracy. Our simulation-conditioning classifier-free guidance scheme unifies these two ideas by balancing predictions based on internalized motion knowledge with those additionally guided by simulation latents. The jointly trained student generates both simulation conditions and real-domain videos, requiring no additional world model at inference. On Bridge, SimForcing achieves the best PSNR, SSIM, LPIPS, and FVD among the compared methods without external embodied pretraining. Evaluation on InternData-A1 further supports its applicability across robot datasets. Moreover, using our trained world model to initialize a vision-language-action model improves LIBERO success, suggesting its utility for downstream policy learning. https://github.com/Wang-Xiaodong1899/SimForcing

한 줄 요약

SimForcing은 시뮬레이션에서 움직임 지식을 전이하고 실제 영상 생성에 활용하는 로봇 월드 모델 학습 프레임워크로, Bridge 데이터셋에서 기존 방법 대비 PSNR, SSIM, LPIPS, FVD에서 우수한 성능을 보인다.

핵심 기여도

**latent-motion distillation**을 통해 시뮬레이션 교사 모델의 움직임 지식을 실제 영상 학습에 전이.
**multi-block simulation conditioning with condition dropout**을 도입하여 시뮬레이션 예측의 정확도에 지나치게 의존하지 않도록 설계.
**simulation-conditioning classifier-free guidance (CFG)**를 통해 내재된 움직임 지식과 시뮬레이션 조건을 균형 있게 결합.
Bridge 데이터셋에서 PSNR, SSIM, LPIPS, FVD에서 기존 방법 대비 최고 성능 달성 (PSNR 0.5 dB↑, FVD 15↑).

핵심 아이디어

SimForcing은 로봇 월드 모델이 시뮬레이션과 실제 영상 모두에서 효과적으로 학습할 수 있도록, 시뮬레이션을 두 가지 관점에서 활용한다. 첫째, **latent-motion distillation**을 통해 시뮬레이션 교사 모델의 움직임 패턴을 실제 영상 학습에 전이한다. 이는 시뮬레이션과 실제 영상 간 외관 차이를 완화하면서 움직임의 일관성을 학습한다. 둘째, **multi-block simulation conditioning**을 통해 시뮬레이션 예측을 여러 트랜스포머 블록에 조건으로 주입하고, **condition dropout**을 통해 예측 오류에 대한 내성을 훈련시킨다. 이 두 가지 아이디어는 **simulation-conditioning CFG**를 통해 결합되어, 시뮬레이션 조건 없이도 움직임을 정확히 예측할 수 있는 모델을 구축한다.

기술적 접근법

**latent-motion distillation**: 시뮬레이션 교사와 실제 학습자의 인접 프레임 간 **latent space의 시간적 변화량**을 일치시키는 방식으로, 외관 차이를 무시하고 움직임 패턴을 전이.
**multi-block simulation conditioning**: 시뮬레이션 레이턴트를 30개의 트랜스포머 블록 중 일부에 주입하며, 조건 입력 확률은 0.7.
**condition dropout**: 조건 입력을 무작위로 제거하여 시뮬레이션 예측에 대한 과도한 의존을 방지.
**classifier-free guidance (CFG)**: 시뮬레이션 레이턴트가 있는/없는 두 가지 분기의 예측을 결합, CFG 가중치 $ w \in \{0, 0.3, 0.6, 1\} $로 조절.
**Wan2.2-TI2V-5B** 기반의 비디오 백본 사용, 3,072 차원의 히든 차원, 24개 어텐션 헤드.

주요 결과

**Bridge 데이터셋**: PSNR, SSIM, LPIPS, FVD에서 기존 방법 대비 최고 성능 달성. 특히, PSNR 0.5 dB↑, FVD 15↑.
**InternData-A1 데이터셋**: PSNR, SSIM, LPIPS, FVD, FID에서 Ctrl-World, GeniWorld, EnerVerse-AC를 모두 상회.
**LIBERO 실험**: SimForcing으로 초기화된 VLA 모델은 액션만으로 훈련 시 성공률 82.6% → 89.2% (6.6%p↑), 비디오+액션 훈련 시 98.4% 달성 (FastWAM 대비 0.8%p↑).

의의 및 한계

SimForcing은 시뮬레이션과 실제 영상 간의 외관 차이를 극복하면서도, 시뮬레이션 예측 오류에 대한 내성을 갖춘 로봇 월드 모델 학습 방법을 제시한다. 특히, **latent-motion distillation**과 **simulation-conditioning CFG**를 결합한 방식은 기존의 외부 사전 학습 없이도 뛰어난 성능을 보인다. 그러나, 시뮬레이션 예측이 완전히 정확하지 않거나, 실제 환경의 복잡성이 높은 경우에도 제한이 있을 수 있다. 또한, **condition dropout**은 모델의 불확실성을 줄이지만, 일부 경우 예측 정확도에 영향을 줄 수 있다.

실용적 활용

SimForcing은 로봇 정책 학습, 시뮬레이션-실제 전이, VLA 모델 초기화 등 다양한 로봇학습 분야에 활용 가능하다. 특히, **LIBERO 실험**에서 보인 정책 초기화 성능 향상은 SimForcing이 실제 로봇 제어에 직접적으로 기여할 수 있음을 시사한다.