GE-Sim 2.0: A Roadmap Towards Comprehensive Closed-loop Video World Simulators for Robotic Manipulation

We introduce GE-Sim 2.0 (Genie Envisioner World Simulator 2.0), a closed-loop video world simulator for robotic manipulation. Building on the action-conditioned video generation framework of Genie Envisioner, GE-Sim 2.0 is re-trained on thousands of hours of real-world robot data spanning teleoperation, contact-rich interaction, and on-robot policy deployment, substantially improving action-following fidelity and trajectory coverage. On top of this foundation, three new modules close the loop from video simulation to policy learning: a state expert that decodes proprioceptive state from video latents to support next-chunk prediction by downstream VLA policies; a world judge that scores generated rollouts against task instructions, yielding machine-verifiable success signals and rewards in place of manual inspection; and an acceleration framework that delivers a 25-frame rollout in 2.3 seconds on a single H100, with up to 4* frame skipping at inference for long-horizon evaluation. GE-Sim 2.0 tops the public WorldArena leaderboard at only 2B parameters, outperforming both dedicated robotic world models and closed-source general video generators, and policies trained against its rollouts and rewards translate into measurable real-world gains, establishing GE-Sim 2.0 as a practical platform for scalable evaluation and closed-loop learning of manipulation policies.

📋 한 줄 요약

**[Robotic World Simulator / VLA Policy]** GE-Sim 2.0이 robotic manipulation의 closed-loop video world simulator — state expert·world judge·acceleration framework 3 모듈로 video sim→policy learning 폐쇄 — WorldArena 1위, 25-frame rollout 2.3초.

🎯 핵심 기여도

GE-Sim 2.0(Genie Envisioner World Simulator 2.0) 도입 — robotic manipulation의 closed-loop video world simulator.
Genie Envisioner의 action-conditioned video generation 프레임워크 기반, 텔레오퍼레이션·contact-rich interaction·on-robot policy deployment를 포함한 수천 시간 실제 로봇 데이터로 재학습 — action-following fidelity·trajectory coverage substantial 개선.
이 기반 위에 세 가지 새 모듈로 video simulation에서 policy learning까지 loop 폐쇄 — (1) state expert가 video latent에서 proprioceptive state 디코딩, downstream VLA 정책의 next-chunk 예측 지원, (2) world judge가 생성된 rollout을 task 지시 대비 채점·머신 검증 가능 success signal과 reward를 manual inspection 대체로 제공, (3) acceleration framework가 단일 H100에서 25-frame rollout을 2.3초에 제공·long-horizon 평가에 최대 4× frame skipping.
GE-Sim 2.0이 단 2B 파라미터로 공개 WorldArena 리더보드 1위 — 전용 로봇 world model과 closed-source 일반 video generator 모두 outperform; rollout과 reward로 학습한 policy가 측정 가능 실세계 성능 향상으로 translate해 manipulation policy의 scalable 평가·closed-loop 학습을 위한 실용 플랫폼 정립.

💡 핵심 아이디어

Robotic manipulation의 video world simulator는 (1) state 디코딩, (2) 자동 reward 채점, (3) 실시간 가속의 3 모듈로 video simulation→policy learning loop을 폐쇄해야 하며, 실로봇 데이터 기반 재학습은 action fidelity·trajectory coverage를 substantial 개선해 small 모델로도 SOTA·실세계 transfer를 달성한다.

🔬 기술적 접근법

**방법론**: GE-Sim 2.0 — action-conditioned video gen + 3 closed-loop module.
**핵심 기법**: (1) Genie Envisioner 기반 action-conditioned video generation, (2) 수천 시간 실로봇 데이터로 재학습(텔레오퍼·contact-rich·deployed policy), (3) State expert — video latent → proprioceptive state 디코딩, (4) World judge — rollout 채점으로 자동 reward·success signal, (5) Acceleration framework — H100에서 25-frame rollout 2.3초·최대 4× frame skipping.

📊 주요 결과

WorldArena 리더보드 1위(단 2B 파라미터).
전용 로봇 world model·closed-source 일반 video generator outperform.
25-frame rollout 2.3초/H100, long-horizon 평가용 최대 4× frame skipping.
Rollout·reward로 학습한 policy의 실세계 성능 향상.

💭 의의 및 한계

**의의**: Robotic manipulation의 closed-loop 학습을 video world model로 가능하게 함, manual inspection 자동화(world judge)로 scalable 평가, 작은 모델 크기로 SOTA 달성. **한계**: Manipulation 중심으로 다른 로봇 task(locomotion·flight) 일반화 추가 검증, world judge의 task instruction 해석 정확성 의존, long-horizon rollout의 drift는 후속.

🚀 실용적 활용

Robotic manipulation policy의 video sim 기반 학습·평가.
VLA 모델의 next-chunk 예측·deployment 사전 검증.
자동 평가 가능한 robot benchmark 플랫폼.