GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation

World-action models (WAM) predict future states to guide robot actions, enabling learning from both action-free video and action-labeled interaction. Most inherit pretrained video generators, leaving WAM pretraining and scaling underexplored. We introduce Genie Envisioner Act 2.0 (GE-Act 2.0), a world-action model whose trainable generative and action components are all initialized from scratch on manipulation data. It combines a control-oriented autoencoder (CoAE), a single-step visual planner (SVP), and an inverse dynamics model (IDM). CoAE retains action- and instruction-relevant information under aggressive compression, while SVP produces a complete future state in one differentiable pass, so visual planning and inverse dynamics can be pretrained separately on complementary data. The components are then jointly trained with knowledge-aligned selective optimization (KASO), which reduces mismatched supervision by selecting only predicted futures judged behaviorally compatible with the recorded action. We evaluate pretrained checkpoints directly, without per-task fine-tuning, on 100 tasks across 20 manipulation skill groups with held-out scenes, backgrounds, lighting, and object instances. Scaling co-training data from 300 to 30,000 hours raises success from 17.1% to 44.1% on G1-OP and from 13.4% to 31.1% on G2-90D; despite comprising less than 2% of the co-training data, G2-90D improves by 17.7 points, suggesting cross-embodiment transfer. Gains span 19/20 and 18/20 skill groups, and skill-specific coverage strongly correlates with zero-shot out-of-distribution (OOD) success (Pearson r=0.80; Spearman rho=0.85). Under the same protocol, the model grounds object, color, shape, and position references in at least 90% of trials and follows explicit instructions even when they conflict with an already-committed behavior or a conventional scene association.

한 줄 요약

GE-Act 2.0은 조작 데이터에서 처음부터 학습된 월드-액션 모델로, 30,000시간 데이터로 44.1% 성공률을 달성하며 OOD 성능과 행동 다양성 향상에 기여한다.

핵심 기여도

CoAE, SVP, IDM 모듈을 조작 데이터에서 처음부터 학습하여 기존 사전학습 의존도를 줄임.
KASO 알고리즘을 도입하여 생성된 미래 상태와 실제 행동 간 불일치를 감소.
300~30,000시간 데이터 확장으로 G1-OP에서 17.1% → 44.1%, G2-90D에서 13.4% → 31.1% 성공률 향상.
90% 이상의 시도에서 객체, 색상, 모양, 위치 참조를 정확히 해석.

핵심 아이디어

GE-Act 2.0은 기존 월드-액션 모델(WAM)이 사전학습된 비디오 생성기를 기반으로 하며, 사전학습과 확장 방법을 탐구하지 못한 점을 개선한다. 이 모델은 CoAE, SVP, IDM 세 가지 핵심 모듈로 구성되며, CoAE는 압축된 잠재 공간에서 조작 관련 정보를 유지하고, SVP는 단일 단계로 미래 상태를 생성하여 시각적 계획과 역 역학 모델을 별도로 사전학습할 수 있도록 한다. KASO는 생성된 미래 상태와 실제 행동 간 일치도를 평가하여 불일치를 줄이는 선택적 최적화 알고리즘이다. 이는 행동 다양성을 유지하고 후속 강화 학습과 같은 방법에 유리하게 작용한다.

기술적 접근법

**CoAE (Control-Oriented Autoencoder)**: 압축된 잠재 공간을 학습하며, 시각 예측과 행동 복원에 필요한 정보를 유지.
**SVP (Single-Step Visual Planner)**: 단일 미분 가능한 생성 단계로 미래 상태를 생성, 시각 계획과 역 역학 모델을 별도로 사전학습 가능.
**IDM (Inverse Dynamics Model)**: 행동을 예측하는 역 역학 모델.
**KASO (Knowledge-Aligned Selective Optimization)**: 생성된 미래 상태 중 행동과 일치하는 후보만 선택해 최적화.
**데이터**: 조작 데이터 300~30,000시간 사용.
**평가**: G1-OP, G2-90D 데이터셋에서 사전학습 체크포인트를 그대로 평가.

주요 결과

G1-OP 데이터셋에서 성공률 17.1% → 44.1% (27.0% 증가).
G2-90D 데이터셋에서 성공률 13.4% → 31.1% (17.7% 증가).
G2-90D는 전체 데이터의 2% 미만이지만 17.7% 성능 향상, 이는 다른 형태의 로봇으로의 이전 가능성을 시사.
19/20, 18/20 기술 그룹에서 성능 향상.
OOD 성능과 기술별 데이터 커버리지 간 상관계수: Pearson r=0.80, Spearman rho=0.85.
90% 이상의 시도에서 객체, 색상, 모양, 위치 참조 정확.

의의 및 한계

GE-Act 2.0은 월드-액션 모델의 사전학습과 확장을 체계적으로 탐구한 첫 사례로, 조작 데이터에서 처음부터 학습 가능한 구조를 제시한다. KASO는 행동 다양성을 유지하고, OOD 환경에서의 성능을 향상시키는 데 기여한다. 특히, G2-90D 데이터셋에서의 성능 향상은 다른 로봇 형태로의 이전 가능성을 입증한다. 그러나 모델은 여전히 일부 복잡한 행동 패턴을 포착하지 못할 수 있으며, 강화 학습과 같은 후속 학습 방법과의 호환성은 추가 연구가 필요하다.

실용적 활용

GE-Act 2.0은 로봇 조작, 자율 시스템, 멀티모달 인지 연구에 적용 가능하며, 특히 대규모 조작 데이터를 활용한 사전학습과 행동 다양성을 유지하는 로봇 학습 시스템 개발에 유용하다.