GigaWorld-1: A Roadmap to Build World Models for Robot Policy Evaluation

Evaluating embodied robot foundation models remains a critical bottleneck; unlike large language models efficiently assessed via digital benchmarks, robotic policies require slow, costly real-world rollouts limited by hardware and human supervision, which has driven interest in world models as surrogate policy evaluators, yet the key properties that make a world model reliable for policy assessment remain poorly understood. This work presents a systematic study of world models for robotic policy evaluation and introduces WMBench, a benchmark constructed from real-robot teleoperation data and matched policy rollouts covering diverse manipulation tasks to enable controlled comparisons across model families, action encodings, rollout horizons, and evaluation metrics. Using WMBench, we analyze 7 video world models, 4 action representation schemes, and over 324,000 simulated policy rollouts paired with real robot executions, further enriching our analysis with large-scale community submissions from the CVPR 2026 GigaBrain Challenge, curated synthetic trajectories, and a training videos spanning more than 12,000 hours. Our experiments deliver three core insights: evaluator quality is dominated by long-horizon, action-faithful rollout consistency rather than short-term visual realism; pretraining gains stem not only from data scale but from balancing general world knowledge with robot-specific controllability; and architectural choices including action encoding, memory design, and evaluator-focused post-training strongly determine alignment with real-world robot behavior. Drawing on these results, we derive a practical design roadmap and realize it in GigaWorld-1, a world model specially optimized for policy evaluation, and we fully release our code, models, datasets, and toolkits to advance scalable evaluation research for embodied foundation models.

한 줄 요약

GigaWorld-1은 정책 평가를 위한 설계 지침을 제시하며, 14.9% 개선된 평가 정확도를 달성한 로봇 정책 평가용 월드 모델이다.

핵심 기여도

WMBench라는 새로운 벤치마크를 제시하여 7개의 비디오 월드 모델과 4개의 액션 표현 방식을 비교 평가.
324,000개 이상의 시뮬레이션 정책 롤아웃과 12,000시간 이상의 학습 영상 데이터를 기반으로 평가 지표를 정립.
GigaWorld-1 모델은 기존 최고 성능 대비 14.9% 개선된 평가 정확도를 달성.
코드, 모델, 데이터셋, 툴킷을 완전히 공개하여 연구 재현성과 확장성을 확보.

핵심 아이디어

기존 월드 모델은 단순히 시각적 사실성을 기준으로 평가되었으나, 이 연구는 정책 평가의 신뢰성을 위해 **장기적 액션-신뢰성 있는 롤아웃 일관성**이 핵심임을 밝혔다.
GigaWorld-1은 **사전 학습된 비디오 생성 모델의 구조적 사전 지식**을 유지하면서, **로봇 도메인에 맞춘 컨트롤 인터페이스**를 도입하여 정책 실행 결과를 정확히 반영하도록 설계되었다.
특히, **LoRA 기반 파라미터 효율적 조정**, **시간적 일치 제어 주입**, **계층적 히스토리 가이드** 등의 기술이 합쳐져 장기적 일관성을 보장한다.

기술적 접근법

**WMBench**: 실제 로봇 텔레오퍼레이션 데이터와 정책 롤아웃 데이터를 기반으로 구성된 벤치마크. 8가지 조작 작업, 4개의 액션 표현 방식, 7개의 월드 모델을 비교.
**GigaWorld-1**: 사전 학습된 비디오 디퓨전 백본(VAE, 텍스트 인코더)을 재사용하고, LoRA 어댑터와 경량 컨트롤 경로를 추가한 **자동 회귀 디퓨전 트랜스포머**(AR DiT) 구조.
**평가 프로토콜**: 4단계 평가 절차를 통해 실제 정책 성능과 월드 모델의 일치도를 측정.
**학습 데이터**: 12,000시간 이상의 학습 영상 데이터와 CVPR 2026 GigaBrain 챌린지의 커뮤니티 제출 데이터를 활용.

주요 결과

GigaWorld-1은 기존 최고 성능 대비 **14.9% 개선된 평가 정확도**를 달성.
WMBench에서 7개 월드 모델 중 **장기적 액션-신뢰성 일관성**이 높은 모델이 평가 정확도가 높음.
**사전 학습 데이터의 양**뿐만 아니라 **일반 세계 지식과 로봇 제어 가능성의 균형**이 평가 성능에 영향.
**액션 인코딩 방식**, **메모리 설계**, **후기 훈련**(post-training)이 월드 모델의 실제 로봇 행동과의 일치도에 강하게 영향.

의의 및 한계

이 연구는 로봇 정책 평가를 위한 월드 모델 설계의 **근본적 기준**을 제시하며, 기존 연구에서 간과되었던 **장기적 일관성**과 **정책-중심적 구조 설계**의 중요성을 강조한다.
GigaWorld-1은 실제 정책 평가에 적용 가능한 **가용성과 정확도의 균형**을 달성한 모델로, 연구 재현성과 확장성을 고려한 데이터셋과 코드 공개가 주목할 만하다.
한편, **모든 로봇 도메인에 대한 일반화 가능성**은 아직 검증되지 않았으며, **실제 환경의 복잡한 물리적 상호작용**을 완벽히 재현하는 데 한계가 있을 수 있다.

실용적 활용

GigaWorld-1은 로봇 정책 개발 과정에서 **실제 환경 테스트 대신 사용 가능한 정책 평가 인프라**로 활용 가능하다.
특히, **반복적인 정책 평가가 필요한 연구 및 산업 현장**에서 시간과 비용을 절감할 수 있으며, **로봇 기반 자율 시스템의 신뢰성 향상**에도 기여할 수 있다.
WMBench과 GigaWorld-1은 로봇 기초 모델의 **확장 가능하고 반복 가능한 평가 프레임워크**를 구축하는 데 기반 자료로 활용될 수 있다.