GigaWorld-Policy-0.5: A Faster and Stronger WAM Empowered by AutoResearch

World Action Models (WAMs) improve robot policy learning by jointly modeling actions and future visual observations, using future scene evolution as dense supervision for physically grounded action generation. However, a common design in existing WAMs is to explicitly generate future videos at inference time, incurring substantial computational overhead and hindering real-time closed-loop deployment. GigaWorld-Policy addresses this issue with an action-centered formulation, where future visual dynamics are used during training while action-only decoding is used at inference time. Building upon this framework, we present GigaWorld-Policy-0.5, an enhanced action-centered WAM designed for more efficient robot control. During pretraining, GigaWorld-Policy-0.5 adopts a mixed Action-Conditioned World Modeling (AC-WM) and WAM training strategy. This strengthens the coupling between visual dynamics and robot actions and improves the transferability of action representations for downstream policy learning. For efficient inference, GigaWorld-Policy-0.5 introduces a Mixture-of-Transformers architecture that separates visual dynamics modeling and action generation into specialized experts, reducing active computation during action-only inference and achieving 85 ms inference latency on a local RTX 4090 setup. In addition, we employ an agent-based AutoResearch pipeline to systematically search training configurations, enabling more efficient identification of optimal experimental setups while reducing the time and manual intervention required for hyperparameter tuning. Experiments and ablations show that GigaWorld-Policy-0.5 preserves the training benefits of future visual dynamics while improving inference efficiency for robot control.

한 줄 요약

GigaWorld-Policy-0.5는 미래 영상 생성 없이도 빠른 추론을 가능하게 하는 혁신적인 World Action Model(WAM)이다.

핵심 기여도

**Mixture-of-Transformers(MoT) 아키텍처**를 도입하여, RTX 4090 기반 추론 시 **85ms의 저지연**(low latency)을 달성.
**Action-Conditioned World Modeling(AC-WM)**과 WAM 학습 전략을 혼합하여, **액션-비주얼 동역학의 강한 결합**과 **정책 전이성**(transferability) 향상.
**AutoResearch 파이프라인**을 통해 하이퍼파라미터 튜닝 시간과 수작업을 줄이며, **실험 설정 최적화**를 자동화.
미래 영상 생성 없이도 **WAM 학습의 이점**(밀집된 비주얼 감독)을 유지하면서, **실시간 제어**(closed-loop deployment) 가능.

핵심 아이디어

기존 WAM은 학습과 추론 시 모두 미래 영상 생성을 요구하여 계산 비용이 높고 실시간 제어에 어려움이 있었다. GigaWorld-Policy-0.5는 **액션 중심**(action-centered) 접근법을 도입하여, 학습 시에는 미래 비주얼 동역학을 활용하지만, 추론 시에는 **단순 액션 디코딩**만 수행하도록 설계되었다. 이는 **causal token 구조**를 통해 액션 토큰이 미래 비주얼 토큰에 접근하지 못하도록 제한함으로써, 정보 유출을 방지하고 추론 효율성을 높인다. 또한, **MoT 아키텍처**를 통해 시각 동역학 모델링과 액션 생성을 전문적인 'expert'로 분리하여, 추론 시 불필요한 계산을 제거한다.

기술적 접근법

**Mixture-of-Transformers(MoT)**: 시각 전문가(visual expert)와 액션 전문가(action expert)로 구성.
시각 전문가는 현재/미래 비주얼 토큰을 처리하고, 액션 전문가는 액션 토큰을 디노이징 및 예측.
**cross-attention 및 FFN 모듈**을 각 전문가에 별도 배치.
**Multi-modal self-attention**: 시각, 상태, 액션 토큰 간 정보 교환 가능.
**액션 중심 인과 마스크**(action-centered causal mask)를 사용하여, 액션 토큰이 미래 비주얼 토큰에 접근하지 못하도록 제한.
**초기화 전략**:
시각 전문가는 GigaWorld-1의 사전 학습 가중치로 초기화.
액션 전문가는 시각 전문가의 가중치에서 차원을 조정하여 초기화.
**혼합 학습 전략**: AC-WM과 WAM 학습을 결합하여, 액션 유도 시각 변화를 더 잘 학습.

주요 결과

**RTX 4090 기반 추론 시 85ms의 저지연**을 달성.
**Gripper-based manipulation** 실험에서, **text following** 설정에서 4단계 평가(0.25 점당)를 통해 **성공률(SR) 향상**.
**Long-horizon task**에서 **SR = 1**인 경우에만 성공으로 간주하며, **전체 과정 완료율**을 측정.
**GigaWorld-Policy 대비 추론 효율성 향상**을 유지하면서, **WAM 학습의 이점**(밀집된 비주얼 감독)을 보존.

의의 및 한계

GigaWorld-Policy-0.5는 WAM의 핵심 이점인 **밀집된 미래 비주얼 감독**을 유지하면서, **실시간 제어**(closed-loop deployment)를 가능하게 하는 중요한 기술적 진전이다. 특히, **MoT 아키텍처**와 **AutoResearch 파이프라인**을 통해, **모델 효율성**과 **실험 자동화**를 동시에 달성한 점이 학술적 및 실용적 가치를 높인다. 그러나, **모델 파라미터 수 증가**로 인한 메모리 사용량 증가 및 **복잡한 초기화 전략**이 실용적 배포 시 한계가 될 수 있다. 또한, **AutoResearch 파이프라인의 일반화 가능성**은 추가 실험을 통해 검증이 필요하다.

실용적 활용

GigaWorld-Policy-0.5는 **로봇 제어**(robot control) 분야에서 실시간 액션 생성이 필요한 **실내 물체 조작**(object manipulation), **장기 태스크**(long-horizon task) 수행에 적합하다. 또한, **대규모 시각-언어-액션**(VLA) 모델 개발 과정에서, **하이퍼파라미터 최적화** 및 **모델 아키텍처 설계**에 AutoResearch 파이프라인을 활용할 수 있다.