Agentic World Action Models

Recent world action models provide visual foresight and future prediction for robot manipulation, but lack explicit mechanisms for compositional skill reuse. Agentic robotics combines code-based planning and reasoning with reusable skills, but often lacks predictive grounding in physical dynamics. We introduce AW-0, an agentic world action model framework that integrates code-based planning with joint video and action prediction. We jointly model code, future video, and robot actions as three coupled generative streams within a unified mixture-of-transformers architecture. Within this architecture a code expert generates parameterized skill routines and control logic while video and action experts generate future visual states and low-level motor commands. Code serves two complementary roles: it structures multi-step prediction and control within the world model and represents skills as reusable programs for subsequent agentic execution. We further introduce an automated curation pipeline that labels robot and human video trajectories with aligned programs and consolidates recurring routines into reusable skill libraries. Evaluations on RoboTwin 2.0 and physical bimanual manipulation tasks show improved task performance over VLA and WAM baselines, alongside gains in language following, semantic reasoning and robustness, demonstrating that agentic code enables connection between planning, prediction and execution within WAMs.

한 줄 요약

AW-0는 코드 기반 계획과 예측 동작 모델을 통합한 에이전트 월드 액션 모델로, RoboTwin 2.0에서 71.1%의 평균 성능을 달성했다.

핵심 기여도

**AW-0**라는 새로운 에이전트 월드 액션 모델 프레임워크를 제안.
**코드 전문가**(code expert)를 포함한 **mixture-of-transformers** 아키텍처를 통해 코드, 비디오, 액션을 결합 생성.
**자동화된 어노테이션 파이프라인**을 통해 재사용 가능한 스킬 라이브러리 구축.
**RoboTwin 2.0**에서 VLA 및 WAM 기반 모델 대비 16.6% 평균 성능 향상.

핵심 아이디어

기존 월드 액션 모델(WAM)은 시각 예측을 제공하지만, 재사용 가능한 스킬의 조합적 재사용을 위한 구조가 없었다. 반면, 에이전트 로봇 시스템은 코드 기반 계획과 추론을 활용하지만, 물리적 동역학에 대한 예측 기반 부족이 문제였다. AW-0은 이 두 접근을 결합하여, 코드 전문가가 생성한 **parameterized skill routines**과 **control logic**을 통해 **multi-step prediction and control**을 구조화하고, **reusable programs**로 표현하여 이후 실행에 활용한다. 코드는 비디오와 액션 생성 모듈을 동기화하며, **mixture-of-transformers** 아키텍처 내에서 **simultaneous denoising**을 수행한다. 이는 **semantic task plans**가 미래 예측에 직접적으로 영향을 미치게 하여, 언어 준수와 안정적인 액션 생성을 가능하게 한다.

기술적 접근법

**mixture-of-transformers** 아키텍처: 코드, 비디오, 액션을 결합 생성.
**코드 전문가**(code expert): 파라미터화된 스킬 루틴과 제어 논리를 생성.
**비디오 전문가**(video expert)와 **액션 전문가**(action expert): 미래 시각 상태와 저수준 모터 명령 생성.
**joint denoising**: 코드, 비디오, 액션을 동시에 복원.
**ViT**(Vision Transformer) 조건부 코드 전문가 사용: **Pack Backpack**(64.6% vs. 39.6%)와 **Solve Rubik’s Cube**(72.1% vs. 53.9%)에서 성능 향상.
**자동화된 어노테이션 파이프라인**: 로봇 및 인간 비디오 트레이젝토리에 프로그램 매핑.

주요 결과

**RoboTwin 2.0**에서 AW-0는 평균 71.1% 성능 달성 (AR 대비 +16.6%).
**Pack Backpack**: 64.6% (AR: 62.5%)
**Solve Rubik’s Cube**: 72.1% (AR: 53.9%)
**Fold Towels**: 84.4% (AR: 53.2%)
**Joint denoising**은 AR 대비 **2.39× 가속** (0.23s vs. 0.55s).

의의 및 한계

AW-0는 코드 기반 계획과 예측 동작 모델을 통합함으로써, **계획**(planning), **예측**(prediction), **실행**(execution) 간의 연결성을 강화하는 새로운 기반을 제시한다. 특히, **재사용 가능한 스킬**(reusable skills)과 **구조화된 프로그램**(structured programs)을 통해 복잡한 로봇 작업에서 **언어 준수**(language following)와 **의미적 추론**(semantic reasoning)을 향상시킨다. 그러나, 코드 전문가가 생성한 프로그램의 **실제 실행 시 안정성**(execution robustness)이나 **실시간 성능**(real-time performance)에 대한 평가가 부족하며, **물리적 환경 변화**(dynamic environment)에 대한 적응력도 추가 연구가 필요하다.

실용적 활용

AW-0는 복잡한 로봇 조작 작업(예: 물건 정리, 큐브 풀기)에서 **구조화된 스킬 재사용**과 **예측 기반 제어**를 요구하는 산업 현장에 적용 가능하다. 또한, **로봇 학습**(robot learning)과 **자율 시스템**(autonomous systems) 분야에서 **계획-실행-학습**(plan-execute-learn) 사이클을 반복하는 에이전트 시스템 개발에 기초가 될 수 있다.