LaLa-World: Scaling Latent World Models with Natural Language Actions

This paper shows that JEPA-style latent world models (LWMs) can learn across diverse domains and data sources by adopting the language-conditioned interface of video generation models. We establish this approach as an effective and efficient basis for planning with imagination and downstream policy fine-tuning. To this end, we introduce LaLa-World, a Language-conditioned Latent World model that learns from simulation and robot trajectories together with broader image and video data. Two designs make this work. First, we describe both numerical actions and visual changes in language, enabling joint training of a single future predictor across heterogeneous datasets. Second, we build the predictor on a language model, allowing it to interpret language conditions while predicting future latent states. The resulting predictor achieves higher average MPC planning performance than existing LWMs trained separately for each domain or task. Adding image and video data further improves average planning performance and robustness to action phrasing. In a matched comparison with an RAEv2-based video generation model baseline, LaLa-World reaches comparable planning performance with 6times less training cost and 13.9times faster planning. Beyond planning, the pretrained LaLa-World serves as an initialization for LaLa-Policy, which jointly predicts actions and future visual representations. LaLa-Policy performs competitively with Cosmos Policy on LIBERO and RoboCasa, with up to 5.5times faster inference.

한 줄 요약

LaLa-World는 언어 조건을 기반으로 다양한 도메인과 데이터에서 학습하는 잠재 세계 모델로, 기존 모델 대비 6배 적은 학습 비용과 13.9배 빠른 추론 성능을 보인다.

핵심 기여도

LaLa-World는 단일 미래 예측기로 시뮬레이션, 로봇, 이미지, 영상 데이터를 결합해 학습한다.
언어 조건을 사용해 수치적 행동과 시각적 변화를 통합 표현함으로써 이질적인 데이터셋에서 공동 학습이 가능하다.
기존 LWM 대비 평균 MPC 계획 성능이 우수하며, RAEv2 기반 생성 모델 대비 6배 적은 학습 비용과 13.9배 빠른 추론 속도를 보인다.
미세 조정된 LaLa-Policy는 Cosmos Policy 대비 최대 5.5배 빠른 추론 성능을 보인다.

핵심 아이디어

LaLa-World는 기존 잠재 세계 모델(LWM)이 특정 도메인에 제한된 수치적 행동만 학습하는 문제를 해결하기 위해, 행동과 시각적 변화를 모두 자연어로 표현하는 새로운 인터페이스를 도입했다. 이는 V-JEPA 2-AC, DINO-WM 등 기존 LWM과 달리, 시뮬레이션, 로봇, 이미지, 영상 데이터를 모두 통합 학습할 수 있게 한다. 예를 들어, `[2,4]`와 같은 수치적 행동은 "move 2 left and 4 up"과 같이 자연어로 변환되어, 다양한 도메인에서 동일한 형식으로 표현된다.

또한, 미래 예측기(Predictor)는 언어 모델 기반으로 구축되어, 자연어 조건을 해석하면서 미래 잠재 상태를 예측한다. 이는 단일 예측기가 다양한 행동 공간과 데이터 소스를 학습할 수 있도록 하며, 기존 LWM에서 요구되는 별도 도메인별 예측기 학습을 생략할 수 있다. 이 접근법은 생성 모델과 달리 시각 재구성 없이도 계획 및 정책 학습에 효과적인 잠재 표현을 제공한다.

기술적 접근법

**모델 아키텍처**: LaLa-World는 기존 LWM의 인코더-예측기 구조를 사용하며, 언어 조건을 처리하기 위해 Qwen3-0.6B 언어 모델을 사용한다.
**예측기**: 미래 예측기는 DINOv3-L/16 인코더와 결합된 언어 모델 기반으로, 자연어 조건을 해석하면서 미래 잠재 상태를 예측한다.
**학습 데이터**: Wall, PointMaze, Push-T, MetaWorld, Rope, Granular, DROID 등 7개의 제어 데이터셋과 RoboCasa(테스트 도메인)를 사용.
**하이퍼파라미터**: MPC 계획 시, 최대 16개의 행동 시퀀스를 샘플링하고, CEM 알고리즘을 사용해 최적 경로를 선택한다.
**비교 대상**: DINO-WM, IRIS, DreamerV3, TD-MPC2, RAEv2 기반 생성 모델과 비교하며, 동일한 데이터와 설정에서 평가.

주요 결과

**MPC 계획 성능**: LaLa-World는 기존 LWM 대비 평균 MPC 계획 성능이 우수하며, RAEv2 기반 생성 모델 대비 6배 적은 학습 비용과 13.9배 빠른 추론 속도를 보인다.
**LaLa-Policy 성능**: 미세 조정된 LaLa-Policy는 LIBERO와 RoboCasa에서 Cosmos Policy 대비 최대 5.5배 빠른 추론 성능을 보인다.
**로버스트성**: 이미지와 영상 데이터를 학습에 추가함으로써 행동 표현 방식에 대한 로버스트성이 향상된다.

의의 및 한계

LaLa-World는 생성 모델과 달리 시각 재구성 없이도 계획 및 정책 학습에 효과적인 잠재 표현을 제공하며, 학습 비용과 추론 속도 측면에서 우수한 성능을 보인다. 특히, 단일 예측기로 다양한 도메인과 데이터를 학습할 수 있다는 점에서 기존 LWM의 한계를 극복한 점이 의미 있다. 그러나, 생성 모델이 제공하는 시각적 표현력은 결여되어 있으며, 실제 로봇 환경에서의 평가가 부족한 점은 한계로 지적된다. 또한, 예측 기간(Horizon)이 제한되어 장기 예측에 대한 확장성도 개선이 필요하다.

실용적 활용

LaLa-World는 로봇 제어, 시뮬레이션 기반 자동화, 멀티모달 정책 학습 등 다양한 산업 분야에서 활용 가능하다. 특히, 이미지와 영상 데이터를 활용한 대규모 학습이 필요한 로봇 학습 및 자율 시스템 개발에 유용하며, 빠른 추론 속도로 실시간 제어에도 적용할 수 있다.