Joint-Embedding Predictive Architectures (JEPAs), including recent LeWorldModel (LeWM), have become a promising foundation for reconstruction-free visual world models. For visual planning, however, LeWM evaluates candidate action sequences by repeatedly applying a local one-step latent transition model. This autoregressive rollout makes planning computationally expensive and exposes the predicted trajectory to accumulated latent errors as the horizon grows. We propose Fast LeWorldModel (Fast-LeWM), a fast latent world model that replaces repeated local rollout with action-prefix prediction. Given the current latent and a candidate action sequence, Fast-LeWM encodes its prefixes and predicts the future latents reached after executing those prefixes in parallel. By making action prefixes the basic prediction unit, Fast-LeWM directly models action effects accumulated to different extents over multiple horizons. This prefix-level supervision forces the model to learn how states continuously evolve under different action prefixes, rather than only fitting one-step state transitions. During planning, the predictor can use the last prefix token from the encoded action sequence to evaluate the corresponding future latent without explicitly rolling through each intermediate imagined state. Across multiple tasks, Fast-LeWM improves average success over LeWM while substantially reducing planning time, achieving lower open-loop latent loss whose growth becomes significantly slower as the rollout horizon increases.
한 줄 요약
Fast LeWorldModel은 LeWorldModel의 계산 비용과 오류 누적 문제를 해결한 빠른 잠재 세계 모델이다.
핵심 기여도
- Fast-LeWM은 LeWM의 반복적 로울아웃 대신 액션 프리픽스 예측을 도입하여 계산 효율성을 높임.
- 프리픽스 수준의 감독을 통해 다양한 액션 시퀀스에 따른 상태 변화를 직접 모델링함.
- 평균 성공률을 향상시키며, 플래닝 시간을 대폭 줄임.
- 롤아웃 시간이 늘어날수록 오픈루프 잠재 손실의 증가 속도가 현저히 느려짐.
핵심 아이디어
LeWorldModel은 로컬 1단계 잠재 전이 모델을 반복적으로 적용하여 액션 시퀀스를 평가하지만, 이는 계산 비용이 높고 오류가 누적되는 문제를 야기한다. Fast-LeWM은 이 문제를 해결하기 위해 액션 프리픽스를 예측 단위로 사용한다. 주어진 현재 잠재 상태와 후보 액션 시퀀스에 대해, Fast-LeWM은 프리픽스를 인코딩하고, 해당 프리픽스 실행 후 도달할 미래 잠재 상태를 병렬적으로 예측한다. 이는 단계별 상태 전이가 아닌, 다양한 액션 프리픽스에 따른 상태 변화를 직접 학습하게 만든다.
이러한 접근은 모델이 단일 단계 전이에만 의존하지 않고, 여러 단계에 걸친 액션 효과를 학습하도록 유도한다. 따라서 플래닝 시 중간 상태를 반복적으로 생성하지 않고, 마지막 프리픽스 토큰만으로 미래 잠재 상태를 평가할 수 있다.
기술적 접근법
- Fast-LeWM은 액션 프리픽스를 인코딩하여 병렬적으로 미래 잠재 상태를 예측함.
- 액션 시퀀스의 프리픽스를 예측 단위로 사용함으로써, 단계별 로울아웃을 대체함.
- 잠재 상태와 액션 프리픽스를 기반으로 미래 상태를 직접 예측하는 방식을 채택함.
- JEPAs 아키텍처를 기반으로 하며, LeWM과 동일한 잠재 공간을 사용함.
주요 결과
- Fast-LeWM은 LeWM 대비 평균 성공률을 향상시키며, 플래닝 시간을 대폭 줄임.
- 오픈루프 잠재 손실이 LeWM보다 현저히 낮고, 롤아웃 시간이 늘어날수록 손실 증가 속도가 느려짐.
- 여러 태스크에서 성능 개선이 관찰됨.
의의 및 한계
Fast-LeWM은 기존 LeWM의 계산 비용과 오류 누적 문제를 해결하여, 시각적 플래닝 분야에서 실용적 가치가 높다. 특히, 병렬 예측을 통해 대규모 액션 시퀀스를 효율적으로 평가할 수 있어, 실시간 제어나 로봇 탐색과 같은 분야에 유용하다. 그러나, 액션 프리픽스의 길이나 인코딩 방식에 따라 성능이 달라질 수 있으며, 이에 대한 최적화는 추가 연구가 필요하다. 또한, 특정 태스크에서의 성능 향상이 일반화되는지 여부는 명시되지 않음.
실용적 활용
Fast-LeWM은 로봇 제어, 자율 주행, 게임 AI 등 실시간 시각 기반 결정이 필요한 분야에 적용 가능하다. 특히, 빠른 플래닝이 요구되는 환경에서 기존 모델 대비 효율적인 성능을 제공할 수 있다.