Enfold: Folding World Model Imagination into Predictive Representations for Ultra-Efficient Embodied Control

World generative models are typically used through what they produce: a rendered future, a video-conditioned action, or latent context computed by a costly generative branch. We argue that their more reusable asset is the computation that constructs a future. As a generator transforms a corrupted future into a coherent trajectory, its intermediate states organize appearance, spatial layout, and interaction across levels of abstraction. Can this future-generative computation be internalized in a representation inferred from the present alone? We present Enfold, which transfers this computation into a representation predicted from the current visual context and language instruction. During training, multi-level states exposed as the generator processes the observed future supervise a current-only encoder. The learned representation is fed back to condition future generation and is read by task heads without allowing task gradients to reshape the encoder. At deployment, action prediction no longer executes the generator. Across LIBERO, RoboTwin2.0, and real-robot tasks, Enfold supports strong control while reducing action latency by 3.7times relative to Fast--WAM, Enfold-Flash reaches 10.1times. Representation analyses show that it suppresses nuisance variation and preferentially captures changes that emerge over longer horizons. When the current scene is altered by human intervention, both the generated continuation and the executed actions adapt, which is inconsistent with fixed trajectory replay. These results recast a world generator as a source of predictive control representations: its future need not be materialized at every step if its internal structure can be enfolded into the present.

한 줄 요약

Enfold는 미래 생성 과정을 현재 관측에서 예측 가능한 표현으로 전이하여, 제어 성능을 유지하면서 3.7~10.1배의 액션 지연 감소를 달성한 시스템이다.

핵심 기여도

**Enfold**는 미래 생성 과정의 중간 상태를 현재 기반 인코더로 전이하여, 생성기 실행 없이 제어를 수행한다.
**G2R (Generation-to-Representation)** 및 **R2G (Representation-to-Generation)** 경로를 통해 생성기의 계층적 상태를 예측 표현으로 전이.
**LIBERO**와 **RoboTwin2.0**에서 각각 97.8%, 91.77% 성공률 달성. 액션 지연은 Fast–WAM 대비 3.7배 감소, Enfold-Flash는 10.1배 감소.
생성기 상태 감독이 미래 픽셀 예측 및 액션 기반 타겟보다 성능 우수함을 입증.

핵심 아이디어

기존 월드 생성 모델은 미래를 렌더링하거나 액션을 생성하는 출력에 집중했으나, Enfold는 생성 과정 자체의 **계층적 중간 상태**를 예측 가능한 표현으로 전이하는 새로운 접근을 제시한다. 생성기 내부에서 미래가 깨끗한 궤적으로 변환되는 과정은, 외관, 공간 구성, 상호작용을 다양한 추상 수준에서 조직한다. 이 상태를 **현재 기반 인코더**가 학습함으로써, 미래 생성 없이도 제어가 가능해진다. 특히, 생성기의 중간 상태는 깊이와 오염 수준에 따라 정보가 달라지므로, ** timestep-conditioned head**를 통해 다중 수준 타겟을 예측하게 된다.

기술적 접근법

**Enfold**는 생성기의 중간 상태를 감독으로 사용하는 **current-only encoder**를 학습.
**G2R**: 생성기의 미래 처리 과정에서 노출된 다중 수준 특징이 현재 인코더를 감독.
**R2G**: 학습된 표현이 미래 생성을 조건으로 활용.
**task heads**는 표현을 읽지만, 인코더에 기울기 전파를 허용하지 않음.
**Enfold-Flash**는 액션 지연을 49ms로 줄여, Fast–WAM 대비 10.1배 빠름.
**LIBERO**와 **RoboTwin2.0** 데이터셋에서 실험.
**134ms** 액션 지연, **97.8%**와 **91.77%** 성공률.

주요 결과

**LIBERO**에서 97.8% 성공률 (Fast–WAM 대비 +1.3%), **RoboTwin2.0**에서 91.77% (Fast–WAM 대비 +0.25%).
**Enfold-Flash**는 LIBERO 97.5% (Fast–WAM 대비 +0.3%), RoboTwin2.0 92.02% (Fast–WAM 대비 +0.25%).
**액션 지연**: Enfold는 Fast–WAM 대비 3.7배 감소 (134ms → 36ms), Enfold-Flash는 10.1배 감소 (134ms → 49ms).
생성기 상태 감독은 미래 픽셀 예측 및 액션 기반 타겟보다 성능 우수.

의의 및 한계

Enfold는 생성기의 내부 계산을 현재 기반 표현으로 전이함으로써, 미래 렌더링 없이도 제어를 가능하게 하며, 이는 기존 월드 모델의 역할을 재정의한다. 학습 시 생성기는 감독 역할을 하며, 실행 시에는 선택적 디코더로만 활용된다. 이는 **predictive control representation**의 새로운 개념을 제시한다. 그러나 생성기는 여전히 학습 단계에서 필요하며, 인간 개입에 대한 적응성은 정량적 평가가 부족하다. 또한, 생성기 상태의 선택은 깊이와 오염 수준에 따라 달라지므로, 최적 레이어는 상황에 따라 변동한다.

실용적 활용

Enfold는 실시간 제어가 필요한 로봇 시스템, 특히 미래 렌더링이 비용이 많이 드는 환경에서 유용하다. 예를 들어, **LIBERO**와 **RoboTwin2.0**과 같은 시뮬레이션 및 실제 로봇 작업에서 빠른 액션 예측과 정확한 제어를 요구하는 상황에 적용 가능하다.