When to Trust Imagination: Adaptive Action Execution for World Action Models

World Action Models (WAMs) have recently emerged as a promising paradigm for robotic manipulation by jointly predicting future visual observations and future actions. However, current WAMs typically execute a fixed number of predicted actions after each model inference, leaving the robot blind to whether the imagined future remains consistent with the actual physical rollout. In this work, we formulate adaptive WAM execution as a future-reality verification problem: the robot should execute longer when the WAM-predicted future remains reliable, and replan earlier when reality deviates from imagination. To this end, we propose Future Forward Dynamics Causal Attention (FFDC), a lightweight verifier that jointly reasons over predicted future actions, predicted visual dynamics, real observations, and language instructions to estimate whether the remaining action rollout can still be trusted. FFDC enables adaptive action chunk sizes as an emergent consequence of prediction-observation consistency, preserving the efficiency of long-horizon execution while restoring responsiveness in contact-rich or difficult phases. We further introduce Mixture-of-Horizon Training to improve long-horizon trajectory coverage for adaptive execution. Experiments on the RoboTwin benchmark and in the real world demonstrate that our method achieves a strong robustness-efficiency trade-off: on RoboTwin, it reduces WAM forward passes by 69.10% and execution time by 34.02%, while improving success rate by 2.54% over the short-chunk baseline; in real-world experiments, it improves success rate by 35%.

📋 한 줄 요약

**[로봇 학습 / 월드 모델]** 상상한 미래와 실제 관측의 일관성을 검증해 액션 청크 길이를 적응적으로 조절하는 World Action Model 실행 프레임워크 FFDC를 제안한다.

🎯 핵심 기여도

WAM이 매 추론마다 고정된 길이의 액션을 실행해 상상과 실제의 어긋남을 못 보는 한계를 "future-reality verification" 문제로 명시적 정의
예측 미래 액션, 예측 시각 동역학, 실제 관측, 언어 명령을 함께 추론하는 경량 검증기 Future Forward Dynamics Causal Attention(FFDC) 제안
FFDC를 통해 액션 청크 크기가 예측-관측 일관성에 따라 자동으로 늘어나거나 줄어드는 emergent 적응 실행 동작 구현
적응 실행에 적합한 장기 궤적 커버리지를 확보하기 위한 Mixture-of-Horizon Training 보조 학습 기법 도입

💡 핵심 아이디어

WAM은 미래 관측과 미래 액션을 함께 예측하지만 실행은 그저 정해진 개수의 액션을 그대로 흘려보낸다. 결과적으로 접촉이 풍부하거나 어려운 구간에서 상상과 실제가 어긋날 때도 로봇은 무신경하게 지나간다. 미래 예측이 여전히 신뢰할 만한지 매 단계 검증해 신뢰 가능하면 길게, 어긋나기 시작하면 일찍 재계획하면 효율과 응답성을 동시에 잡을 수 있다.

🔬 기술적 접근법

**모델/방법론**: FFDC(Future Forward Dynamics Causal Attention) — WAM의 적응 실행을 위한 경량 검증기
**핵심 기법**: 예측 미래 액션·예측 시각 동역학·실제 관측·언어 지시를 동시에 attend하는 인과 어텐션 기반 검증기로 남은 액션 롤아웃의 신뢰도를 추정. 검증 결과에 따라 청크 길이가 자동 조절되며, 학습 시에는 다양한 horizon 길이로 혼합 학습(Mixture-of-Horizon Training)을 적용해 적응적 실행에 필요한 장기 일관성을 강화

📊 주요 결과

RoboTwin 벤치마크에서 WAM forward pass 수를 69.10% 감소
동일 벤치마크에서 실행 시간을 34.02% 단축
short-chunk 베이스라인 대비 성공률 2.54% 향상
실세계 실험에서 성공률을 35% 향상시켜 sim-to-real 강건성 입증

💭 의의 및 한계

**의의**: 월드 모델 기반 로봇 제어에서 "얼마나 멀리까지 상상에 의존할지"를 적응적으로 결정하는 일반적 원리를 제시해, 효율과 응답성의 트레이드오프를 한 단계 끌어올린다. **한계**: 검증기 자체의 정확도가 환경 분포에 영향을 받으며, 실세계의 매우 빠른 외란 상황에서 검증 지연이 치명적이지 않은지에 대한 추가 분석이 필요하다.

🚀 실용적 활용

매니퓰레이션 로봇의 실시간 행동 청크 길이 적응 제어
WAM 기반 모방학습 정책의 효율적 배포 모듈
접촉이 많은 산업 자동화 태스크에서 안정성과 속도를 동시에 요구하는 시스템