DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge

Recent advances in vision-language-action (VLA) models have shown promise in integrating image generation with action prediction to improve generalization and reasoning in robot manipulation. However, existing methods are limited to challenging image-based forecasting, which suffers from redundant information and lacks comprehensive and critical world knowledge, including dynamic, spatial and semantic information. To address these limitations, we propose DreamVLA, a novel VLA framework that integrates comprehensive world knowledge forecasting to enable inverse dynamics modeling, thereby establishing a perception-prediction-action loop for manipulation tasks. Specifically, DreamVLA introduces a dynamic-region-guided world knowledge prediction, integrated with the spatial and semantic cues, which provide compact yet comprehensive representations for action planning. This design aligns with how humans interact with the world by first forming abstract multimodal reasoning chains before acting. To mitigate interference among the dynamic, spatial and semantic information during training, we adopt a block-wise structured attention mechanism that masks their mutual attention, preventing information leakage and keeping each representation clean and disentangled. Moreover, to model the conditional distribution over future actions, we employ a diffusion-based transformer that disentangles action representations from shared latent features. Extensive experiments on both real-world and simulation environments demonstrate that DreamVLA achieves 76.7% success rate on real robot tasks and 4.44 average length on the CALVIN ABC-D benchmarks.

한 줄 요약

DreamVLA는 역동적 영역, 깊이, 의미적 정보를 예측하여 로봇 조작 성능을 향상시키는 새로운 VLA 프레임워크이다.

핵심 기여도

역동적 영역, 깊이, 의미 정보를 포함한 종합적 세계 지식 예측을 도입하여 76.7%의 실제 로봇 작업 성공률 달성.
블록 구조화된 어텐션 메커니즘을 통해 정보 누수를 방지하고, 디퓨전 기반 트랜스포머를 사용해 행동 표현을 분리.
CALVIN ABC-D 벤치마크에서 4.44 평균 작업 길이로 기존 방법 대비 최대 3.5% 개선.
다양한 예측 요소의 기여도를 분석한 아블레이션 연구를 통해 역동적 영역 예측이 가장 큰 성능 향상 요인임을 밝힘.

핵심 아이디어

DreamVLA는 기존 VLA 모델이 이미지 기반 예측에 의존하여 불필요한 정보를 포함하고 종합적 세계 지식을 결여한다는 문제를 해결하기 위해, 역동적 영역, 깊이, 의미 정보를 포함한 세계 지식을 예측하는 새로운 프레임워크를 제안한다. 이는 인간이 행동 전에 추상적 다중 모달 추론을 형성하는 방식과 유사하다. 특히, 역동적 영역 예측은 로봇의 행동 의미와 정확히 일치하는 픽셀을 강조하여 정확도를 높인다. 또한, 디퓨전 트랜스포머를 통해 공유 잠재 특징에서 행동 표현을 분리함으로써 행동 계획의 일관성을 유지한다.

기술적 접근법

**입력 처리**: 언어, 시각, 프로피오셉티브 신호를 각각 CLIP, 마스킹 오토인코더, 컨볼루션 레이어로 인코딩.
**쿼리 구조**: `<dream>` 및 `<action>` 쿼리를 사용하여 역동적, 깊이, 의미 예측을 수행.
**GPT-2 기반 트랜스포머**: 구조화된 인과 및 비인과 어텐션을 통해 다중 모달 정보를 통합.
**출력 헤드**: 경량 컨볼루션 레이어를 통해 역동적 영역, 단일 카메라 깊이, 의미 특징을 예측.
**디퓨전 트랜스포머**: 잠재 행동 임베딩을 실행 가능한 로봇 행동 시퀀스로 디코딩.
**블록 구조화 어텐션**: 정보 누수를 방지하고 표현의 일관성을 유지.

주요 결과

**CALVIN ABC-D 벤치마크**: 평균 작업 길이 4.44 (기존 방법 대비 최대 3.5% 개선).
**실제 로봇 작업**: 76.7% 성공률 달성.
**아블레이션 연구**: 역동적 영역 예측이 가장 큰 성능 향상 요인, 깊이 및 의미 예측은 보조적 기여.
**디퓨전 트랜스포머**: 행동 표현 분리로 장기 행동 일관성 향상.

의의 및 한계

DreamVLA는 종합적 세계 지식을 예측함으로써 로봇 조작의 계획 및 실행을 향상시키는 새로운 접근법을 제시한다. 특히, 역동적 영역 예측을 통해 불필요한 픽셀 정보를 제거하고, 디퓨전 트랜스포머를 통해 행동 표현을 분리함으로써 정확도와 일관성을 동시에 달성한다. 그러나, 깊이 및 의미 예측은 개별적으로 사용할 경우 성능 저하를 초래할 수 있으며, 이는 예측 정보와 최종 작업 간의 일치도가 낮기 때문이다. 또한, 디퓨전 트랜스포머는 계산 비용이 높아 실시간 적용에는 한계가 있을 수 있다.

실용적 활용

DreamVLA는 로봇이 복잡한 환경에서 자연어 지시에 따라 조작 작업을 수행하는 데 유용하다. 특히, 역동적 영역 예측을 통해 로봇이 중요한 변화를 집중적으로 파악하고, 디퓨전 트랜스포머를 통해 장기 행동 계획을 유지할 수 있어, 산업 자동화, 서비스 로봇, 의료 로봇 분야에서 활용 가능하다.