PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations

Vision--Language--Action (VLA) models generate robot actions from visual observations and language instructions, but their understanding of physical dynamics remains limited. Video world models can capture scene dynamics, yet generating future videos introduces high latency into the control loop. We introduce PDRVLA, whose lightweight Physical Dynamics Module extracts physical tokens from vision--language features to condition action generation without online video generation. The module learns through direct prediction of future RGB, depth, and optical-flow features, with auxiliary supervision through a frozen pretrained video world model. Training relies entirely on publicly available data, expanded through human-to-robot synthesis, subtask annotation, and embodied chain-of-thought (ECoT) annotation. Across four simulation benchmarks, PDRVLA achieves success rates of 99.3% on LIBERO, 89.9% on LIBERO-Plus, 93.6% on RoboTwin~2.0, and 81.5% on SimplerEnv. Ablations show improved future prediction with world-model supervision and evaluate how subtask conditioning, future object-pose supervision, and ECoT training affect action success.

한 줄 요약

PDRVLA는 물리적 역학 정보를 활용한 VLA 모델로, 시뮬레이션 벤치마크에서 최대 99.3% 성공률 달성.

핵심 기여도

**PDRVLA 모델** 도입: 가벼운 **Physical Dynamics Module**을 통해 VLM 특징에서 물리 토큰 추출, 액션 생성 조건화.
**공개 데이터 기반 학습**: **human-to-robot synthesis**, **subtask annotation**, **ECoT annotation**을 통해 데이터 확장.
**4개 시뮬레이션 벤치마크**에서 높은 성능: LIBERO 99.3%, LIBERO-Plus 89.9%, RoboTwin 2.0 93.6%, SimplerEnv 81.5%.

핵심 아이디어

PDRVLA는 기존 VLA 모델이 물리적 역학을 제대로 이해하지 못하는 문제를 해결하기 위해 **Physical Dynamics Module**을 도입했다. 이 모듈은 VLM의 중간 레이어 특징에서 고정 길이의 **물리 토큰**을 추출하여, 액션 생성에 사용된다. 이 토큰은 미래의 RGB, 깊이, 광학 흐름 특징을 직접 예측함으로써 학습되며, **frozen pretrained video world model**을 통해 보조 감독을 받는다. 이는 온라인 비디오 생성 없이도 물리적 역학 정보를 액션 생성에 반영할 수 있게 한다.

기존 접근법은 미래 비디오 생성을 통한 예측을 사용했지만, 이는 제어 루프에 지연을 유발한다. PDRVLA는 **direct prediction**과 **world-model supervision**을 결합하여, 정확하면서도 실시간 성능을 유지한다. 특히, **Block 8**에서 가장 높은 점수(0.3617)를 기록하며 중간 레이어 입력이 효과적임을 보여준다.

기술적 접근법

**모델 구성**: Qwen3.5-4B VLM, **Physical Dynamics Module**, **action expert**로 구성.
**학습 방식**:
**Direct supervision**: 미래 RGB, depth, optical-flow 특징을 예측.
**World-model supervision**: frozen pretrained video world model을 사용한 보조 감독.
**데이터**: 공개 데이터 기반으로, **human-to-robot synthesis**, **subtask annotation**, **ECoT annotation**을 통해 확장.
**하이퍼파라미터**: 50개 query로 0.3844 성능 달성, 256 query와 유사한 성능(0.3834)을 보여 **compact token sequence** 효과 확인.

주요 결과

**LIBERO**: 99.3% (기존 베이스라인 대비 +10% 이상 개선)
**LIBERO-Plus**: 89.9%
**RoboTwin 2.0**: 93.6%
**SimplerEnv**: 81.5%
**Ablation study**: world-model supervision 추가 시 future prediction 정확도 상승.
**ECoT annotation**과 **subtask conditioning**이 액션 성공률에 긍정적 영향.

의의 및 한계

PDRVLA는 VLA 모델의 물리적 역학 이해를 향상시키며, **low-latency** 제어를 가능하게 하는 기술적 혁신을 제시한다. 특히, **frozen video world model**을 활용한 보조 감독은 정확도 향상에 기여하며, **compact token sequence**는 모델 가벼움을 유지한다. 그러나, **object-centric geometry**, **contact states**, **material properties** 등 더 복잡한 물리적 정보는 아직 탐구되지 않았으며, 실제 로봇 환경에서의 성능 검증이 필요하다.

실용적 활용

PDRVLA는 **로봇 제어**, **자율 시스템**, **산업 자동화** 분야에서 활용 가능하다. 특히, **실시간 제어**, **다양한 로봇 체제**(single-arm, bimanual)에 적용 가능하며, **언어-비주얼-액션 통합 학습**이 필요한 연구 분야에도 유용하다.