DynaFLIP: Rethinking Robotics Perception via Tri-Modal-Dynamics Guided Representation

Robot manipulation critically depends on perception that preserves the action-relevant aspects of a scene. Yet most robot learning pipelines are built upon visual encoders pre-trained for static recognition or vision-language alignment, leaving motion understanding to downstream policies. We introduce DynaFLIP, a dynamics-aware multimodal pre-training framework that pushes motion understanding upstream into perception. We construct image-language-3D flow triplets from heterogeneous human and robot videos, and use these triplets as training-time supervision to shape an image-only encoder. Our key idea is to encourage the three modalities to span a small simplex volume in the shared hyperspherical space -- a smaller simplex volume indicating stronger alignment. To avoid the geometric ambiguity and trivial collapse of naive volume minimization, we combine simplex-volume minimization with a cosine regularizer and a contrastive objective. Our analyses show that DynaFLIP focuses on control-relevant regions critical for manipulation. The resulting dynamics-aware representations serve as reusable visual backbones and consistently outperform baselines across diverse downstream policies, including VLAs. We validate this across diverse simulation and real-world setups, with gains reaching +22.5% under out-of-distribution scenarios. Our results suggest that robot generalization improves when visual representations are trained to encode not just what is present, but how the world changes under action.

📋 한 줄 요약

**[로봇 perception / Dynamics-Aware Pre-training]** DynaFLIP가 image-language-3D flow triplet을 simplex volume minimization·cosine regularizer·contrastive objective로 정렬, 동작 이해를 perception 단으로 push — 다양 downstream policy(VLA 포함)에서 OOD +22.5% 향상.

🎯 핵심 기여도

로봇 조작이 scene의 action-relevant 측면을 보존하는 perception에 critically 의존하지만, 대부분 로봇 학습 파이프라인이 정적 인식·VL 정렬용 pre-trained 시각 encoder 위에 구축되어 motion 이해를 downstream 정책에 맡기는 한계 진단.
DynaFLIP — dynamics-aware multimodal pre-training 프레임워크로 motion 이해를 perception 단으로 upstream push.
이질적 인간·로봇 비디오에서 image-language-3D flow triplet 구성, 이 triplet을 학습 시 supervision으로 사용해 image-only encoder를 shape.
핵심 아이디어: 3 modality가 공유 hyperspherical space에서 작은 simplex volume을 span하도록 권장 — 작은 simplex volume = 더 강한 정렬. Naive volume minimization의 geometric ambiguity·trivial collapse 회피 위해 simplex-volume minimization을 cosine regularizer·contrastive objective와 결합.

💡 핵심 아이디어

로봇 generalization은 visual 표현이 무엇이 있는지(what)뿐 아니라 행동에 따른 변화(how)도 인코딩하도록 학습될 때 개선된다 — image-language-3D flow를 작은 simplex volume에 span하도록 정렬하면 dynamics를 perception에 upstream으로 통합할 수 있다.

🔬 기술적 접근법

**방법론**: DynaFLIP — image-language-3D flow triplet pre-training.
**핵심 기법**: (1) 인간·로봇 비디오에서 image-language-3D flow triplet 구성, (2) 3 modality를 hyperspherical space에서 작은 simplex volume에 span하도록 정렬, (3) Naive volume minimization의 collapse 회피 위해 cosine regularizer·contrastive objective 결합, (4) Image-only encoder 학습으로 추론 시 단일 modality 사용, (5) 다양 downstream policy(VLA 포함)에서 backbone으로 활용.

📊 주요 결과

다양 simulation·real-world 설정에서 baseline 일관 outperform.
OOD 시나리오에서 +22.5% 성능 향상.
DynaFLIP가 manipulation에 critical한 control-relevant 영역에 집중함을 분석으로 확인.
VLA 포함 다양 downstream policy의 reusable visual backbone로 작동.

💭 의의 및 한계

**의의**: 로봇 perception에 dynamics 이해를 upstream으로 통합하는 새 패러다임, simplex volume 정렬이라는 일반 가능 정렬 원리, OOD 향상으로 generalization 검증. **한계**: 3D flow 데이터 확보 부담(label 비용), simplex volume의 hyperparameter 조정, 매우 dexterous·long-horizon task 일반화는 후속.

🚀 실용적 활용

로봇 조작·VLA의 일반 시각 backbone.
Sim-to-real·OOD 강건 perception.
비디오 기반 self-supervised motion representation.