Learning to Move Before Learning to Do: Task-Agnostic pretraining for VLAs

Vision-Language-Action (VLA) models are fundamentally bottlenecked by the scarcity of expert demonstrations -- triplets of observations, instructions, and actions that are costly to collect at scale. We argue that this bottleneck stems from conflating two distinct learning objectives: acquiring physical competence (how to move) and acquiring semantic alignment (what to do). Crucially, only the latter requires language supervision. Building on this Decomposition Hypothesis, we propose Task-Agnostic Pretraining (TAP), a two-stage framework that first learns transferable motor priors from cheap, unlabeled interaction data -- including discarded off-task trajectories and autonomous robot play -- via a self-supervised Inverse Dynamics objective. A lightweight second stage then grounds these priors in language using minimal expert data. On the SIMPLER benchmark, TAP matches models trained on over 1M expert trajectories while using orders of magnitude less labeled data, yielding a 10% absolute gain over standard behavior cloning. On a real-world WidowX platform, TAP retains 25% success under camera perturbations where internet-scale baselines collapse to 0%, demonstrating that task-agnostic pretraining produces robust, transferable physical representations and offers a scalable path forward for Embodied AI.

한 줄 요약

TAP은 언어 없이 자율적으로 생성된 데이터로 물리적 능력을 학습한 후 최소한의 전문가 데이터로 정제하는 두 단계 프레임워크로, VLA 모델의 학습 효율을 대폭 향상시킨다.

핵심 기여도

**Task-Agnostic Pretraining (TAP)**: 물리적 능력(“how to move”)을 언어 없이 자율 데이터로 학습하고, 이후 최소 전문가 데이터로 의미 정렬(“what to do”)을 수행하는 두 단계 프레임워크 제안.
**Inverse Dynamics Objective**: (oₜ, oₜ₊₁) 관측 쌍으로 행동 aₜ을 예측하는 방식으로, 10% 절대 성능 향상과 1M+ 전문가 트래젝토리 대비 수량급 적은 라벨 데이터로 동일 성능 달성.
**Robustness 증명**: WidowX 플랫폼에서 카메라 편차에 25% 성공률 유지 (기존 인터넷 규모 기반 모델은 0% 성공).
**Affordance Map**: Grad-CAM 시각화를 통해 물리적 상호작용에 집중하는 학습된 시각 표현을 확인.

핵심 아이디어

TAP의 핵심 아이디어는 **Decomposition Hypothesis**에 기반한다. 즉, VLA 모델 학습은 “물리적 능력”(how to move)과 “의미적 정렬”(what to do)이라는 두 가지 목표로 분리할 수 있으며, 이 중 “의미적 정렬”만 언어 지도가 필요하다는 가정이다.

**Stage 1**에서는 **Inverse Dynamics Objective**를 통해 언어 없이 자율적으로 생성된 트래젝토리(예: off-task trajectories, autonomous robot play)를 사용하여 물리적 이해(예: end-effector motion, object displacement)를 학습한다. 이 단계는 **self-supervised learning**을 통해 **physical common sense**를 형성하며, **Grad-CAM** 시각화를 통해 모델이 물리적 상호작용에 집중하는 것을 확인할 수 있다.

**Stage 2**에서는 **최소한의 전문가 데이터**로 Stage 1에서 학습된 물리적 능력을 언어 기반 작업에 정렬한다. 이는 **lightweight fine-tuning** 과정을 통해 이루어지며, **Qwen2.5-VL** 모델과 **ViT-based SigLIP** 시각 인코더를 사용한다.

이 접근법은 기존의 전문가 데모에 의존하는 **behavior cloning**과 달리, **task-agnostic data**를 활용하여 학습 효율과 일반화 능력을 동시에 향상시킨다.

기술적 접근법

**모델 아키텍처**: Qwen2.5-VL (3B 파라미터)를 VLM 백본으로 사용.
**시각 인코더**: ViT-based SigLIP (400M 파라미터), 224×224 해상도 입력 처리.
**액션 헤드**: 7차원 액션 공간을 출력하는 2층 MLP.
**Stage 1**: 시각 인코더 고정, VLM 백본과 액션 헤드만 학습.
**Stage 2**: 모든 파라미터를 함께 fine-tuning.
**학습 목표**: Inverse Dynamics Objective — (oₜ, oₜ₊₁) 관측 쌍으로 aₜ 예측.
**데이터**: Bridge 데이터셋의 off-task trajectories, autonomous random play 데이터 활용.

주요 결과

**Simpler 벤치마크**: TAP은 1M+ 전문가 트래젝토리로 학습한 모델과 동일한 성능을 보이며, 라벨 데이터 사용량은 수량급 감소.
**성능 향상**: 표준 Behavior Cloning 대비 10% 절대 성능 향상.
**실제 환경 실험 (WidowX)**: 카메라 편차 조건에서 25% 성공률 유지 (기존 인터넷 규모 기반 모델은 0% 성공).
**Sub-goal 성공률**: 31.8% → 45.8% 향상, task-agnostic pretraining이 일반화된 물리적 능력을 형성함을 입증.

의의 및 한계

TAP은 전문가 데모에 대한 의존도를 줄이고, **task-agnostic data**를 활용한 **self-supervised learning**을 통해 VLA 모델의 학습 효율을 대폭 향상시킨다. 특히, **Stage 1에서 형성된 physical priors**는 **loss landscape를 재구성**하여, 동일한 전문가 데이터에서도 더 높은 성능을 발휘할 수 있도록 한다. 이는 **Embodied AI의 확장 가능성**을 제시하며, **로봇 학습의 비용과 시간을 절감**할 수 있는 실질적인 해결책이다.

하지만, TAP은 여전히 **Stage 2에서의 전문가 데이터가 필요**하며, **Stage 1의 pretraining 데이터 양**이 성능에 큰 영향을 미친다는 점에서 한계가 있다. 또한, **복잡한 다단계 작업**에 대한 일반화 능력은 추가 실험을 통해 검증이 필요하다.

실용적 활용

TAP은 **로봇 제작 및 서비스 산업**에서 전문가 데모 수집 비용을 줄이고, **자율 학습을 통해 다양한 작업에 빠르게 적응**할 수 있는 로봇 개발에 활용 가능하다. 특히, **자연스러운 물리적 상호작용을 학습**하는 데 적합한 **교육용 로봇, 서비스 로봇, 산업 자동화 분야**에서 실용적 가치가 높다.