InternVLA-A1.5: Unifying Understanding, Latent Foresight, and Action for Compositional Generalization

Unified models for robot manipulation aim to equip one policy with both the semantic priors of pretrained VLMs and the physical dynamics learned through future prediction. In practice, existing designs tend to erode the semantics of the pretrained backbone, suffer interference among heterogeneous objectives, and learn future prediction from scratch in pixel space, leaving the dynamics priors of pretrained video generators unexploited. We present InternVLA-A1.5, which builds the policy on a native VLM backbone that keeps training on VQA and subtask prediction, and attaches a lightweight unified expert for continuous action generation. Future prediction is recast as a latent-querying problem, where a small set of learnable foresight tokens condenses the task-relevant future into a compact latent code under the supervision of a frozen pretrained video generation model, so the policy inherits world-model dynamics priors without ever learning pixel-level generation. The video branch is discarded at inference, keeping real-time control. Pretrained on 1.2M robot episodes and 3M multimodal samples, InternVLA-A1.5 achieves the best overall results on all six simulation benchmarks. In the real world, the preserved semantics deliver the strongest compositional generalization on held-out instruction bindings, and the two designs together sustain long-horizon execution.

한 줄 요약

InternVLA-A1.5는 시각-언어-액션 통합 모델로, 1.2M 로봇 에피소드와 3M 멀티모달 샘플로 사전 학습하여 6개 시뮬레이션 벤치마크에서 최고 성능을 달성한다.

핵심 기여도

**VQA와 서브태스크 예측을 기반으로 학습하는 네이티브 VLM 백본**을 사용하여 의미 정보를 유지.
**latent foresight 토큰**을 도입하여, 학습된 비디오 생성 모델을 활용해 픽셀 수준 생성 없이 동역학 정보를 전달.
**비디오 생성 분기 제거**로 추론 시 실시간 제어 가능.
**1.2M 로봇 에피소드 + 3M 멀티모달 샘플**로 사전 학습하여 6개 시뮬레이션 벤치마크에서 최고 성능 달성.

핵심 아이디어

기존 통합 모델은 의미 정보를 잃거나, 다양한 목표 간 간섭이 발생하며, 픽셀 수준의 미래 예측을 학습해야 하는 문제가 있었다. InternVLA-A1.5는 이 문제를 해결하기 위해, **네이티브 VLM 백본** 위에 **VQA, 서브태스크 예측, 이산 액션 예측**을 함께 학습하여 의미 정보를 유지하고, **latent foresight 토큰**을 도입해 **학습된 비디오 생성 모델**의 동역학 정보를 활용한다. 이 토큰은 미래 상태를 **컴팩트한 잠재 코드**로 압축하고, 이 코드는 **동역학 모델의 조건 입력**으로 사용된다. 이 방식은 픽셀 수준 생성 없이도 정확한 미래 예측을 가능하게 하며, **통합된 학습 프레임워크**를 구축한다.

기술적 접근법

**네이티브 VLM 백본** 위에 학습하며, VQA, 서브태스크 예측, 이산 액션 예측을 함께 수행.
**latent foresight 토큰**을 사용해 미래 상태를 잠재 코드로 압축.
**학습된 비디오 생성 모델**(frozen)을 사용해 잠재 코드를 조건 입력으로 활용.
**비디오 생성 분기**는 학습 시 사용되나, 추론 시 제거되어 실시간 제어 가능.
**하이퍼파라미터**: 1.2M 로봇 에피소드, 3M 멀티모달 샘플로 사전 학습.
**추론 속도**: 0.1초/스텝 (NVIDIA RTX 5090 GPU).

주요 결과

**6개 시뮬레이션 벤치마크**(LIBERO, RoboTwin 2.0, EBench, SimplerEnv, LIBERO-Plus, DOMINO)에서 최고 성능.
**Insert Tubes**: 94.6% (Motus 대비 +20.8%), **Move Tubes**: 89.0% (Motus 대비 +7.8%), **MOF**: 76.4% (Motus 대비 100% 개선).
**Sort Tubes**: 75.9% (π₀.₅ 대비 -1.9%).
**held-out instruction bindings**에서 가장 높은 성능.
**MOF**(장기 실행)에서 76.4% 성공률 달성.

의의 및 한계

InternVLA-A1.5는 **의미 정보와 동역학 정보를 통합**하면서도, **실시간 제어가 가능한 구조**를 제공하여, 로봇 제어 분야에서 중요한 발전을 보여준다. 특히, **latent foresight 토큰**을 통해 학습된 동역학 모델의 정보를 효과적으로 활용함으로써, **장기 실행 및 제로샷 일반화**에서 우수한 성능을 보인다. 그러나, **모든 상황에서의 일반화 능력**이나 **복잡한 환경 변화에 대한 적응력**은 추가 연구가 필요하다. 또한, **모델의 복잡성**이 증가함에 따라 **에너지 효율성**이나 **하드웨어 요구 사항**도 고려해야 한다.

실용적 활용

InternVLA-A1.5는 **가정용 로봇**, **제조 공장 자동화**, **의료 로봇** 등 다양한 분야에서 활용 가능하다. 특히, **복잡한 언어 지시를 기반으로 한 장기 실행 작업**이나 **새로운 환경에서의 제로샷 일반화**가 필요한 상황에서 유용하다. 예를 들어, **화학 실험 절차 자동화**나 **다양한 물체를 다루는 로봇 조작**에 적용할 수 있다.