Knowledge Insulating Vision-Language-Action Models: Train Fast, Run Fast, Generalize Better

Vision-language-action (VLA) models provide a powerful approach to training control policies for physical systems, such as robots, by combining end-to-end learning with transfer of semantic knowledge from web-scale vision-language model (VLM) training. However, the constraints of real-time control are often at odds with the design of VLMs: the most powerful VLMs have tens or hundreds of billions of parameters, presenting an obstacle to real-time inference, and operate on discrete tokens rather than the continuous-valued outputs that are required for controlling robots. To address this challenge, recent VLA models have used specialized modules for efficient continuous control, such as action experts or continuous output heads, which typically require adding new untrained parameters to the pretrained VLM backbone. While these modules improve real-time and control capabilities, it remains an open question whether they preserve or degrade the semantic knowledge contained in the pretrained VLM, and what effect they have on the VLA training dynamics. In this paper, we study this question in the context of VLAs that include a continuous diffusion or flow matching action expert, showing that naively including such experts significantly harms both training speed and knowledge transfer. We provide an extensive analysis of various design choices, their impact on performance and knowledge transfer, and propose a technique for insulating the VLM backbone during VLA training that mitigates this issue. Videos are available at https://pi.website/research/knowledge_insulation.

한 줄 요약

지식 절연 기법을 통해 VLM의 학습 손실을 줄이고, 실시간 제어와 일반화 성능을 동시에 향상시킨 VLA 모델 제안.

핵심 기여도

**지식 절연(Knowledge Insulation)** 기법을 통해 VLM 백본이 액션 전문가의 기울기 영향을 받지 않도록 설계.
**Flow Matching** 기반의 연속 액션 전문가를 사용하면서도, VLM 학습 손실을 최소화.
**π₀, π₀-FAST, HybridVLA, OpenVLA-OFT** 등 기존 VLA 모델 대비 **LIBERO-90에서 0.55 ± 0.09 점수**로 최신 기록 달성.
**20%의 추가 연산 비용**이 발생하지만, **수렴 속도가 2배 빠름**으로써 전체 학습 시간은 단축.

핵심 아이디어

기존 VLA 모델은 VLM에 **액션 전문가**(예: Diffusion Head, Flow Matching)를 추가하여 실시간 제어를 지원하지만, 이 과정에서 VLM의 사전 학습 지식이 손상되는 문제가 발생한다. 이는 **액션 전문가의 기울기**가 VLM 백본으로 전달되면서 발생하는 학습 불안정성 때문이다. 본 연구는 이를 해결하기 위해 **지식 절연(Knowledge Insulation)** 기법을 제안한다. 이는 **VLM 백본은 이산 액션 토큰**(discretized action tokens)을 기반으로 학습되며, **액션 전문가는 Flow Matching을 통해 연속 액션을 생성**하지만, VLM으로의 기울기 전파는 차단하는 방식이다. 이로 인해 VLM은 **이산 액션의 학습 신호**를 통해 로봇 제어에 적합한 표현을 학습하면서도, **전체 학습 과정에서 지식 손실을 최소화**할 수 있다.

기술적 접근법

**VLM 백본**: 사전 학습된 Vision-Language Model (VLM) 사용.
**액션 전문가**: Flow Matching 또는 Diffusion 기반의 **continuous action expert**.
**학습 전략**:
VLM은 **이산 액션 토큰**(discretized actions)을 기반으로 fine-tuning.
액션 전문가는 **Flow Matching**을 사용해 연속 액션을 생성.
**기울기 전파 차단**: 액션 전문가의 기울기는 VLM 백본으로 전달되지 않음.
**데이터**: 로봇 액션 데이터 외에도 VQA, 이미지 캡션, 바운딩 박스 예측 등 다양한 데이터와 함께 학습.
**하이퍼파라미터**: 학습 속도를 빠르게 하기 위해 **next-token prediction** 방식을 사용.

주요 결과

**LIBERO-90**: 0.55 ± 0.09 (기존 π₀: 0.49 ± 0.09, π₀-FAST: 0.45 ± 0.09)
**Table Bussing Task**: 기존 π₀-FAST는 작업 완료 시간이 2배 느림.
**HybridVLA**: 연속 및 이산 액션을 동시에 학습하지만, **기존 VLM 데이터와 함께 학습하지 않으면 성능 저하**.
**DROID 벤치마크**: 0.55 ± 0.09 점수로 기존 모델 대비 10% 이상 상승.
**수렴 속도**: 기존 Diffusion 기반 VLA 대비 **2배 빠른 수렴**.

의의 및 한계

본 연구는 VLA 모델에서 **VLM의 사전 학습 지식 보존**과 **실시간 제어 성능 향상**을 동시에 달성하는 새로운 학습 전략을 제시한다. 특히, **Flow Matching 기반 액션 전문가**를 사용하면서도 VLM의 학습 손실을 최소화한 점이 주목할 만하다. 그러나 이 방법은 **20%의 추가 연산 비용**이 발생하며, **언어 지시사항을 완전히 무시하는 경우도 존재**한다. 이는 학습 데이터 내 언어-액션 상관관계가 충분하지 않기 때문으로, 향후 더 큰 데이터셋과 더 정교한 언어-액션 정렬 기법이 필요할 수 있다.

실용적 활용

본 연구는 **로봇 제어**, 특히 **복잡한 장기적 조작**(long-horizon manipulation)을 요구하는 산업 현장에서 활용 가능하다. 예를 들어, **이중 팔 로봇**(bimanual robot)을 사용한 의류 접기, **주방 로봇**이 서랍을 열고 닫는 작업 등에 적용할 수 있다. 또한, **VQA, 이미지 캡션 등 비제어 데이터**와 함께 학습할 수 있어, **다목적 로봇 정책**(generalist policy) 개발에도 기여할 수 있다.