Drop-Then-Recovery: How Redundant Are Vision-Language-Action Models?

Vision-Language-Action (VLA) models enable instruction-driven robotic manipulation, but they inherit oversized language backbones from pretrained VLMs whose capacity far exceeds what is needed for short robotic instructions. This raises a basic question: how much of a VLA model is actually necessary for closed-loop control? In this work, we study architectural redundancy in VLA models by using transformer block removal as a controlled intervention. We introduce Drop-Then-Recovery (DTR), an analysis protocol that removes selected blocks from a pretrained VLA model and then fine-tunes the resulting model to measure whether the removed capacity was necessary for downstream control. To make this intervention reliable, we propose GateProbe, a one-shot virtual-gate sensitivity metric that ranks blocks by their contribution to the downstream action loss. Across multiple VLA architectures, manipulation benchmarks and even real-robot industrial scenarios, we find a strong asymmetry in post-removal recoverability: \textit{language backbones are highly redundant for standard robotic manipulation tasks, whereas vision and action pathways are substantially less tolerant to removal}. On LIBERO, removing half of the LLM blocks even improves OpenVLA-OFT from 95.0% to 98.3% under the same downstream fine-tuning budget, and retaining only two language blocks still recovers baseline-level performance. These results suggest that current VLA benchmarks may exert limited pressure on deep language grounding and compositional instruction understanding, and that future VLA architectures should allocate capacity more deliberately across language, vision, and action components. The code is available at https://github.com/s1ghhh/VLADrop.

한 줄 요약

VLA 모델에서 언어 백본이 과도하게 큰 반면, 시각 및 행동 경로는 필수적이라는 사실을 DTR과 GateProbe를 통해 실증적으로 분석했다.

핵심 기여도

**Drop-Then-Recovery (DTR)** 프로토콜을 제안하여 VLA 모델의 아키텍처적 중복성을 분석.
**GateProbe**라는 one-shot 가상 게이트 민감도 지표를 통해 제거할 블록을 선택적으로 정렬.
LIBERO 데이터셋에서 언어 블록의 절반을 제거해도 OpenVLA-OFT 성능이 95.0% → 98.3%로 향상.
현재 VLA 벤치마크가 언어 접지와 구성적 추론을 충분히 평가하지 못함을 지적.

핵심 아이디어

VLA 모델은 시각-언어-행동 통합 학습을 통해 로봇 조작을 수행하지만, 대규모 언어 백본이 과도하게 큰 문제가 있다. 연구팀은 **DTR**이라는 프로토콜을 통해 트랜스포머 블록을 제거한 후 미세조정(fine-tuning)을 통해 제거된 블록이 실제로 필요한지 평가하는 실험적 접근법을 제안했다. 이는 단순히 파라미터 수가 아닌, **실제 닫힌 루프 제어 성능**을 기준으로 중복성을 측정하는 핵심 차이점이다. 또한, **GateProbe** 알고리즘은 블록 제거 후 행동 손실(action loss)에 미치는 영향을 기준으로 블록의 중요도를 정렬하여, 효과적인 제거 집합을 선택한다.

기술적 접근법

**Drop-Then-Recovery (DTR)**: 미리 학습된 VLA 모델에서 선택된 트랜스포머 블록을 제거한 후, 제거된 블록이 제어 성능에 필수적이었는지 확인하기 위해 미세조정을 수행.
**GateProbe**: one-shot 방식의 가상 게이트 민감도 지표로, 블록이 행동 손실(action loss)에 미치는 영향을 기준으로 블록 중요도를 정렬.
**실험 대상**: OpenVLA-OFT, π₀.₅ 등 다양한 VLA 아키텍처.
**데이터셋**: LIBERO, 실제 로봇 산업 시나리오 포함.
**하이퍼파라미터**: 제거된 블록 수, 미세조정 에포크 수, 학습률 등은 실험별로 일관된 조건으로 설정.

주요 결과

**LIBERO 데이터셋**에서 언어 블록의 절반을 제거해도 OpenVLA-OFT 성능은 95.0% → 98.3%로 향상됨.
**두 개의 언어 블록만 남겨도** OpenVLA-OFT는 95.1%, π₀.₅는 91.0% 성능을 회복.
**시각 및 행동 경로**는 블록 제거에 대해 **회복성이 낮음**.
**GateProbe**는 정적 지표보다 블록 제거 후 성능 회복을 더 정확히 예측.

의의 및 한계

**의의**: 현재 VLA 모델은 언어 백본이 과도하게 크고, 실제 제어 성능에는 영향을 미치지 않음. 이는 VLA 설계에서 **자원 할당 전략의 재고**를 요구하며, 더 **언어 중심적이고 구성적 추론이 필요한 벤치마크** 개발을 촉구.
**한계**: 실험은 표준 조작 벤치마크에만 국한되어 있으며, 더 복잡한 언어-행동 상호작용을 요구하는 상황에서는 결과가 달라질 수 있음. 또한, **GateProbe는 one-shot 방식**이므로 다단계 제거 시 정확도가 떨어질 수 있음.

실용적 활용

**로봇 제어 시스템**에서 모델 크기를 줄이면서도 성능을 유지할 수 있어 **엣지 디바이스나 실시간 제어**에 유리.
**VLA 모델 설계** 시 언어, 시각, 행동 성분 간 자원을 **더 정교하게 배분**할 수 있는 근거 제공.
**로봇 산업 현장**에서 모델 최적화와 에너지 효율 향상에 활용 가능.