TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM

Vision-language-action (VLA) models commonly adopt an LLM-centric V to L to A pathway, where visual observations are projected into the representation space of a large language model before being decoded into robot actions. Although effective, this design incurs substantial computation and memory overhead at every policy invocation. In this work, we introduce TurboVLA, a new VLA paradigm that reformulates the conventional V to L to A pathway as a direct V + L to A mapping. Instead of using a large language model as the central interface between perception and action, TurboVLA independently encodes visual observations and language instructions, directly exchanges information between them through lightweight bidirectional vision-language interaction, and predicts continuous action chunks with a compact decoder. This simple design constructs task-conditioned representations directly from visual and linguistic features, significantly reducing the computational and memory costs of VLA inference. On LIBERO, TurboVLA achieves 97.7% average success with only 0.2B parameters, 31.2 ms inference latency, and 0.9 GB inference VRAM on a consumer-grade RTX 4090, matching or outperforming substantially larger VLA policies. These results establish TurboVLA as a simple and effective alternative to the prevailing LLM-centric VLA paradigm, offering a new perspective on how vision, language, and action can be connected for efficient robotic manipulation. Code is available at https://github.com/H-EmbodVis/TurboVLA.

한 줄 요약

TurboVLA는 RTX 4090에서 32Hz, 0.9GB VRAM으로 97.7% 성공률을 달성한 실시간 VLA 모델이다.

핵심 기여도

기존 V→L→A 구조를 V+L→A로 재구성하여 LLM 의존도를 제거함.
0.2B 파라미터, 31.2ms latency, 0.9GB VRAM로 LIBERO에서 97.7% 성공률 달성.
BERT 기반의 가벼운 텍스트 인코더와 양방향 cross-attention을 사용해 비용 절감.
비자율적(Non-autoregressive) 연속 액션 청크 예측으로 추론 속도 향상.

핵심 아이디어

TurboVLA는 기존 VLA 모델에서 대규모 언어 모델(LLM)을 중심으로 한 V→L→A 구조가 실시간 제어에 부적합하다는 점을 지적한다. LLM은 시맨틱 지식 전달에는 유용하지만, 실행 수준의 제어에는 과도한 계산 및 메모리 오버헤드를 유발한다. 따라서 TurboVLA는 LLM을 제거하고, 시각 정보(V)와 언어 지시(L)를 독립적으로 인코딩한 후, 가벼운 양방향 cross-attention을 통해 직접 정보를 교환하고, 이를 기반으로 연속 액션 청크를 예측하는 V+L→A 구조를 제안한다. 이는 VLA 추론의 계산 및 메모리 비용을 크게 줄이며, 실시간 제어에 적합한 구조를 제공한다.

기술적 접근법

**모델 구조**: V+L→A (Vision + Language → Action)
**인코더**: 시각 인코더와 BERT 기반의 가벼운 텍스트 인코더를 별도로 사용.
**교차 모달 상호작용**: 양방향 cross-attention 모듈을 통해 시각-언어 정보를 통합.
**액션 예측**: 비자율적 연속 액션 청크 예측.
**하드웨어**: RTX 4090, 0.9GB VRAM, 31.2ms latency.
**파라미터 수**: 0.2B (기존 π0.5 대비 약 6%).

주요 결과

**LIBERO 데이터셋**: 97.7% 평균 성공률 (기존 대규모 VLA 모델과 동일 수준).
**추론 속도**: 31.2ms latency, 32Hz 실행 주파수.
**메모리 사용량**: 0.9GB VRAM (소비자 등급 GPU에서 가능).
**비교 대상**: π0.5 대비 6% 수준의 파라미터로 동일 성능 달성.

의의 및 한계

TurboVLA는 대규모 언어 모델 없이도 강력한 언어 조건부 제어가 가능함을 보여주며, 실시간 제어 및 자원 제약 환경에서의 VLA 연구에 새로운 방향을 제시한다. 특히, 양방향 cross-attention과 가벼운 인코더를 활용한 설계는 비용 효율성과 성능의 균형을 잘 맞춘 사례이다. 그러나, 이 모델은 개방형 언어 생성이나 고차원 추론이 필요한 작업에는 적용이 어려울 수 있다. 또한, 더 복잡한 다중 작업 환경에서의 확장성 검증이 필요하다.

실용적 활용

TurboVLA는 실시간 반응이 필요한 로봇 조작 시스템, 자원 제약이 있는 산업 현장, 소형 로봇 플랫폼 등에 적용 가능하다. 특히, 저비용 하드웨어에서 높은 성능을 유지하는 점에서 소비자 로봇 및 서비스 로봇 분야에서 활용성이 높다.