DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution

MLLMs have demonstrated remarkable comprehension and reasoning capabilities with complex language and visual data. These advances have spurred the vision of establishing a generalist robotic MLLM proficient in understanding complex human instructions and accomplishing various embodied tasks. However, developing MLLMs for real-world robots is challenging due to the typically limited computation and memory capacities available on robotic platforms. In contrast, the inference of MLLMs involves storing billions of parameters and performing tremendous computation, imposing significant hardware demands. In our paper, we propose a Dynamic Early-Exit Framework for Robotic Vision-Language-Action Model (DeeR-VLA, or simply DeeR) that automatically adjusts the size of the activated MLLM based on each situation at hand. The approach leverages a multi-exit architecture in MLLMs, which allows the model to terminate processing once a proper size of the model has been activated for a specific situation, thus avoiding further redundant computation. Additionally, we develop novel algorithms that establish early-termination criteria for DeeR, conditioned on predefined demands such as average computational cost (i.e., power consumption), as well as peak computational consumption (i.e., latency) and GPU memory usage. These enhancements ensure that DeeR operates efficiently under varying resource constraints while maintaining competitive performance. On the CALVIN robot manipulation benchmark, DeeR demonstrates significant reductions in computational costs of LLM by 5.2-6.5x and GPU memory of LLM by 2-6x without compromising performance. Code and checkpoints are available at https://github.com/yueyang130/DeeR-VLA.

한 줄 요약

DeeR-VLA는 상황에 따라 MLLM의 크기를 동적으로 조정하여 로봇 실행 효율을 5.2–6.5배 향상시키는 다중 종료 아키텍처 기반 프레임워크이다.

핵심 기여도

**DeeR-VLA** 프레임워크를 제안하여 MLLM의 크기를 상황에 따라 동적으로 조정함.
**다중 종료(Multi-exit)** 아키텍처를 도입하여 불필요한 계산을 방지함.
**초기 종료 기준** 알고리즘을 개발하여 평균/최대 계산 비용, GPU 메모리 사용량을 기준으로 조절함.
**CALVIN** 벤치마크에서 LLM의 계산 비용을 5.2–6.5배, GPU 메모리 사용량을 2–6배 줄임.

핵심 아이디어

로봇 제어에서 대부분의 상황은 상대적으로 '쉬운' 경우로, 이 경우에 전체 MLLM이 아닌 작은 모델만으로도 정확한 동작을 도출할 수 있다는 관찰에서 출발하였다. DeeR-VLA는 이 관찰을 기반으로, 상황에 따라 MLLM의 활성화 크기를 조정하는 **다중 종료(Multi-exit)** 아키텍처를 도입하였다. 이 아키텍처는 특정 상황에 적절한 모델 크기가 활성화되면 즉시 처리를 종료함으로써 **불필요한 계산을 방지**한다.

또한, DeeR-VLA는 **평균 계산 비용**(전력 소모), **최대 계산 비용**(지연), **GPU 메모리 사용량**을 기준으로 **초기 종료 기준**을 설정하는 알고리즘을 개발하였다. 이는 다양한 자원 제약 환경에서도 효율적인 실행을 보장한다.

기술적 접근법

**DeeR-VLA**는 MLLM 내부에 **다중 종료 포인트**를 설정한 아키텍처를 사용함.
**초기 종료 기준 알고리즘**은 상황에 따라 모델의 활성화 크기를 결정하며, **FLOPs**, **GPU 메모리**, **지연(latency)** 등을 기준으로 설정됨.
**시간 정보 통합**을 위한 **맞춤형 훈련 방법**을 설계하여, 다중 종료 아키텍처 상에서 로봇 동작을 합리적으로 예측하도록 훈련함.
**RoboFlamingo++** 코드베이스를 기반으로 구현하며, **LLM 계층 수**와 **동적 종료 패러다임**을 제외한 하이퍼파라미터는 동일하게 유지함.

주요 결과

**CALVIN LH-MTLC** 벤치마크에서 DeeR-VLA는 LLM의 **계산 비용을 5.2–6.5배**, **GPU 메모리 사용량을 2–6배** 줄임.
**RoboFlamingo++** 대비 **LLM 추론 시간을 68.1%** 감소시키며, 이는 이론상 80.7%의 FLOPs 감소와 일치함.
**2GB GPU 메모리**만으로도 기존 최고 성능 모델과 경쟁 가능한 성능을 보임.

의의 및 한계

DeeR-VLA는 MLLM 기반 로봇 제어의 **자원 효율성**을 극대화하면서도 **성능 저하 없이** 실행 가능함으로써, **제한된 하드웨어 환경**에서도 MLLM을 활용한 로봇 개발을 가능하게 한다. 특히, **동적 종료 기준**을 통해 사용자 정의 자원 제약을 반영할 수 있어 유연성이 높다.

하지만, 본 연구는 **LLM 효율성**에만 집중했으며, **비주얼 인코더의 계산 비용**은 고려하지 않았다. 또한, 실험은 **시뮬레이션 환경**에서만 수행되었으며, 실제 로봇 플랫폼에서의 적용 가능성은 추가 연구가 필요하다.

실용적 활용

DeeR-VLA는 **자원 제약이 있는 로봇 플랫폼**(예: 드론, 서비스 로봇, 산업 자동화 시스템)에서 MLLM 기반 제어를 가능하게 하며, **전력 소모와 지연 최소화**를 요구하는 실시간 로봇 작업에 적합하다. 또한, **모델 압축 기술**(예: 양자화)과 결합하여 **메모리 효율성**을 추가로 향상시킬 수 있다.