MambaAct: Efficient Mamba Action Experts for Flow-Matching Vision-Language-Action Models

Vision-language-action (VLA) models have shown strong promise for generalist robotic manipulation, but their inference cost remains a major bottleneck for real-time control. This limitation is especially pronounced in flow-matching VLAs such as π_{0.5}, where the action expert is evaluated repeatedly during iterative denoising. We introduce MambaAct, an efficient Mamba action expert for flow-matching VLA policies. MambaAct retains the pretrained visual-language prefix encoder of π_{0.5}, while replacing its transformer-based action expert with a compact Mamba-based action expert. Within this expert, Mamba serves as the action mixer that models dependencies across the noisy continuous-action sequence. To preserve visual-language conditioning without repeated token-level cross-attention, MambaAct uses a lightweight Context Compressor to map Vision-language model (VLM) prefix tokens into a compact conditioning signal that gates and modulates each Mamba action block. MambaAct uses a 10times smaller action expert and reduces flow-matching denoising latency by 64.8% on LIBERO and 58.8% in real-world deployment, while improving mean LIBERO success by 1.08 percentage points across three independent fine-tuning seeds and maintaining gains on LIBERO-Plus and real-world benchmarks. Our code and model weights are publicly available at https://github.com/giakhuyendihoc/MambaAct.

한 줄 요약

MambaAct는 π₀.₅ 기반 VLA 모델의 액션 전문가를 Mamba로 대체해 추론 속도를 64.8% 개선한 효율적 정책 모델이다.

핵심 기여도

π₀.₅의 트랜스포머 기반 액션 전문가를 10배 더 작은 Mamba 기반 액션 전문가로 대체.
Context Compressor 모듈을 도입해 토큰 수준 크로스 어텐션 없이 시각-언어 조건을 유지.
LIBERO 데이터셋에서 평균 성공률을 1.08% 향상시키며, 실제 세계 배포에서도 58.8%의 지연 감소를 달성.
모델 가중치와 코드를 공개 (https://github.com/giakhuyendihoc/MambaAct).

핵심 아이디어

기존 π₀.₅ 모델은 반복적 디노이징 과정에서 액션 전문가를 반복 평가해 추론 비용이 높다. MambaAct는 이 문제를 해결하기 위해 Mamba를 액션 믹서로 활용해 연속 액션 시퀀스의 의존성을 모델링한다. Mamba는 트랜스포머에 비해 계산 효율성이 높아, 반복적 평가 시 비용을 줄일 수 있다. 또한, Context Compressor를 통해 VLM 프리픽스 토큰을 압축된 조건 신호로 변환해, 토큰 수준 크로스 어텐션을 반복하지 않아도 시각-언어 조건을 유지할 수 있다.

기술적 접근법

**기존 모델 유지**: π₀.₅의 사전 학습된 시각-언어 프리픽스 인코더를 그대로 사용.
**액션 전문가 대체**: 트랜스포머 기반 액션 전문가를 Mamba 기반 액션 전문가로 교체.
**Mamba 액션 믹서**: 연속 액션 시퀀스의 노이즈 의존성을 모델링.
**Context Compressor**: VLM 프리픽스 토큰을 압축된 조건 신호로 변환, Mamba 액션 블록의 게이팅 및 모듈레이션에 활용.
**하이퍼파라미터**: Mamba 기반 액션 전문가는 기존의 10% 크기로 설계.

주요 결과

**LIBERO 데이터셋**: 평균 성공률 1.08% 향상 (3개 독립 학습 시드 평균).
**LIBERO-Plus**: 성능 개선 유지.
**실제 세계 배포**: 디노이징 지연 58.8% 감소.
**LIBERO**: 디노이징 지연 64.8% 감소.
**모델 크기**: 액션 전문가 크기 10배 감소.

의의 및 한계

MambaAct는 VLA 모델의 실시간 제어 가능성과 효율성을 동시에 향상시켜, 일반 로봇 조작 분야에서 실용성을 높인다. 특히, 반복적 디노이징 과정에서의 비용 절감은 flow-matching 기반 모델의 한계를 극복하는 데 기여한다. 그러나, Mamba 기반 모델의 일반화 능력이나 다른 VLA 아키텍처에의 적용 가능성은 추가 연구가 필요하다. 또한, Context Compressor의 복잡도 최소화가 핵심 성능에 미치는 영향은 명시되지 않음.

실용적 활용

MambaAct는 실시간 로봇 제어, 특히 반복적 액션 생성이 필요한 환경 (예: 물체 조작, 경로 탐색)에서 유용하게 활용될 수 있다. 또한, 리소스 제한이 있는 장치 (예: 모바일 로봇, 임베디드 시스템)에 적합한 효율적 VLA 정책 설계에 기여할 수 있다.