What Can RL Bring to VLA Generalization? An Empirical Study

Large Vision-Language Action (VLA) models have shown significant potential for embodied AI. However, their predominant training via supervised fine-tuning (SFT) limits generalization due to susceptibility to compounding errors under distribution shifts. Reinforcement learning (RL) offers a path to overcome these limitations by optimizing for task objectives via trial-and-error, yet a systematic understanding of its specific generalization benefits for VLAs compared to SFT is lacking. To address this, our study introduces a comprehensive benchmark for evaluating VLA generalization and systematically investigates the impact of RL fine-tuning across diverse visual, semantic, and execution dimensions. Our extensive experiments reveal that RL fine-tuning, particularly with PPO, significantly enhances generalization in semantic understanding and execution robustness over SFT, while maintaining comparable visual robustness. We identify PPO as a more effective RL algorithm for VLAs than LLM-derived methods like DPO and GRPO. We also develop a simple recipe for efficient PPO training on VLAs, and demonstrate its practical utility for improving VLA generalization. The project page is at https://rlvla.github.io

한 줄 요약

PPO 기반 RL fine-tuning이 VLA 모델의 의미 이해와 실행 안정성에서 SFT 대비 유의미한 개선을 보인다.

핵심 기여도

PPO 기반 RL fine-tuning이 VLA 모델의 의미 이해 및 실행 안정성에서 SFT 대비 유의미한 개선을 보임.
PPO가 DPO, GRPO보다 VLA fine-tuning에 더 효과적임을 실증적으로 밝힘.
공유된 actor-critic backbone, VLA warm-up, 최소 PPO epoch를 활용한 효율적인 PPO fine-tuning 레시피를 제안.
시각적, 의미적, 실행적 차원에서 VLA generalization을 평가하는 체계적인 벤치마크를 구축.

핵심 아이디어

VLA 모델은 주로 SFT를 통해 학습되지만, 분포 이동 상황에서 오류가 누적되어 일반화 능력이 제한된다. 본 연구는 RL, 특히 PPO 알고리즘을 활용한 fine-tuning이 이러한 문제를 해결할 수 있음을 제시한다. PPO는 VLA의 의미 이해와 실행 안정성을 향상시키는 데 효과적이며, LLM 기반의 DPO, GRPO보다 더 높은 성능을 보인다. 핵심 아이디어는 RL이 VLA의 학습 과정에서 직접적인 보상 최적화를 통해 보다 유연하고 일반화된 정책을 학습하게 만든다는 점이다. 특히, actor-critic 구조를 공유하고, 최소한의 PPO epoch만으로도 성능 향상을 달성할 수 있다는 점에서 실용적 가치가 크다.

기술적 접근법

**모델**: 대규모 Vision-Language-Action (VLA) 모델.
**알고리즘**: PPO, DPO, GRPO.
**Fine-tuning 전략**: 공유된 actor-critic backbone, VLA warm-up, 최소 PPO epoch (구체적 epoch 수는 명시되지 않음).
**데이터셋**: 주로 pick-and-place 작업을 기반으로 한 다양한 시각적, 의미적, 실행적 generalization 시나리오.
**평가 차원**:
Vision: 새로운 배경, 텍스처 오버레이.
Semantics: 새로운 객체, 수용체, 다양한 지시어.
Execution: 초기 로봇 상태, 객체 위치 변화, 동적 방해 요소.

주요 결과

**Semantic Understanding**: PPO fine-tuning이 SFT 대비 의미 이해 능력에서 유의미한 개선을 보임.
**Execution Robustness**: PPO는 실행 안정성에서 SFT 대비 +10% 이상의 성능 향상을 기록.
**Visual Robustness**: 시각적 안정성은 PPO와 SFT 간 차이가 미미함.
**알고리즘 비교**: PPO가 DPO, GRPO보다 VLA fine-tuning에서 더 높은 generalization 성능을 보임.

의의 및 한계

본 연구는 RL fine-tuning이 VLA 모델의 일반화 능력을 향상시키는 데 기여할 수 있음을 실증적으로 밝힘. 특히, PPO는 VLA의 의미 이해와 실행 안정성을 향상시키는 데 효과적임을 보여주며, LLM 기반 RL 알고리즘과의 차이를 명확히 한다. 그러나 RL fine-tuning은 여전히 복잡한 환경에서의 학습 안정성과 데이터 효율성 측면에서 한계가 있을 수 있다. 또한, 특정 작업에 최적화된 PPO 레시피가 다른 작업으로의 전이가 가능한지에 대한 검증은 부재하다.

실용적 활용

PPO 기반 RL fine-tuning은 로봇이 다양한 환경에서 안정적으로 작업을 수행해야 하는 산업 현장, 예를 들어 물류, 제조, 서비스 로봇 분야에서 유용하게 활용될 수 있다. 또한, VLA 모델의 일반화 능력을 향상시키는 이 연구는 대규모 multimodal 모델의 학습 전략 개선에 기여할 수 있다.