PolicyTrim: Boosting Intrinsic Policy Efficiency of Vision-Language-Action Models

Vision-Language-Action (VLA) models provide a unified paradigm for robotic manipulation, yet their real-world deployment is often bottlenecked by execution efficiency. While existing efforts predominantly focus on compute-centric efficiency to reduce per-step inference latency, the intrinsic policy efficiency of these models remains largely unexplored. Policy efficiency is fundamentally affected by two factors, namely the effective executable length of predicted action chunks and the total physical steps required to complete a task. These two factors jointly determine the total number of forward inference calls during execution. We observe that current VLA policies struggle with planning unreliability and action redundancy, suffering from severe prediction degradation at the tail of action chunks and tending to generate unnecessarily redundant physical steps. To address this, we propose PolicyTrim, a reinforcement learning-based post-training framework that extends the reliable action chunk length and reduces redundant physical steps. For reliable chunk extension, we employ a dynamic exploration strategy that explicitly rewards the successful completion of longer executable lengths, progressively pushing the trustworthy prediction horizon to its empirical limit. For step efficiency, we design a redundancy-aware reward that directly favors successful task completions with fewer steps while penalizing unreproducible shortcuts, effectively eliminating redundant physical actions. Extensive experiments across three benchmarks and three VLA models demonstrate that PolicyTrim improves action chunk utilization by 3times and reduces physical execution steps by 51.4\%. Ultimately, our framework delivers up to a 5.83times end-to-end deployment speedup without compromising task success rates.

한 줄 요약

PolicyTrim은 VLA 모델의 정책 효율성을 5.83배 향상시키는 강화학습 기반 사후 학습 프레임워크이다.

핵심 기여도

PolicyTrim이 VLA 모델의 정책 효율성을 5.83배 향상시키며, 물리적 실행 스텝을 51.4% 감소시킴.
Action chunk 실행 길이를 3배까지 확장하여 추론 빈도를 줄임.
강화학습 기반의 두 단계(신뢰 가능한 chunk 확장, 중복 스텝 제거)를 도입.
모델 구조 변경 없이 기존 VLA 모델(π₀.₅, OpenVLA-OFT, GR00T)에 적용 가능.

핵심 아이디어

VLA 모델의 실행 효율성은 단순히 추론 지연을 줄이는 것 이상의 "정책 효율성"에 의존한다. 이는 action chunk의 신뢰 가능한 실행 길이와 전체 물리적 스텝 수에 의해 결정된다. 기존 모델은 chunk 끝부분의 예측 신뢰도가 낮아 불필요한 중복 스텝을 유발한다. PolicyTrim은 강화학습을 활용해 chunk 실행 길이를 확장하고, 중복 스텝을 제거함으로써 정책 효율성을 향상시킨다. 첫 번째 단계는 dynamic exploration strategy를 통해 더 긴 chunk 실행 성공을 보상하며, 두 번째 단계는 redundancy-aware reward를 통해 적은 스텝으로 성공하는 정책을 유도한다.

기술적 접근법

**PolicyTrim**: 강화학습 기반 사후 학습 프레임워크.
**Dynamic Horizon Exploration**: 각 트래젝토리에 고정된 window size를 할당하여, 긴 chunk 실행 성공을 보상.
**Redundancy-Aware Reward**: 적은 스텝으로 성공하는 경우 높은 보상, 불안정한 shortcut은 페널티 부여.
**사용 모델**: π₀.₅, OpenVLA-OFT, GR00T.
**데이터셋**: LIBERO, ManiSkill, Meta-World.
**하이퍼파라미터**: 명시되지 않음.

주요 결과

**LIBERO**: π₀.₅ 모델에서 물리적 실행 스텝이 51.4% 감소.
**ManiSkill**: π₀.₅ 모델에서 2.36배의 end-to-end 속도 향상.
**Meta-World**: π₀.₅ 모델에서 2.52배의 end-to-end 속도 향상.
**Action Chunk Utilization**: 3배 증가.
**전체 실행 속도**: 최대 5.83배 향상, 성공률은 유지됨.

의의 및 한계

PolicyTrim은 VLA 모델의 실행 효율성을 향상시키는 새로운 차원의 접근법을 제시한다. 기존 연구는 계산 효율성에 집중했으나, PolicyTrim은 정책 자체의 실행 전략을 최적화함으로써 실제 배포 환경에서의 성능을 극대화한다. 특히, 모델 구조 변경 없이 기존 VLA 모델에 적용 가능하다는 점에서 실용성이 높다. 다만, OpenVLA-OFT와 같은 특정 아키텍처에서는 chunk 확장이 효과적이지 않아, 이에 대한 한계가 존재한다. 또한, 실제 로봇 환경에서의 장기적 안정성 검증이 필요하다.

실용적 활용

PolicyTrim은 로봇 제어 시스템, 특히 VLA 기반의 자율 로봇 작업 환경에서 실행 효율성을 극대화하는 데 활용 가능하다. 산업 자동화, 물류, 서비스 로봇 분야에서 실시간 성능과 에너지 효율성을 동시에 개선할 수 있다.