Vision-Language-Action (VLA) models acquire broad embodied capabilities through large-scale pretraining, yet their generalization remains far more fragile than that of LLMs and VLMs. The prevailing remedy, post-training via supervised fine-tuning or reinforcement learning, improves task-specific performance but narrows the generalist capability that makes pretraining valuable. We identify a key bottleneck: VLA failures stem not only from action generation but also from action evaluation. A diagnostic pass@k study confirms that frozen VLAs already contain competent behaviors in their output distribution, with overall success rates rising from 33% at pass@1 to 92% at pass@32. Inspired by this, we propose SVA (Search, Value, and Act), a simple framework that equips frozen VLA policies with long-term consequence awareness. SVA first uses Monte-Carlo tree search in simulation to fully explore the VLA's output distribution and collect diverse trajectories annotated with empirical returns; this knowledge is then distilled into a lightweight Q-value model that predicts the expected consequence of candidate actions; at deployment, the frozen VLA proposes multiple candidates and the evaluator selects the one with the highest uncertainty-regularized Q-value, requiring no simulator access. By decoupling action proposal from consequence evaluation, SVA preserves the generalization capacity of the VLA backbone while substantially improving task success rates. Experiments across embodied benchmarks show that SVA consistently improves generalization on unseen tasks and exhibits strong test-time scaling behavior. Strikingly, SVA enables a 9B VLA to outperform a 27B VLA by 7 points at 27% lower inference latency, suggesting that scaling test-time evaluation is more cost-effective than scaling model size.
한 줄 요약
SVA는 VLA 모델의 동작 평가 능력을 향상시켜, 동결 상태에서도 성능을 크게 개선하는 테스트 타임 스케일링 프레임워크이다.
핵심 기여도
- VLA 실패 원인을 단순한 동작 생성 오류가 아닌 **동작 평가 부재**로 진단 (pass@k 실험 기반).
- **SVA (Search, Value, Act)** 프레임워크를 제안: MCTS를 활용한 시뮬레이션 탐색, Q-value 모델로 지식 증류, 그리고 동결 VLA 후보 중 최고 Q-value 선택.
- **9B VLA + SVA**가 27B VLA를 7점 높은 성능, 27% 낮은 추론 지연으로 초과.
- **pass@1 성공률 33% → pass@32 92%**로, VLA 내부에 이미 효과적인 동작이 포함되어 있음을 입증.
핵심 아이디어
VLA 모델은 대규모 사전 학습을 통해 다양한 능력을 습득하지만, 실제 환경에서의 일반화 능력이 제한적이다. 기존 접근법은 미세 조정이나 강화 학습을 통해 성능을 개선하지만, 이는 일반화 능력을 희생하는 경향이 있다. 본 연구는 VLA 실패의 근본 원인이 **동작 생성보다는 동작 평가 부재**에 있다고 진단한다. pass@k 실험 결과에 따르면, 동결 상태의 VLA도 여러 후보를 생성할 경우 성공률이 크게 증가함을 보여준다. 이에 따라, **SVA**는 VLA의 출력 분포를 MCTS를 통해 탐색하고, 그 결과를 Q-value 모델로 증류하여, 동작 후의 장기적 결과를 평가하는 능력을 추가한다. 이는 VLA의 일반화 능력을 유지하면서도, 테스트 시점에 추가 계산을 통해 성능을 향상시키는 새로운 전략이다.
기술적 접근법
- **Search 단계**: Monte-Carlo Tree Search (MCTS)를 사용하여 VLA의 출력 분포를 시뮬레이션 환경에서 탐색. 다양한 경로를 생성하고, 각 경로에 대한 경험적 보상을 수집.
- **Value 단계**: MCTS로 수집된 데이터를 기반으로 **가벼운 Q-value 모델**을 학습. 이 모델은 후보 동작의 장기적 결과를 예측.
- **Act 단계**: 동결 VLA가 N개의 후보를 생성하고, Q-value 모델이 **불확실성 정규화된 Q-value**를 기준으로 최적 동작을 선택.
- **N 증가에 따른 sub-linear latency 증가**를 통해 테스트 타임 스케일링 가능.
주요 결과
- **EB-Navigation** 데이터셋에서 SVA는 56.11% 성공률 달성.
- **Q-value 모델 제거 시** 성공률 56.11% → 43.33%로 급락.
- **9B VLA + SVA**가 27B VLA를 7점 높은 성능, 27% 낮은 추론 지연으로 초과.
- **pass@1 성공률 33% → pass@32 92%**로, VLA 내부에 이미 효과적인 동작이 포함되어 있음을 입증.
의의 및 한계
SVA는 VLA의 일반화 능력을 유지하면서도, 테스트 시점에 추가 계산을 통해 성능을 향상시키는 새로운 전략을 제시한다. 이는 기존의 미세 조정이나 강화 학습과는 다른 접근법으로, **데이터 확장이나 모델 크기 확장 없이도 성능 향상을 가능**하게 한다. 그러나 SVA는 **시뮬레이션에 의존**하며, **실물 로봇에서의 평가가 부재**하다는 한계가 있다. 또한, MCTS와 Q-value 학습이 **분리되어 실행**되기 때문에, 실시간 적용에는 제약이 있을 수 있다.
실용적 활용
SVA는 로봇 조작, 탐색, 인지 태스크 등 다양한 **임베디드 시나리오**에서 적용 가능하다. 특히, **대형 모델의 미세 조정이 어려운 상황**에서, 동결된 VLA에 테스트 시점 평가 기능을 추가함으로써 **비용 효율적인 성능 향상**을 도모할 수 있다.