VLA-Rolling: Fewer Denoising Steps, Better Control via Adaptive Action Reuse

Flow-matching vision-language-action (VLA) models generate an action chunk by iteratively denoising Gaussian noise, but typically execute only a short prefix before replanning with updated observations. Under this receding-horizon paradigm, the unexecuted remainder---the action tail---is discarded, and the next chunk is regenerated from fresh noise. We show that this discarded tail retains transferable denoising progress: action-tail initialization can match or outperform a native 10-step Gaussian baseline using fewer denoising steps. However, the optimal denoising budget varies substantially across samples, indicating that tail reuse should be adapted to the updated environment. Based on this observation, we introduce VLA-Rolling, a lightweight inference framework that reuses action tails through three stages: action-tail inheritance, per-action confidence estimation, and confidence-guided refinement through renoising and denoising budget allocation, while the underlying VLA remains frozen. Across π_{0.5}, SmolVLA, X-VLA, and MolmoAct2 on LIBERO, MetaWorld, LIBERO-Plus, and RoboTwin 2.0, VLA-Rolling reduces action-chunk inference cost in all 16 model--benchmark pairs, achieving up to a 1.48times speedup, while improving success rate in 14 pairs by up to 15.08 percentage points. These results show that action tails are not merely discarded predictions, but reusable intermediate states that enable more efficient and accurate VLA inference. These results demonstrate that the action tail can support the generation of better actions with fewer denoising steps. Our project is available at https://chenbao123ww.github.io/VLA-Rolling/.

한 줄 요약

VLA-Rolling은 액션 테일을 재사용해 1.48× 가속과 최대 15.08% 성공률 향상을 달성한 경량 추론 프레임워크이다.

핵심 기여도

액션 테일이 4단계(π₀.₅) 및 6단계(SmolVLA)에서 10단계 가우시안 기준과 동일한 성능을 보임.
VLA-Rolling은 16개 모델-베이치마크 쌍에서 추론 비용을 5.00%~32.52% 감소시키며, 최대 1.48× 가속.
14개 쌍에서 성공률이 최대 15.08% 증가.
액션 테일 재사용을 위한 3단계 프레임워크(액션 테일 상속, 신뢰도 추정, 신뢰도 기반 정제) 제안.

핵심 아이디어

기존 VLA 모델은 액션 청크를 생성할 때 가우시안 노이즈를 디노이징하는 방식을 사용하지만, 실행되지 않은 액션 테일은 버려지고 다음 청크는 새로 시작된다. 그러나 연구자들은 이 액션 테일이 이미 디노이징 과정을 거쳐 재사용 가능한 중간 상태임을 밝혔다. π₀.₅와 SmolVLA에서 각각 4단계와 6단계만으로 10단계 기준과 동일한 성능을 달성함을 통해 이 가능성을 입증했다.

그러나 환경 변화에 따라 최적의 디노이징 단계 수가 달라져, 단순한 재사용은 오히려 성능 저하를 초래할 수 있다. 이를 해결하기 위해 VLA-Rolling은 액션 테일을 상속한 후, 각 액션의 신뢰도를 추정하고, 이에 따라 노이징/디노이징 단계를 조정하는 방식을 제안한다. 이는 기존 VLA 모델을 수정하지 않고도 가능하다는 점에서 실용적이다.

기술적 접근법

VLA-Rolling은 다음 3단계로 구성된다:
1. **액션 테일 상속 (Action-Tail Inheritance)**: 이전 청크의 실행되지 않은 액션을 다음 예측의 시작점으로 사용.
2. **액션 신뢰도 추정 (Per-Action Confidence Estimation)**: 온라인 관측과 상태 변화를 기반으로 액션의 재사용 가치를 추정. 온라인 학습 없이 오프라인 시연 데이터로 학습.
3. **신뢰도 기반 정제 (Confidence-Guided Refinement)**: 신뢰도가 낮은 액션에 노이즈를 추가하고, 더 많은 디노이징 단계를 할당.

모든 단계는 기존 VLA 모델을 수정하지 않고, 외부 플러그인 형태로 작동. π₀.₅, SmolVLA, X-VLA, MolmoAct2에서 실험적으로 검증됨.

주요 결과

LIBERO, MetaWorld, LIBERO-Plus, RoboTwin 2.0에서 16개 모델-베이치마크 쌍에서 추론 비용 감소 (최대 32.52%, 1.48× 가속).
14개 쌍에서 성공률 향상 (최대 15.08% 증가).
π₀.₅에서 4단계, SmolVLA에서 6단계 디노이징으로 10단계 기준과 동일한 성능 달성.
단순 액션 테일 상속만 적용하면 성공률 4.89% 감소, 단계 조정만 적용하면 4.29% 감소. 재노이징이 성능 향상에 핵심.

의의 및 한계

VLA-Rolling은 기존 VLA 모델의 추론 효율성을 향상시키며, 액션 테일을 단순히 버리는 방식에서 벗어나 중간 상태로 활용할 수 있음을 보여준다. 이는 모델 재학습 없이도 성능 향상이 가능하다는 점에서 실용적 가치가 크다. 특히, 다양한 VLA 모델(π₀.₅, SmolVLA 등)과 벤치마크(LIBERO, MetaWorld 등)에서 일관된 성능 개선을 보여주며, 일반화 가능성을 입증한다.

하지만, 환경 변화가 크거나 액션 자체가 학습 분포를 벗어난 경우, 재노이징 없이 단순 상속은 성능 저하를 초래할 수 있다. 이는 VLA-Rolling이 환경 변화에 민감하게 대응해야 한다는 한계를 드러낸다.

실용적 활용

VLA-Rolling은 로봇 제어, 자율 주행, 산업 자동화 등 실시간 액션 생성이 필요한 분야에 적용 가능하다. 특히, π₀.₅, SmolVLA와 같은 기존 VLA 모델을 최소한의 수정 없이 활용할 수 있어, 산업 현장에서의 도입이 용이하다.