ActionPiece: Rethinking Action Tokenization for Autoregressive Vision-Language-Action Models

Action tokenizers play a central role in autoregressive vision-language-action (VLA) models, determining both the targets for policy training and the executable commands recovered from predicted tokens. Their fidelity is commonly evaluated using pointwise reconstruction metrics such as mean squared error (MSE), yet small individual errors do not fully characterize how faithfully action adjustments across demonstrations are preserved. After compression, similar actions may still cluster around a representative motion, while the adjustments needed for different contexts are diminished, distorted, or even reversed. We introduce physical rank consistency (PRC) to measure how well tokenization preserves local physical distance rankings after reconstruction. Evaluating decoded actions provides a common reference across token vocabularies and decoder architectures, complementing pointwise accuracy with a measure of relational fidelity. We further present ActionPiece, which preserves physical action relationships through joint supervision of representation learning and quantization. Physical rank preservation supervises near-far ordering in encoder and quantized feature distances, while quantization regularization applies the same ordering to codeword assignment distributions. Both objectives augment reconstruction, producing discrete action tokens for standard autoregressive policy learning and execution through a frozen decoder. Under the same Qwen3-VL-4B policy training setup, ActionPiece achieves 94.8% on LIBERO and 68.8% on unseen LIBERO-Plus, with additional evaluations reaching 71.9% on SimplerEnv and 51.5% across VLA-Arena L0-L2. Component ablations show that the two objectives jointly improve PRC and policy success, demonstrating the value of physical relationship supervision for action tokenization.

한 줄 요약

ActionPiece는 물리적 관계를 고려한 액션 토크나이저로, VLA 모델에서 정확한 제어를 위해 PRC와 QR을 결합한 학습 방식을 제안한다.

핵심 기여도

**PRC**(Physical Rank Consistency)를 도입하여, 액션 토크나이징 후에도 물리적 거리 순위가 얼마나 잘 보존되는지를 평가.
**ActionPiece**는 **PRP**(Physical Rank Preservation)와 **QR**(Quantization Regularization)를 결합하여, 액션 표현 학습과 코디워드 할당을 동시에 감독.
**Qwen3-VL-4B** 정책 학습 환경에서 LIBERO(94.8%), LIBERO-Plus(68.8%), SimplerEnv(71.9%), VLA-Arena(51.5%)에서 기존 베이스라인 대비 성능 개선.
**SimplerEnv**와 **VLA-Arena**에서 각각 71.9%와 51.5%의 평균 성공률을 달성하며, 특히 정밀 제어가 필요한 작업에서 우수한 성능.

핵심 아이디어

기존 액션 토크나이저는 MSE와 같은 점별 재구성 오차를 기준으로 평가되지만, 이는 액션 간 상대적 관계를 반영하지 못한다. 예를 들어, 액션 간의 물리적 거리 순위가 토크나이징 후에도 보존되지 않으면, 정확한 제어가 어려워진다. 이를 해결하기 위해, **PRC**(Physical Rank Consistency)를 도입하여, 액션 간의 상대적 물리적 거리 순위가 얼마나 잘 재구성되는지를 평가한다.

ActionPiece는 **PRP**(Physical Rank Preservation)와 **QR**(Quantization Regularization)를 결합하여, 액션 표현 학습과 코디워드 할당 과정에서 물리적 관계를 유지하도록 감독한다. PRP는 인코더와 양자화된 특징 간의 거리 순위를 일치시키는 것을 목표로 하며, QR은 코디워드 할당 분포에도 동일한 순위를 적용하여, 액션 간 관계를 유지하도록 한다. 이 두 목적함수는 재구성 오차와 함께 최적화되어, 이산 액션 토큰을 생성하고, 동결된 디코더를 통해 실행 가능한 액션으로 변환한다.

기술적 접근법

**PRC**(Physical Rank Consistency): 액션 간의 물리적 거리 순위가 토크나이징 전후로 얼마나 잘 보존되는지를 평가.
**ActionPiece**: **PRP**(Physical Rank Preservation)와 **QR**(Quantization Regularization)을 결합한 토크나이저.
**PRP**: 인코더와 양자화된 특징 간의 거리 순위를 일치시키는 목적함수.
**QR**: 코디워드 할당 분포에도 동일한 순위를 적용하는 목적함수.
**Transformer 토크나이저**와 **잔여 벡터 양자화**(residual vector quantization)를 사용하여, 이산 액션 토큰을 생성.
**디코더**는 훈련 후 동결되어, 예측된 토큰을 실행 가능한 액션으로 변환.

주요 결과

**LIBERO**: 94.8% (기존 최고 성능 대비 +1.1%)
**LIBERO-Plus**: 68.8% (기존 최고 성능 대비 +4.5%)
**SimplerEnv**: 71.9% (기존 최고 성능 대비 +8.8%)
**VLA-Arena**: 51.5% (기존 최고 성능 대비 +10.0%)
**ActionPiece**는 **PRP**와 **QR**의 결합을 통해 **PRC**와 **정책 성공률**을 동시에 개선.
**SimplerEnv**에서 블록 스택(58.3%)과 스푼 배치(83.3%) 등 정밀 제어가 필요한 작업에서 높은 성능.

의의 및 한계

ActionPiece는 액션 토크나이징 과정에서 **물리적 관계**를 보존함으로써, 정확한 제어를 가능하게 한다. 기존 토크나이저는 점별 오차만 고려했지만, ActionPiece는 액션 간 상대적 관계를 유지함으로써 **정책 성공률**을 향상시킨다. 특히, **SimplerEnv**와 **VLA-Arena**에서의 평균 성공률은 기존 모델 대비 높은 수준이며, 이는 물리적 관계 감독의 중요성을 입증한다.

하지만, ActionPiece는 **Qwen3-VL-4B** 모델에 기반한 실험만 수행되었으며, 다른 모델 아키텍처나 데이터셋에 대한 일반화 가능성은 추가 연구가 필요하다. 또한, **QR**은 코디워드 할당 분포를 조절하지만, 이 과정에서 발생할 수 있는 복잡성이나 계산 비용은 명시되지 않았다.

실용적 활용

ActionPiece는 **로봇 제어**, **실시간 액션 생성**, **시뮬레이션-실제 전이**(real-to-sim transfer) 등에서 활용 가능하다. 특히, 정밀한 액션 제어가 필요한 산업 현장, 예를 들어 **자동화 제조**, **로봇 수술**, **물류 자동화** 등에서 유용하게 사용될 수 있다.