Does VLA Even Know the Basics? Measuring Commonsense and World Knowledge Retention in Vision-Language-Action Models

Embodied Vision-Language-Action (VLA) models are typically obtained by fine-tuning powerful pretrained VLMs on robotics data, yet it is unclear how much commonsense and factual knowledge they retain after adaptation. Failures on knowledge-sensitive tasks are ambiguous, conflating missing knowledge with poor generalization of low-level control. We introduce Act2Answer, a lightweight protocol that adapts VLM knowledge benchmarks to VLA evaluation by requiring agents to answer through action. Each question becomes a short tabletop episode where the agent performs a single object-placement action to select among candidate answers, yielding an action-grounded success rate with reduced control confounds. We curate a test suite of such environments across diverse commonsense and world-knowledge categories and introduce layerwise intent probing to localize answer-relevant information across the VLM backbone and action head. In a large-scale study of 7 VLA models and 9 VLM baselines, we systematically rank models across categories, finding that VLAs show solid performance on simple concepts while exhibiting larger gaps on richer semantic categories relative to their source VLMs, that VQA co-training is associated with better knowledge retention, and that answer-relevant signals peak in middle VLA layers but attenuate in upper layers. Act2Answer is available at https://tttonyalpha.github.io/act2answer/.

한 줄 요약

VLA 모델이 로보틱스 데이터로 미세조정 후에도 기본 상식과 세계 지식을 얼마나 유지하는지 측정하는 프로토콜 Act2Answer를 제안한다.

핵심 기여도

Act2Answer: VLM 지식 벤치마크를 VLA 평가로 적응한 프로토콜을 제안.
1,720개의 이진 질문을 12개 범주(예: attribute, emotion, celebrity 등)로 구성한 평가 테스트 스위트를 구축.
7개 VLA 모델과 9개 VLM 베이스라인을 대규모 실험으로 평가, VQA 공동 훈련이 지식 유지에 긍정적 영향을 미친다는 것을 밝힘.
레이어별 intent probing을 통해 VLA 내부에서 정답 관련 정보가 어떻게 분포되는지 분석.

핵심 아이디어

기존 VLA 평가가 주로 조작 성공률에 초점을 맞추고, 상식적 지식 평가가 부족한 문제를 지적한다.
Act2Answer는 VLM 기반 지식 평가를 VLA에 적용하기 위해, 텍스트 대신 **액션**(object-placement)을 통해 답변을 선택하도록 설계했다.
이를 통해 **로봇이 물체 배치를 통해 정답을 선택하는 테이블탑 에피소드**를 구성하고, **제어 오류와 지식 결여를 분리**할 수 있다.
또한, VLM의 **레이어별 표현**을 분석하여, 정답 관련 정보가 어느 레이어에서 가장 강하게 나타나는지 파악하는 **layerwise intent probing** 기법을 도입했다.

기술적 접근법

**Act2Answer 프로토콜**: 각 질문은 테이블탑 환경에서 단일 물체 배치 액션을 통해 정답을 선택하는 에피소드로 구성.
**레이어별 intent probing**: VLA 모델의 각 레이어 표현을 기반으로 선형 분류기를 학습시켜 정답 예측.
**평가 대상 모델**: π0, OpenVLA, Magma, Xiaomi-Robotics-R0, InternVLA-M1, SmolVLA, SpatialVLA 등 7개 VLA 모델과 Qwen2.5-VL, Ovis, PaliGemma, InternVL 등 9개 VLM 베이스라인.
**테스트 범주**: attribute, state, color, symmetry, shape, emotion, celebrity, living world, counting, time, traffic, public info 등 12개 범주.
**액션 기반 평가**: 텍스트 대신 액션을 통해 선택, 제어 복잡도를 최소화하여 지식 평가에 집중.

주요 결과

VLA 모델은 **단순 시각적 구분**(예: 색상, 모양)에서는 높은 성능을 보이지만, **복잡한 의미 범주**(예: 감정, 시간, 교통)에서는 VLM 베이스라인 대비 **성능 저하**가 발생.
**VQA 공동 훈련**이 포함된 모델은 지식 유지에 더 유리한 경향을 보임.
정답 관련 정보는 **VLA 중간 레이어에서 최고치**를 나타내지만, 상위 레이어로 갈수록 약해지는 경향이 있음.
예를 들어, **emotion 범주에서 VLA 모델의 성공률은 VLM 대비 10~20% 낮음**.

의의 및 한계

Act2Answer는 VLA 모델의 **지식 유지 능력을 액션 기반 평가로 정량화**할 수 있는 첫 번째 프로토콜로, 로보틱스와 VLM 연구 간의 연결을 강화하는 데 기여한다.
또한, VLA 모델이 단순 제어 성능을 향상시키는 데 집중하는 반면, **의미적 구분 능력은 약화되는 경향**을 밝혀내어, 향후 모델 설계와 훈련 전략에 중요한 통찰을 제공한다.
하지만, **모든 지식이 액션 선택에 직접 반영되는 것은 아님**을 지적하며, **모델 내부 표현 분석**이 필요하다는 한계를 언급한다.

실용적 활용

Act2Answer는 로봇이 실제 환경에서 **의미 있는 선택을 할 수 있는지 평가**하는 데 활용될 수 있다.
예를 들어, **가정용 로봇이 '깨끗한 컵'과 '더러운 컵'을 구분**하거나, **교통 표지판을 올바르게 해석**하는 능력을 평가하는 데 사용 가능하다.
또한, VQA와 VLA 훈련을 결합한 **다중 목적 학습 전략 설계**에도 기초 자료로 활용될 수 있다.