Sensorimotor Alignment: A Platonic Proxy for Embodied Policy Success

Robot foundation models are typically evaluated through costly closed-loop rollouts, motivating low-cost offline proxies for model capability. The Platonic Representation Hypothesis (PRH) suggests that as representations improve, modalities such as vision and language converge toward a shared statistical model of reality. We ask whether motion trajectories form another such modality: as embodied models become more capable, should their sensory representations converge toward the structure of physical motion? To test this, we propose Sensorimotor Alignment (S^2), a training-free offline metric that measures how well a model's sensory representation aligns with the geometry of physical motion. We find that S^2 correlates positively with downstream robot task success across model families, making it a low-cost offline proxy for prioritizing models before closed-loop evaluation. S^2 can also identify promising vision-language model (VLM) backbones before costly fine-tuning into vision-language-action models (VLAs). Beyond this correlation, S^2 offers representation-level explanations for phenomena observed in VLAs and world action models (WAMs). With S^2, we extend PRH to robotics and make sensorimotor alignment measurable, offering a low-cost, representation-level view of robot foundation models that closed-loop success rates alone cannot reveal.

한 줄 요약

Sensorimotor Alignment (S²)는 로봇 정책 성능을 예측하는 오프라인 메트릭으로, 시각-언어-운동 표현의 일관성을 측정한다.

핵심 기여도

S²는 Platonic Representation Hypothesis(PRH)를 로봇학으로 확장하여, 시각/언어/운동 표현의 일관성을 측정하는 오프라인 메트릭을 제안.
S²는 VLA, VLM, WAM 등 다양한 모델에서 로봇 작업 성공률과 강한 상관관계를 보임.
VQA 점수나 FID, SSIM, PSNR 등 기존 메트릭보다 S²가 작업 성공률과 더 높은 상관성을 보임.
S²는 VLAs에서 언어 지시 무시 현상과 같은 표현 수준의 현상을 설명하는 진단 도구로 활용 가능.

핵심 아이디어

기존 PRH는 시각, 언어 등 다양한 모달이 공유된 현실의 통계적 모델로 수렴한다고 주장한다. 본 연구는 이 아이디어를 로봇학으로 확장하여, 운동 궤적 또한 이와 같은 공유 표현 공간에 속한다고 가정한다. 즉, 시각/언어 표현이 운동 표현과 더 잘 정렬될수록 로봇 정책의 성능이 향상된다고 주장한다.

이를 검증하기 위해 S²라는 오프라인 메트릭을 제안한다. S²는 각 에피소드의 시각/언어 특징(감각 표현)과 실제 엔드이펙터 궤적(운동 표현) 간의 최근접 이웃을 비교하여 정렬 정도를 측정한다. 이 메트릭은 학습 없이 오프라인으로 계산되며, 정량적으로 표현 수준의 일관성을 평가한다.

기술적 접근법

**Sensorimotor Alignment (S²)**: 각 에피소드의 시각/언어 특징과 엔드이펙터 궤적을 비교하여 정렬 정도를 측정.
**Sensory Representation**: 이미지와 텍스트 특징을 사용.
**Motor Representation**: 엔드이펙터의 실제 궤적.
**Alignment 측정**: 시각/언어 표현 공간과 운동 표현 공간에서의 최근접 이웃 집합 간의 겹침을 비교.
**데이터셋**: 시뮬레이션 및 실제 로봇 데이터셋 사용.
**모델 범주**: VLA, VLM, WAM 등 다양한 로봇 기초 모델 포함.

주요 결과

**VLA 모델**: S²가 높은 모델이 시뮬레이션 및 실제 로봇 환경에서 더 높은 작업 성공률을 보임.
**VLM 모델**: S²는 VLM의 VQA 점수보다 VLAs로 미세조정 후의 작업 성공률과 더 높은 상관성을 보임.
**WAM 모델**: S²는 FID, SSIM, PSNR 등 비디오 품질 메트릭보다 작업 성공률과 더 강한 상관성을 보임.
**실제 로봇 정책**: 오프라인 S²는 실제 로봇 작업 성공률과 상관관계가 있음.

의의 및 한계

S²는 로봇 기초 모델의 표현 수준을 평가하는 새로운 관점을 제시하며, 비용이 높은 클로즈드-루프 평가 전에 모델 선택을 돕는 저비용 오프라인 프록시로 활용 가능하다. 또한, VLAs와 WAMs에서 관찰된 현상(예: 언어 지시 무시, 시각 인코더 고정 시 성능 저하)을 표현 수준에서 설명할 수 있다.

그러나 S²와 작업 성공률 간의 상관관계는 아직 인과관계를 입증하지 못했으며, 동일한 S² 값을 가진 모델 간에도 성능 차이가 발생할 수 있다. 또한, 평가 대상 모델, 벤치마크, 훈련 레시피가 제한적이어서 일반화 가능성에 한계가 있다.

실용적 활용

S²는 로봇 기초 모델의 선택 및 진단에 사용할 수 있으며, 특히 VLM을 VLAs로 미세조정 전에 유망한 백본을 선별하는 데 유용하다. 또한, 모델 설계 선택이 표현 수준에서 어떻게 영향을 미치는지를 이해하는 데 활용 가능하다.