VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control

Spatial intelligence requires more than describing object locations. Under incomplete observation, models must identify and acquire missing evidence, interpret it in a common spatial frame, and act on it. We introduce VA-Bench to evaluate the complete observe-reason-act-revise loop. General-purpose MLLMs learn procedural context from RGB-only demonstrations, actively select camera viewpoints, issue metric Cartesian commands, and revise them from execution feedback. Models receive no privileged object poses, oracle trajectories, or learned action heads. A fixed model-agnostic controller executes only model-specified targets. VA-Bench contains 14 base task families (11 single-arm and three dual-arm), seven held-out geometry/layout variants, and a long-horizon five-object composition track. We evaluate 12 primary model conditions in three independent runs over the same 20 physically verified seeds per base task, reporting terminal success, nine trajectory-level behavioral diagnostics, and subtask progress. First, the best-performing model scores 100.0% on target localization and 78.9% on spatial relations in the annotated run. Its three-run macro-average task success is only 53.93+/-3.17%. Second, active camera control significantly improves task success over passive multi-view observation. In one matched comparison, success rises from 27.86% to 57.50%. Third, held-out geometric transfer can reduce task success by over 30 percentage points. No model completes a strict long-horizon episode, despite substantial partial progress. VA-Bench thus tests whether general-purpose MLLMs can turn visual demonstrations and actively acquired evidence into successful embodied action.

한 줄 요약

VABench는 시각 시연, 능동적 관찰, 메트릭 제어를 통해 MLLM의 공간 지능을 종합적으로 평가하는 벤치마크이다.

핵심 기여도

VABench는 RGB 시연만으로 학습한 MLLM이 능동적 관찰, 메트릭 명령, 실행 피드백을 통한 수정을 수행하는 '관찰-추론-행동-수정' 루프를 평가한다.
14개의 기본 작업군(11개 단일 팔, 3개 이중 팔), 7개의 기하학적 변형, 5개 객체의 장기적 합성 작업을 포함하며, 9개의 경로 수준 진단과 하위 작업 진행도 평가.
12개 주요 모델 조건을 3회 독립 실행하여 평가, 최고 성능 모델의 3회 평균 작업 성공률은 53.93±3.17%로, 시각 정확도(100.0%)와 공간 관계 정확도(78.9%)와는 큰 차이를 보임.
능동적 카메라 제어는 성능을 27.86%에서 57.50%로 29.64%포인트 향상시키며, 기하학적 전이 시 성능 저하가 최대 32.14%포인트 발생.

핵심 아이디어

VABench는 기존의 고정/다중 뷰 추론에서 벗어나, 실제 물리적 상호작용 환경에서 모델이 능동적으로 증거를 수집하고, 공간적 판단을 메트릭 명령으로 변환하는 능력을 평가한다. 이는 단순히 시각 정보를 기반으로 객체 위치를 파악하는 것을 넘어, **미완전한 관찰 상황에서 필요한 정보를 식별하고, 공통 공간 프레임에서 해석한 후, 실행 가능한 행동으로 전환**하는 능력을 측정한다.

모델은 **RGB 시연만을 기반으로 학습**하며, **특정 객체 포즈, 오라클 경로, 학습된 액션 헤드 없이** 고정된 컨트롤러를 통해 명령을 실행한다. 이는 모델이 **시각적 시연을 기반으로 절차적 맥락을 이해하고, 그에 따라 메트릭 명령을 생성**해야 한다는 점에서 기존 접근과 구별된다.

기술적 접근법

**입력**: RGB 이미지와 작업 지시문.
**출력**: 카메라 관점 선택, 메트릭 카티시안 명령, 실행 피드백에 따른 수정 명령.
**평가 지표**: 최종 작업 성공 여부, 9개의 경로 수준 진단, 하위 작업 진행도.
**실험 설정**: 14개 작업군(11개 단일 팔, 3개 이중 팔), 7개 기하학적 변형, 5개 객체 장기적 합성 작업.
**실험 조건**: 12개 주요 모델 조건, 3회 독립 실행, 20개 물리적으로 검증된 시드.
**컨트롤러**: 고정된 모델-비관련 컨트롤러가 모델이 지정한 목표만 실행.

주요 결과

**최고 성능 모델**:
**대상 정위치**: 100.0%
**공간 관계**: 78.9%
**3회 평균 작업 성공률**: 53.93±3.17%
**능동적 카메라 제어 vs. 수동 관찰**:
성공률 27.86% → 57.50% (29.64%포인트 향상)
**기하학적 전이 실험**:
최대 성능 저하: 80.00% → 47.86% (32.14%포인트 감소)
**장기적 합성 작업**:
최고 성능 모델이 각각 61/100, 53/100 개체 배치 성공, 단 1개의 엄격한 장기적 에피소드도 완료하지 못함.

의의 및 한계

VABench는 MLLM이 시각 시연을 기반으로 능동적 증거 수집과 메트릭 명령 생성을 수행할 수 있는지 종합적으로 평가하는 첫 번째 벤치마크로, **공간 지능의 실행 가능성과 일반화 능력을 측정**하는 데 기여한다. 특히, **공간 진단과 실행 성능 간의 불일치**, **기하학적 전이 시의 성능 저하**, **장기적 작업의 합성 실패**라는 세 가지 한계를 명확히 밝혀내며, MLLM의 실제 물리적 환경 적용 가능성에 대한 중요한 통찰을 제공한다.

하지만, **모든 실험은 시뮬레이션 환경에서 진행**되었으며, **실제 로봇 환경에서의 성능 검증이 필요**하다는 한계가 있다. 또한, **모델이 공간 판단을 메트릭 명령으로 변환하는 능력은 여전히 제한적**이며, **온라인 수정 능력도 약한 수준**으로 나타났다.

실용적 활용

VABench는 **로봇 조작, 물리적 환경에서의 자율 시스템 개발, MLLM의 실제 적용 가능성 평가**에 활용될 수 있다. 특히, **능동적 관찰과 메트릭 명령 생성 능력을 갖춘 MLLM의 개발 및 평가**에 중요한 기준이 될 수 있으며, **공간 지능 기반의 서비스 로봇, 산업 자동화 시스템** 등에 적용 가능하다.