Why Far Looks Up: Probing Spatial Representation in Vision-Language Models

Vision-language models (VLMs) achieve strong performance on spatial reasoning benchmarks, yet it remains unclear whether this reflects structured 3D understanding or reliance on statistical shortcuts in natural images. We introduce a representation-level analysis framework that constructs minimal contrastive pairs to measure how spatial axes are organized and disentangled within VLM embeddings. Our analysis across multiple model families reveals a consistent vertical-distance entanglement: models conflate vertical image position with distance, mirroring the perspective bias of natural photographs. This bias produces a significant accuracy gap between perspective-consistent and counter-heuristic examples, and intensifies under data scaling even as overall benchmark accuracy improves. We further show that models with similar benchmark scores can exhibit different internal representations, and that these differences predict accuracy and robustness across diverse spatial reasoning benchmarks. To isolate this bias from evaluation-set skew, we introduce SpatialTunnel, a synthetic benchmark designed to expose spatial shortcut biases by removing common correlations present in natural images. Experiments confirm that the entanglement is model-intrinsic, and that models with well-separated spatial axes exhibit greater robustness, suggesting that well-structured spatial representations lead to more reliable spatial reasoning across diverse benchmarks. Code and benchmark are available on the project page: https://cheolhong0916.github.io/whyfarlooksup.github.io/.

📋 한 줄 요약

**[VLM 공간 표현 / Probing]** "Why Far Looks Up"이 VLM 임베딩에서 vertical-distance entanglement 발견 — 모델이 vertical 이미지 위치와 distance 혼동, SpatialTunnel 합성 벤치마크로 model-intrinsic bias 입증.

🎯 핵심 기여도

Vision-language model(VLM)이 spatial reasoning 벤치마크에서 강한 성능 보이지만, 구조화된 3D 이해 반영인지 자연 이미지의 statistical shortcut 의존인지 불분명함 문제 지적.
최소 contrastive pair 구성으로 VLM 임베딩 내 공간 축 조직·disentanglement 측정하는 representation-level 분석 프레임워크 도입.
다양 모델 family 분석 결과 — 일관된 vertical-distance entanglement 발견. 모델이 vertical 이미지 위치와 distance를 혼동, 자연 사진의 perspective bias 반영.
이 bias가 perspective-consistent와 counter-heuristic 예시 간 significant accuracy gap 생성·전체 벤치마크 accuracy 향상에도 data scaling 하에서 강화. 비슷한 벤치마크 점수 모델도 다른 internal 표현 가질 수 있으며 이 차이가 다양 spatial reasoning 벤치마크의 accuracy·robustness 예측. SpatialTunnel — 자연 이미지 correlation 제거한 합성 벤치마크 도입.

💡 핵심 아이디어

VLM의 공간 추론 정확도는 진정한 3D 이해가 아닌 자연 이미지에서 학습된 perspective bias(vertical=먼 거리) shortcut에 크게 의존하며, 이는 model-intrinsic이고 data scaling으로 강화되며, well-separated spatial axis를 가진 모델이 더 robust한 추론을 한다.

🔬 기술적 접근법

**방법론**: Representation-level analysis + SpatialTunnel 합성 벤치마크.
**핵심 기법**: (1) 최소 contrastive pair로 공간 축 조직·disentanglement 측정, (2) Vertical-distance entanglement 정량화, (3) Perspective-consistent vs counter-heuristic 예시 간 accuracy gap 측정, (4) SpatialTunnel — 자연 이미지의 흔한 correlation 제거한 합성 벤치마크로 model-intrinsic bias 검증, (5) Internal representation 차이와 downstream 강건성 상관.

📊 주요 결과

다양 모델 family에서 일관된 vertical-distance entanglement.
Perspective-consistent vs counter-heuristic 사이 significant accuracy gap.
Data scaling이 전체 정확도는 올리지만 entanglement는 강화.
동일 벤치마크 점수 모델도 internal 표현 차이 — 이 차이가 robustness 예측.
SpatialTunnel이 evaluation-set skew와 model-intrinsic bias 구분.

💭 의의 및 한계

**의의**: VLM 공간 추론의 본질적 bias 정량 노출, representation-level analysis 프레임워크 정립, SpatialTunnel로 evaluation 표준 제공, 잘 분리된 spatial axis가 robust reasoning과 상관됨 입증으로 모델 설계 가이드. **한계**: Vertical-distance가 한 axis에 국한·다른 spatial axis로 일반화 추가 검증, 합성 벤치마크의 실세계 분포와 격차, bias 완화 솔루션은 후속.

🚀 실용적 활용

VLM 공간 추론 진단·평가 표준.
로봇·AR의 3D 이해 모델 강건성 평가.
모델 비교의 representation-level 지표.