instruction-tuning spatial-reasoning cross-attention spherical-geometry depth-aware pano-native erp-panorama panospace-bench
Abstract
Multimodal large laboratory models (MLLMs) still struggle with spatial understanding under the dominant perspective-image paradigm, which inherits the narrow field of view of human-like perception. For navigation, robotic search, and 3D scene understanding, 360-degree panoramic sensing offers a form of supersensing by capturing the entire surrounding environment at once. However, existing MLLM pipelines typically decompose panoramas into multiple perspective views, leaving the spherical structure of equirectangular projection (ERP) largely implicit. In this paper, we study pano-native understanding, which requires an MLLM to reason over an ERP panorama as a continuous, observer-centered space. To this end, we first define the key abilities for pano-native understanding, including semantic anchoring, spherical localization, reference-frame transformation, and depth-aware 3D spatial reasoning. We then build a large-scale metadata construction pipeline that converts mixed-source ERP panoramas into geometry-aware, language-grounded, and depth-aware supervision, and instantiate these signals as capability-aligned instruction tuning data. On the model side, we introduce PanoWorld with Spherical Spatial Cross-Attention, which injects spherical geometry into the visual stream. We further construct PanoSpace-Bench, a diagnostic benchmark for evaluating ERP-native spatial reasoning. Experiments show that PanoWorld substantially outperforms both proprietary and open-source baselines on PanoSpace-Bench, H* Bench, and R2R-CE Val-Unseen benchmarks. These results demonstrate that robust panoramic reasoning requires dedicated pano-native supervision and geometry-aware model adaptation. All source code and proposed data will be publicly released.
한국어 요약
📋 한 줄 요약
**[Multimodal/Spatial Reasoning]** 360° ERP 파노라마를 관측자 중심 연속 공간으로 직접 추론하는 pano-native MLLM PanoWorld, Spherical Spatial Cross-Attention으로 구면 기하를 시각 스트림에 주입.
🎯 핵심 기여도
- 기존 MLLM의 perspective-only 패러다임을 넘는 "pano-native understanding"의 핵심 능력 정의(시맨틱 앵커링, 구면 위치 추정, 참조 프레임 변환, 깊이 인지 3D 추론)
- 혼합 출처 ERP 파노라마를 기하·언어·깊이 정렬된 instruction tuning 데이터로 변환하는 대규모 메타데이터 구축 파이프라인
- 구면 기하를 시각 토큰에 주입하는 Spherical Spatial Cross-Attention 도입한 PanoWorld 모델
- ERP-native 공간 추론 평가를 위한 진단 벤치마크 PanoSpace-Bench 공개
- PanoSpace-Bench, H* Bench, R2R-CE Val-Unseen에서 상용·오픈소스 베이스라인 압도
💡 핵심 아이디어
360° 파노라마를 perspective view로 쪼개면 구면 구조와 관측자 중심성이 사라진다. PanoWorld는 ERP 표현을 분해하지 않고 그대로 받아, 구면 좌표 기하를 어텐션에 명시적으로 주입해 모델이 "주변 전체 공간"을 일관된 좌표계로 추론하게 한다.
🔬 기술적 접근법
- **모델/방법론**: ERP 파노라마를 직접 입력받는 MLLM 백본 + Spherical Spatial Cross-Attention 모듈
- **핵심 기법**: ERP 변환의 구면 기하를 어텐션 키-쿼리에 인코딩해 위/경도 왜곡을 보정, 깊이 추정·언어 grounding·기하 메타데이터로 capability-aligned instruction tuning 데이터셋 구축
- 능력별 학습 신호(시맨틱 앵커링/구면 localization/프레임 변환/3D 추론) 정합
📊 주요 결과
- PanoSpace-Bench에서 상용 및 오픈소스 MLLM 베이스라인 대비 큰 폭 우위
- H* Bench에서 동급 SOTA 달성
- R2R-CE Val-Unseen(연속 환경 내비게이션)에서 베이스라인 압도
💭 의의 및 한계
**의의**: MLLM의 공간 이해를 perspective 시야의 한계 너머로 확장, 내비게이션·로보틱 탐색·3D 씬 이해 같은 supersensing 응용의 새로운 표준 표현을 제시한다. **한계**: ERP 입력·구면 어텐션에 특화되어 일반 perspective 이미지·동영상에서는 별도 어댑테이션이 필요하며, 학습 데이터가 합성·시뮬레이션에 일부 의존한다.
🚀 실용적 활용
- 360° 카메라 기반 실내 내비게이션 에이전트(VLN, R2R) 백본
- 부동산·VR 투어 챗봇의 공간 질의응답
- 로봇 탐색·서치 정책의 panoramic perception 모듈