Vision Pretraining for Dense Spatial Perception

Dense spatial perception is essential for physical intelligence, where visual systems are expected to recover structured, metric, and actionable representations from pixel observations. Modern visual foundation models tend to prioritize semantic invariance, often at the expense of detailed spatial understanding. In this work, we study vision pretraining through a boundary-centric lens, motivated by the premise that boundaries and shape discontinuities offer essential cues for perceiving geometric properties. Concretely, we propose masked boundary modeling, a self-supervised paradigm that dynamically learns sub-pixel boundary representations and subsequently leverages the discovered boundary-bearing tokens as masked targets to facilitate dense visual token learning. By scaling this framework, we develop LingBot-Vision and demonstrate its efficacy across a diverse set of downstream vision tasks with DINOv3 as a strong baseline. Remarkably, LingBot-Vision drives the progression from LingBot-Depth 1.0 to LingBot-Depth 2.0 for depth completion, and thereby yields enhanced depth estimation, a key pillar for embodied artificial intelligence. Our findings reveal that boundary modeling goes beyond simple line segments and instead serves as a scalable pretraining principle for learning spatially structured visual representations.

한 줄 요약

LingBot-Vision은 경계 중심의 자기감독 학습을 통해 공간 인지 능력을 향상시킨 시각 기초 모델이다.

핵심 기여도

**Masked Boundary Modeling**이라는 새로운 자기감독 학습 프레임워크를 제안하여, 서브픽셀 경계 표현을 학습.
**LingBot-Vision** 모델을 개발하여 DINOv3를 포함한 기존 모델 대비 NYUv2에서 **선형 탐색 RMSE가 더 낮음**.
**LingBot-Depth 1.0 → 2.0**으로 업그레이드하여, **깊이 완성**(depth completion) 성능을 향상.
**300M ViT-L, 86M ViT-B, 21M ViT-S** 등 다양한 규모의 모델로 **효율적인 지도**(distillation)를 수행.

핵심 아이디어

기존 시각 기초 모델은 의미적 불변성을 중시해 세부 공간 인지 능력이 부족한 경향이 있다. 본 연구는 **경계**(boundary)와 **형태 불연속**(shape discontinuity)이 공간 인지에 필수적인 단서라는 통찰을 바탕으로, **경계 중심**(boundary-centric)의 학습 프레임워크를 제안한다. 구체적으로, **Masked Boundary Modeling**이라는 알고리즘을 통해, **서브픽셀 경계 표현**을 학습하고, 이를 **마스킹된 타겟**(masked targets)으로 활용하여 **밀집 시각 토큰**(dense visual tokens) 학습을 촉진한다. 이는 기존의 의미 중심(self-distillation) 학습과 경계 학습 간의 긴장을 **협력 구조**로 전환하는 핵심 아이디어이다.

기술적 접근법

**Masked Boundary Modeling**: 자기감독 학습으로, 경계 정보를 **밀집 범주적 경계 필드**(dense categorical boundary fields)로 표현.
**Teacher–Student 메커니즘**: ViT-g로 학습한 **선생**(teacher) 모델이 **학생**(student) 모델에 경계 및 의미 토큰을 생성.
**Efficient Distillation**: ViT-g를 300M, 86M, 21M 규모로 지도. **300k iteration**, **512×512 해상도**, **3,072 global batch size** 사용.
**Decoder**: 단일 선형 레이어로 평가, **DPT head**나 **다중 레이어 집계** 없이 성능 비교.

주요 결과

**NYUv2**에서 **선형 탐색 RMSE**가 DINOv3를 포함한 기존 모델 대비 **가장 낮음**.
**DAVIS-2017** 및 **YouTube-VOS**에서 **𝐽&ℱ-Mean** 성능이 **가장 강력한 지도 모델 수준**.
**LingBot-Depth 2.0**은 **깊이 완성**(depth completion)에서 **D105 정확도**와 **RMSE**가 **기존 LingBot-Depth 1.0 대비 향상**.
**ADE20K**, **VOC12**, **Cityscapes**에서 **mIoU** 성능이 **기존 모델 대비 경쟁력 있음**.

의의 및 한계

본 연구는 **경계 중심의 자기감독 학습**이 **밀집 공간 표현 학습**에 효과적임을 입증하며, **로봇 공간 인지**(embodied AI) 분야에 실질적 기여를 한다. 특히, **경계 정보를 학습 신호로 활용**함으로써, **주석 없이도 공간 구조를 학습**할 수 있다는 점에서 혁신적이다. 다만, **경계 정보만으로는 의미적 표현**(semantic invariance)을 완전히 담보하기 어려울 수 있으며, **복잡한 환경**(예: 저해상도, 노이즈)에서의 성능은 명시되지 않음.

실용적 활용

LingBot-Vision은 **로봇**, **자율 주행**, **增强现实**(AR) 등 **물리적 인지**(physical intelligence)가 필요한 분야에 적용 가능하다. 특히, **깊이 완성**, **영상 객체 분할**, **비디오 추적** 등 실시간 공간 인식이 요구되는 시스템에서 활용 가능하다.