LightNav-0: Eliciting VLM Spatial Intelligence for Generalist Embodied Navigation

Embodied navigation requires agents to translate heterogeneous goals and visual observations into actions across tasks, environments, and robot embodiments. Modern vision-language models (VLMs) already encode spatial priors for visual grounding, spatial reasoning, and pointing, but these capabilities are rarely elicited directly for robot control. Existing navigation systems instead rely on task- or embodiment-specific components, fragmenting perception, reasoning, and action while offering limited generalization. Here we present LightNav-0, a compact generalist embodied navigation model that elicits the spatial intelligence of a pretrained VLM and aligns it with navigation, without task-specific prediction heads. LightNav-0 represents diverse navigation tasks through a unified token interface: dual-channel pointing expresses task-, scene-, and embodiment-agnostic spatial intent, while a residual vector-quantized action tokenizer maps this intent to precise, embodiment-specific trajectories. Together with temporally aware visual history compression, ER mid-training, supervised fine-tuning, and reinforcement learning, this formulation supports instruction following, open-vocabulary object navigation, and visual tracking within a single model. The navigation training corpus spans 2K+ scenes and 4K+ hours of embodied navigation data. LightNav-ER, the embodied-reasoning checkpoint used to initialize LightNav-0, attains the highest complete-set average across 8 embodied-reasoning benchmarks, while LightNav-0 achieves state-of-the-art monocular success rates across all 10 public navigation simulation settings. Real-world evaluations further demonstrate zero-shot generalization across robot embodiments, diverse scenes, and static and dynamic targets. These results establish compact VLMs as a unified and transferable backbone for generalist embodied navigation.

한 줄 요약

LightNav-0는 사전 학습된 VLM의 공간 지능을 활용한 일반적 이형 탐색 모델로, 10개 시뮬레이션 환경에서 최고 성능을 보인다.

핵심 기여도

**LightNav-0**는 태스크별 예측 헤드 없이 사전 학습된 VLM의 공간 지능을 탐색에 정렬함.
**Dual-channel pointing**과 **residual vector-quantized action tokenizer**를 통해 태스크·환경·로봇 구조에 무관한 공간 의도를 표현하고, 구체적 경로로 매핑함.
**2K+ scenes**, **4K+ hours**의 이형 탐색 데이터로 학습하여 10개 공개 시뮬레이션 환경에서 최고 성능 달성.
**LightNav-ER** 체크포인트는 8개 이형 추론 벤치마크에서 최고 평균 성능을 보임.

핵심 아이디어

기존 이형 탐색 시스템은 태스크나 로봇 구조에 맞춘 별도 구성요소에 의존하여 일반화가 제한된다. LightNav-0은 이러한 단점을 극복하기 위해 사전 학습된 VLM이 이미 포함하고 있는 시각-공간 추론 능력을 직접 활용한다. 특히, **dual-channel pointing**은 공간적 의도를 태스크나 환경에 무관하게 표현하고, **residual vector-quantized action tokenizer**는 이를 구체적인 로봇 경로로 변환한다. 이는 단일 모델 내에서 다양한 탐색 작업을 처리할 수 있도록 한다.

기술적 접근법

**Dual-channel pointing**: 태스크·환경·로봇 구조에 무관한 공간 의도를 표현.
**Residual vector-quantized action tokenizer**: 공간 의도를 로봇 구조에 맞는 정밀한 경로로 매핑.
**Temporally aware visual history compression**: 시간적 맥락을 고려한 시각 정보 압축.
**ER mid-training, supervised fine-tuning, reinforcement learning**: 다양한 탐색 작업 학습을 위한 학습 전략.
**LightNav-ER** 체크포인트로 초기화 후, 2K+ scenes, 4K+ hours의 데이터로 학습.

주요 결과

**LightNav-0**는 10개 공개 탐색 시뮬레이션 환경에서 **최고 수준의 단일 카메라 성공률** 달성.
**LightNav-ER**은 8개 이형 추론 벤치마크에서 **최고 complete-set 평균** 성능 보임.
실제 환경 평가에서 **로봇 구조**, **다양한 장면**, **정적/동적 목표**에 대한 **zero-shot 일반화** 가능.

의의 및 한계

LightNav-0은 단일 모델로 다양한 탐색 작업을 처리할 수 있는 기반을 제공하며, 사전 학습된 VLM의 공간 지능 활용 가능성을 입증한다. 특히, **zero-shot 일반화**와 **로봇 구조 독립성**은 기존 시스템과 차별화된다. 그러나, **실제 환경에서의 성능**은 시뮬레이션과 차이가 있을 수 있으며, **복잡한 다중 객체 추적**이나 **동적 환경 대응**에 대한 추가 연구가 필요하다.

실용적 활용

LightNav-0는 로봇 탐색, 드론 경로 계획, 서비스 로봇 등 다양한 이형 시스템에서 즉시 적용 가능하다. 특히, **로봇 구조 변경 시 재학습 없이 즉시 사용**할 수 있어, **산업 현장에서의 유연한 운영**에 유리하다.