ABot-N1: Toward a General Visual Language Navigation Foundation Model

Visual Language Navigation foundation models aim to unify deep reasoning for grounded spatial decisions with broad versatility for diverse embodied tasks. Current approaches typically achieve this integration via monolithic policies that map observations directly to actions, yet they often suffer from coordinate drift and poor handling of long-tail semantics. Furthermore, these black-box mappings lack interpretability, hindering the simultaneous achievement of generality, robustness, and transparency. We present ABot-N1, a step toward a general Visual Language Navigation foundation model, that addresses these challenges by decoupling cognition from control via a slow-fast architecture guided by dual visual-language signals. More specifically, a slow vision-language reasoner performs explicit Chain-of-Thought reasoning while producing a pixel goal. This compact set of image-space anchor points serves as a universal interface for diverse tasks, including point-goal, object-goal, poi-goal, instruction-following, and person-following. Subsequently, a fast action expert leverages both the textual cues and the pixel guidance to generate continuous waypoints at the native control frequency. By bridging high-level intents and low-level control through pixel-grounded anchors paired with explicit linguistic traces, our approach ensures robust, generalizable, and interpretable navigation across simulation and real-world benchmarks. ABot-N1 establishes new state-of-the-art records, delivering massive gains specifically in urban-scale navigation: boosting POI arrival by 35.0% (to 77.3%) and achieving 95.4%/92.9% SR in complex indoor and outdoor scenes. It also maintains superior robustness across object-reaching, person-following, and instruction-following tasks. New Point-Goal/POI-Goal benchmarks are released as open source to advance the field of urban-scale navigation.

한 줄 요약

ABot-N1은 시각 언어 내비게이션의 일반화, 해석성, 안정성을 동시에 달성하기 위한 슬로-패스트 아키텍처 기반의 펀다멘탈 모델이다.

핵심 기여도

슬로-패스트 아키텍처를 도입하여 인지와 제어를 분리, 해석성과 안정성 향상.
CoT 추론과 픽셀 목표를 생성하는 4B 파라미터 VLM 기반 슬로 시스템 도입.
2B 파라미터 VLM 기반 패스트 시스템으로 실시간 웨이포인트 생성.
POI-Goal에서 35.0% 성능 향상 (77.3% 달성), 실내/실외 SR 95.4%/92.9% 기록.

핵심 아이디어

ABot-N1은 기존 단일 정책 기반 모델이 직면한 해석성 부족, 좌표 드리프트, 장미세멘틱 처리 문제를 해결하기 위해 인지와 제어를 분리한 슬로-패스트 아키텍처를 제안한다. 슬로 시스템은 4B 파라미터의 멀티모달 VLM을 사용하여 CoT 추론과 픽셀 목표를 생성하며, 이는 시각적 공간에서의 다음 서브목표를 정의한다. 패스트 시스템은 2B 파라미터의 VLM을 통해 실시간 시각 입력과 슬로 시스템의 CoT 및 픽셀 목표를 결합하여 웨이포인트를 생성한다. 이는 고주파 제어와 저주파 추론을 분리하면서도, 둘을 구조화된 인터페이스로 연결함으로써 일반화와 해석성을 동시에 달성한다.

기술적 접근법

**슬로 시스템**: 4B 파라미터 멀티모달 VLM, CoT 추론, 픽셀 목표 생성.
**패스트 시스템**: 2B 파라미터 VLM, 실시간 웨이포인트 생성.
**입력**: 시각 기억, 현재 관측, 자연어 지시.
**출력**: CoT 추론, 픽셀 목표, 웨이포인트.
**하이퍼파라미터**: 슬로 시스템은 저주파 작동, 패스트 시스템은 고주파 작동.
**인터페이스**: CoT + 픽셀 목표를 통한 통일된 제어 인터페이스.

주요 결과

**POI-Goal**: 35.0% 성능 향상 (77.3% 달성).
**실내/실외 SR**: 각각 95.4%, 92.9%.
**Object-Goal**: 84.9% SR.
**Person-Following**: 90.1% SR.
**R2R-CE**: 70.89% SR.
**Point-Goal**: 92.9% SR.

의의 및 한계

ABot-N1은 단일 모델로 다중 내비게이션 작업을 처리하면서도 해석성과 안정성을 유지하는 데 성공했다. 이는 시각 언어 내비게이션 분야에서 펀다멘탈 모델로의 전환점을 의미하며, 실제 로봇에 적용 가능성을 제시한다. 그러나 모델 크기(4B+2B 파라미터)는 실시간 처리와 에너지 효율성에 한계를 초래할 수 있으며, 복잡한 환경에서의 장기적 추적 능력은 추가 실험 필요. 또한, CoT 추론 과정에서 발생할 수 있는 오류 전파 문제도 개선 대상이다.

실용적 활용

ABot-N1은 도시 규모의 실내/실외 내비게이션, 사람 추적, 객체 탐색, 자연어 지시 수행 등 다양한 로봇 응용 분야에 활용 가능하다. 특히, 해석성과 안정성이 요구되는 산업용 로봇, 자율 주행 시스템, 서비스 로봇 등에 적합하며, 복합 작업 환경에서의 일반화 능력이 뛰어난 모델로 활용될 수 있다.