GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives

Precise grounding matters. It specifies which object is the target and where that object is, even in clutter and for tiny objects, and it has to be fast enough for closed-loop control. Yet vision-language-action (VLA) and world-action models (WAMs) take perception from general-purpose vision-language and video-generation backbones, which still fail in these settings. We introduce GroundingPI, a 4B grounding foundation model that generates points and boxes as quantized coordinates in a shared vocabulary. Training combines multimodal and spatial pretraining, supervised fine-tuning, and reinforcement learning with GRPO, using supervision from public datasets and dedicated data engines. Against 44 baselines across 34 grounding benchmarks spanning 11 perceptual capabilities, GroundingPI establishes a new state of the art, averaging 73.68%, above the larger GPT-6 Astra (71.54%). As a downstream visual backbone, GroundingPI improves performance on robotic manipulation and autonomous driving. On RoboTwin 2.0, it outperforms every mainstream backbone we evaluate in all four out-of-distribution settings, by up to 24.8% relative to the strongest backbone. On RoboCasa-GR1, GroundingPI trained with 50% of the demonstrations outperforms those baselines trained with 75%. On nuScenes, used as the visual backbone, GroundingPI attains an average open-loop L2 error of 0.296 m. We systematically analyze GroundingPI's pretraining in scale and data composition. Downstream autonomous driving and robotic manipulation improve as the pretraining is scaled. Analyzing the data recipe across these 11 perceptual capabilities shows dense grounding's substantial benefits for both, and OCR's potential as a catalyst for perceptual learning. These results support grounding as a perceptual foundation, and dedicated perceptual pretraining as a promising direction for foundation models of physical intelligence.

한 줄 요약

GroundingPI는 4B 파라미터를 가진 시각적 원시 기반 지면 모델로, 34개의 지면 벤치마크에서 평균 73.68% 성능을 달성하며 물리적 지능 분야에서 뛰어난 전이 성능을 보인다.

핵심 기여도

GroundingPI는 4B 파라미터를 가진 지면 기반 모델로, MoonViT-V2와 Qwen3-4B로 구성된 아키텍처를 사용한다.
34개의 지면 벤치마크에서 44개의 베이스라인을 초과하며 평균 73.68% 성능을 달성, GPT-6 Astra(71.54%)를 상회한다.
RoboTwin 2.0에서 가장 강력한 베이스라인 대비 최대 24.8% 상대 개선을 보이며, RoboCasa-GR1에서는 50%의 데모 데이터로 75% 데모 데이터 기반 모델을 능가한다.
nuScenes에서 평균 오픈루프 L2 오차 0.296m를 달성하며 자율 주행 분야에서도 뛰어난 성능을 보인다.

핵심 아이디어

GroundingPI는 시각적 원시(점, 바운딩 박스)를 기반으로 지면 작업을 구조화된 생성 작업으로 통합하는 모델이다. 이는 공통 어휘 내에서 1,000개의 양자화된 좌표 토큰(<0>–<999>)을 사용하여 다양한 지면 작업(지정, 포인팅, OCR, GUI)을 언어 조건에 따라 처리한다. 기존 VLM(Vision-Language Model)은 물리적 상호작용에 필요한 정밀 지면 능력이 부족하며, 이는 행동 학습의 병목 현상으로 작용한다. GroundingPI는 GRPO(Gradient-based Reinforcement Policy Optimization)를 포함한 단계적 학습 레시피를 통해 멀티모달 및 공간 사전 학습, 감독 미세 조정, 강화 학습을 결합하여 이 문제를 해결한다. 이는 시각적 정확도와 전이 성능을 동시에 향상시키는 새로운 접근법이다.

기술적 접근법

**모델 아키텍처**: MoonViT-V2 시각 인코더와 Qwen3-4B 언어 디코더로 구성된 오토회귀 지면 기반 모델.
**학습 레시피**: 멀티모달 및 공간 사전 학습 → 감독 미세 조정 → GRPO 기반 강화 학습.
**데이터**: 공개 데이터셋과 전용 데이터 엔진을 활용.
**출력 형식**: 1,000개의 양자화 좌표 토큰과 의미적 라벨, 프로토콜 마커를 공유하는 출력 어휘.
**하이퍼파라미터**: 4B 파라미터, 2×2 시각 피처 집계, 2층 MLP로 언어 임베딩 공간 매핑.

주요 결과

**34개 지면 벤치마크**: 평균 73.68% 성능 달성, GPT-6 Astra(71.54%)를 상회.
**RoboTwin 2.0**: 4개의 OOD 설정에서 가장 강력한 베이스라인 대비 최대 24.8% 상대 개선.
**RoboCasa-GR1**: 50% 데모 데이터로 75% 데모 데이터 기반 모델을 능가.
**nuScenes**: 평균 오픈루프 L2 오차 0.296m 달성.
**데이터 조성 분석**: 밀도 지면(dense grounding)이 자율 주행 및 로봇 조작에 유리하며, OCR은 지면 학습 촉진에 잠재력 있음.

의의 및 한계

GroundingPI는 정밀 지면 능력을 기반으로 한 물리적 지능 기초 모델로서, 기존 VLM의 제한을 극복하고 전이 성능을 향상시킨다. 특히, 밀도 지면은 자율 주행과 로봇 조작에서 중요한 역할을 하며, OCR은 지면 학습의 촉진제로 작용할 수 있다. 그러나, 모델의 성능은 사전 학습 규모와 데이터 조성에 크게 의존하며, 이는 추가 연구가 필요한 부분이다. 또한, 모델의 실행 속도나 대규모 배포 가능성에 대한 구체적 평가가 부재하며, 이는 실용적 적용 시 한계로 작용할 수 있다.

실용적 활용

GroundingPI는 자율 주행, 로봇 조작, 인공 지능 기반 제조 시스템 등에서 정밀 지면 능력이 요구되는 분야에 적용 가능하다. 특히, RoboTwin 2.0과 RoboCasa-GR1에서의 성능 개선은 실제 환경에서의 신뢰성 있는 실행을 가능하게 하며, OCR 기반 지면 학습은 다양한 시각적 작업에 활용될 수 있다.