LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding

Vision-language models (VLMs) commonly formulate visual grounding and detection as a coordinate-token generation problem, serializing each 2D box into multiple 1D tokens that are learned and decoded largely independently. This token-by-token decoding mismatches the coupled structure of box geometry and creates a practical inference bottleneck due to strictly sequential generation. We introduce LocateAnything, a unified generative grounding and detection framework based on Parallel Box Decoding (PBD). By decoding geometric elements such as bounding boxes and points as atomic units in a single step, LocateAnything preserves intra-box geometric coherence and unlocks substantial parallelism. We show that PBD improves both decoding throughput and localization accuracy. We further develop a scalable data engine and curate LocateAnything-Data, a large-scale dataset with more than 138 million training samples, substantially increasing data diversity for high-precision localization. Extensive evaluations show that LocateAnything advances the speed-accuracy frontier, achieving significantly higher decoding throughput while improving high-IoU localization quality across diverse benchmarks. The results highlight the complementary benefits of Parallel Box Decoding and large-scale training data in enabling efficient and precise unified visual grounding and detection.

📋 한 줄 요약

**[Visual Grounding / Parallel Decoding]** LocateAnything가 Parallel Box Decoding(PBD)으로 bounding box를 single step에 atomic하게 디코딩 — sequential 토큰 생성 병목 해소, 138M+ 샘플 데이터셋과 결합해 throughput·high-IoU localization 동시 frontier push.

🎯 핵심 기여도

VLM이 visual grounding·detection을 coordinate-token generation 문제로 흔히 formulate, 각 2D box를 multiple 1D token으로 직렬화해 largely independently 학습·디코딩함을 진단.
이러한 token-by-token 디코딩이 box geometry의 coupled structure에 mismatch하며 strictly sequential 생성으로 inference 병목 유발.
LocateAnything 도입 — Parallel Box Decoding(PBD) 기반 unified generative grounding·detection 프레임워크.
Bounding box·point 등 기하 요소를 atomic unit으로 single step 디코딩, intra-box geometric coherence 보존하고 substantial parallelism unlock. PBD가 decoding throughput과 localization accuracy 모두 개선. Scalable 데이터 엔진 + LocateAnything-Data — 138M+ 학습 샘플의 large-scale 데이터셋 — high-precision localization을 위한 데이터 다양성 substantially 증가.

💡 핵심 아이디어

VLM의 grounding은 box를 토큰 시퀀스로 직렬화하지 말고 atomic geometric unit으로 한 번에 parallel decoding해야 한다 — 이는 intra-box geometric coherence를 보존하고 sequential 병목을 제거하면서 138M+ 대규모 데이터와 결합 시 speed·accuracy frontier를 동시 push한다.

🔬 기술적 접근법

**방법론**: LocateAnything — Parallel Box Decoding(PBD) + 대규모 데이터 엔진.
**핵심 기법**: (1) Bounding box·point를 atomic unit으로 single step decoding, (2) Intra-box geometric coherence 보존하는 PBD 설계, (3) Sequential 토큰 생성 대비 substantial parallelism unlock, (4) Scalable 데이터 엔진으로 LocateAnything-Data 138M+ 샘플 큐레이션, (5) Unified generative grounding + detection 프레임워크.

📊 주요 결과

PBD가 decoding throughput과 localization accuracy 모두 개선.
다양 벤치마크에서 high-IoU localization 품질 우월.
138M+ 학습 샘플의 LocateAnything-Data로 데이터 다양성 substantial 증가.
Speed-accuracy frontier에서 진보.

💭 의의 및 한계

**의의**: VLM grounding의 token serialization 한계를 atomic decoding으로 해소, throughput·accuracy 동시 개선이라는 보기 드문 trade-off 극복, 138M+ 데이터로 high-precision localization 새 기준, generative grounding·detection 통합으로 generality. **한계**: 138M+ 데이터 큐레이션·학습 비용, PBD가 매우 복잡한 다 객체·관계 추론에 미적용, atomic unit 정의의 다른 기하 task(polygon·mask) 확장 여지.

🚀 실용적 활용

실시간 visual grounding(VLM 기반).
자율주행·로봇의 빠른 객체 localization.
대규모 detection·grounding pipeline의 throughput 향상.