GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed

Autoregressive (AR) grounding models serialize spatial predictions, introducing sequential latency and imposing a causal order on output tokens. We view grounding as visual evidence extraction: objects, locations, and spatial relations are jointly constrained by the image and query, yet their dependencies do not imply an intrinsic left-to-right generation order. This distinction makes bidirectional diffusion a natural fit, allowing spatial hypotheses to emerge in parallel and be jointly refined through iterative denoising. We introduce GroundAnything, a 4B-parameter grounding foundation model that reconciles fast parallel decoding with precise localization through blockwise denoising. Training combines grounding pretraining from public datasets and dedicated data engines, direct AR-to-diffusion conversion with joint AR and diffusion objectives, supervised fine-tuning, and GRPO-based reinforcement post-training. Across 30 grounding benchmarks, our autoregressive variant, GroundAnything-VLM, establishes a new overall state of the art among similarly sized models at 72.42%, remaining competitive with GPT-6 Astra (71.35%). With entropy-guided decoding, GroundAnything also surpasses the prior state of the art at this scale, averaging 61.75% versus 53.32% for the fast MTP-based LocateAnything model. We further explore decoding strategies, showing that an optional self-speculative mode achieves a 4.51times speedup over the AR counterpart with a 0.74 percentage-point drop in COCO F1mIoU. Infrastructure experiments show that progressive inference optimizations translate parallel decoding into practical speedups. These support efficient visual grounding in latency-sensitive real-world systems.

한 줄 요약

GroundAnything는 4B 파라미터를 가진 디퓨전 기반 모델로, 빠른 병렬 디코딩과 정밀한 시각 정착을 동시에 달성한다.

핵심 기여도

GroundAnything는 4B 파라미터를 사용하여 30개의 벤치마크에서 72.42%의 최고 성능을 달성함.
지도 디코딩(entropy-guided decoding)을 통해 LocateAnything(53.32%)보다 61.75%의 정확도를 기록함.
자기 추론(self-speculative) 모드에서 GroundAnything-VLM 대비 4.51× 가속화를 달성함.
블록 단위 디노이징(blockwise denoising)을 통해 병렬 디코딩과 정밀 정착을 조화시킴.

핵심 아이디어

기존의 자동 회귀(Autoregressive, AR) 모델은 시퀀셜한 디코딩 방식으로 인해 레이턴시가 발생하며, 출력 토큰 간 인과 관계를 강제한다. 이에 반해, GroundAnything는 시각 정착을 "비주얼 증거 추출"로 정의하고, 객체, 위치, 공간 관계가 이미지와 쿼리에 의해 공동으로 제약받는다는 점을 강조한다. 이는 좌우 순서에 구애받지 않는 병렬 디코딩이 가능하다는 의미이다. 디퓨전 모델은 이와 같은 비선형적 공간 가설 형성을 허용하며, 반복적인 디노이징을 통해 가설을 공동으로 정제할 수 있다. GroundAnything는 이러한 아이디어를 기반으로, 블록 단위 디노이징을 통해 정밀한 정착과 빠른 병렬 디코딩을 동시에 달성한다.

기술적 접근법

**모델 아키텍처**: MoonViT-V2 (Kimi K3) 시각 인코더, 2×2 공간 집약 프로젝터, Qwen3-4B 언어 디코더를 사용.
**디코딩 방식**: 블록 단위 디노이징(blockwise denoising, B=32)을 통해 병렬 디코딩을 수행.
**트레이닝 전략**: Grounding pretraining, AR-to-diffusion 변환, 감독 미세조정, GRPO 기반 강화 학습을 결합.
**출력 인터페이스**: 1,000개의 정량화 좌표 토큰(<0>–<999>)과 공유된 어휘를 사용하여 다양한 정착 작업을 통합.

주요 결과

GroundAnything-VLM은 30개의 정착 벤치마크에서 72.42%의 정확도를 달성하여 동일 규모 모델 중 최고 성능.
지도 디코딩 모드에서 61.75% (LocateAnything 53.32% 대비 +8.43%)의 정확도를 기록.
자기 추론(self-speculative) 모드에서 GroundAnything-VLM 대비 4.51× 가속화, COCO F1mIoU에서 0.74%포인트 하락.
CUDA Graph, FP8, SGLang 기반 인프라 최적화를 통해 병렬 디코딩이 실용적 속도 향상으로 이어짐.

의의 및 한계

GroundAnything는 디퓨전 모델을 활용한 시각 정착 분야에서 중요한 진전을 이루었다. 특히, 블록 단위 디노이징을 통해 병렬 디코딩과 정밀 정착을 조화시키는 새로운 접근법을 제시하였다. 또한, 지도 디코딩과 자기 추론 모드를 통해 속도-정확도 트레이드오프를 명확히 분석하였다. 그러나, 모델의 4B 파라미터 규모는 대규모 인프라와 높은 연산 비용을 요구하며, 실시간 시스템 적용 시 메모리 효율성 개선이 필요할 수 있다. 또한, 특정 도메인(예: GUI, 문서 OCR)에서의 성능은 추가 실험을 통해 검증이 필요하다.

실용적 활용

GroundAnything는 객체 탐지, 참조 표현 이해, OCR, GUI 상호작용, 체화 지각 등 다양한 시각 정착 작업에 적용 가능하다. 특히, 레이턴시 민감한 실시간 시스템(예: 로봇 비전, 자율 주행)에서 병렬 디코딩을 통해 빠른 응답이 필요한 상황에 유용하다. 또한, 인프라 최적화 기술을 통해 클라우드 기반 서비스 및 모바일 애플리케이션에도 확장 가능하다.