AnyGroundBench: A Specialized-Domain Benchmark for Video Grounding in Vision-Language Models

Vision-Language Models (VLMs) have demonstrated immense promise in Spatio-Temporal Video Grounding (STVG). However, current evaluation protocols are largely confined to zero-shot assessments on general, daily-life benchmarks. This creates a critical disconnect from real-world applications in specialized fields, where models inevitably encounter rare visual concepts and complex spatio-temporal dynamics. Since exhaustive pre-training across infinite data distributions is infeasible, the ability to adapt to novel domains is essential. To bridge this gap, we introduce AnyGroundBench, a domain-adaptation benchmark designed to shift the STVG evaluation paradigm from static zero-shot testing to rigorous domain adaptation. Targeting five specialized domains (animal, industry, sports, surgery, and public security), AnyGroundBench pairs newly captured videos such as expert-annotated mouse behaviors with established datasets, unifying them through dense, high-fidelity spatio-temporal annotations. Crucially, the benchmark provides dedicated training subsets to systematically measure domain adaptability. We extensively evaluate 15 state-of-the-art VLMs, assessing their zero-shot generalization and In-Context Learning (ICL) capabilities under practical computational constraints. Ultimately, our findings reveal that current models fail in both zero-shot and ICL-based adaptation when confronted with specialized domains, exposing critical flaws in spatio-temporal reasoning that future research must address.

한 줄 요약

AnyGroundBench는 전문 분야에서의 영상-언어 모델의 영상 접지 성능을 평가하기 위한 도메인 적응 벤치마크로, 5개 전문 분야와 2,040개 영상으로 구성된다.

핵심 기여도

AnyGroundBench는 5개 전문 도메인(동물, 산업, 스포츠, 수술, 공공 안보)에 걸쳐 2,040개의 영상과 고밀도 시공간 경계 상자로 구성됨.
기존 영상 접지 평가가 제로샷 기반인 반면, AnyGroundBench는 도메인 적응성을 평가하는 체계적인 훈련 세트를 제공함.
15개의 최신 VLM을 평가한 결과, 제로샷 및 ICL 기반 적응 모두 실패하며, 특히 공간 접지 능력이 취약함을 밝힘.
시공간 영상 접지를 공간 영상 접지(SVG)와 시간 영상 접지(TVG)로 분해하여 실패 원인을 구체화함.

핵심 아이디어

기존 영상 접지 연구는 주로 일상적인 도메인에서 제로샷 성능을 평가하는 데 집중되어 있다. 그러나 실제 전문 분야(예: 수술, 동물 행동 분석)에서는 희귀한 시각 개념과 복잡한 시공간 동역학이 등장하며, 이에 대한 적응 능력이 필수적이다. AnyGroundBench는 이러한 문제를 해결하기 위해, 전문 도메인에서의 적응성을 평가하는 새로운 벤치마크를 제안한다. 특히, 기존 제로샷 평가에서 벗어나, 적은 샘플 수를 기반으로 한 도메인 적응성을 측정하는 훈련 세트를 포함함으로써, 모델이 새로운 환경에 얼마나 효과적으로 조정되는지를 평가한다. 이는 In-Context Learning (ICL)을 활용한 적응 실험을 통해, 실제 계산 자원 제약을 반영한 평가가 가능하다는 점에서 혁신적이다.

기술적 접근법

AnyGroundBench는 5개 전문 도메인(동물, 산업, 스포츠, 수술, 공공 안보)을 대상으로, 2,040개의 영상과 고밀도 시공간 경계 상자로 구성됨.
도메인별 훈련 세트를 제공하여, 모델의 few-shot 적응 능력을 체계적으로 평가함.
평가 지표로는 [email protected]가 사용됨.
15개의 VLM(개방형 및 비개방형)을 평가하며, 시공간 영상 접지를 SVG와 TVG로 분해하여 실험함.
In-Context Learning (ICL)을 사용하여, backpropagation 없이 모델의 적응 능력을 평가함.

주요 결과

15개 VLM 모두 전문 도메인에서 제로샷 성능이 낮아, 공간 접지 능력이 극히 제한됨.
[email protected] 기준으로, 가장 성능이 높은 모델조차도 실용적인 수준에 도달하지 못함.
ICL을 사용한 적응 실험에서도, 시간 접지(TVG)는 개선되지만, 공간 접지(SVG)는 오히려 악화되는 경우가 있음.
전문 도메인에서 TVG는 SVG보다 상대적으로 안정적이지만, 전체 시공간 접지(STVG)는 여전히 매우 어려움.

의의 및 한계

AnyGroundBench는 영상-언어 모델이 전문 분야에서의 적응 능력을 평가하는 체계적인 벤치마크로, 기존 제로샷 평가의 한계를 극복한다. 특히, 도메인별 훈련 세트를 통해 few-shot 조건에서의 성능을 측정함으로써, 실제 세계 적용 가능성에 대한 평가가 가능하다. 그러나, AnyGroundBench는 전문 도메인의 데이터 수집이 어려운 점을 반영하여 few-shot 기반 평가를 강조하지만, 이는 모델이 충분한 데이터를 제공받을 경우의 성능을 반영하지 못할 수 있다. 또한, 일부 전문 도메인(예: 수술)에서는 데이터의 질이 높지만, 양이 제한되어 있어 보다 많은 연구가 필요하다.

실용적 활용

AnyGroundBench는 의료(수술 분석), 산업(생산 라인 모니터링), 동물 행동 연구 등 전문 분야에서의 영상 접지 모델 개발에 활용될 수 있다. 특히, 적은 샘플 수로도 모델이 효과적으로 적응할 수 있는 기술을 연구하는 데 중요한 기초 자료가 될 수 있다.