OVEarth-Bench: Evaluating Category Breadth and Query Diversity for Open-Vocabulary Earth Observation

Open-vocabulary Earth observation (EO) aims to localize geospatial concepts specified in natural language rather than a fixed label set. Existing benchmarks, however, usually cover narrow category vocabularies or limited query forms. To fill this gap, we introduce OVEarth-Bench, which extends existing evaluation in two directions: category breadth, through broad hierarchical category coverage with positive and negative expressions, and query diversity, through vocabulary, referring, and reasoning queries. The benchmark supports mask and box localization under a unified zero-shot protocol. We evaluate a broad set of general and EO-specific methods. The evaluation reveals that: (1) the performance of current methods remains limited, while broader category coverage yields more stable model rankings; (2) MLLM-based methods achieve the strongest overall performance; and (3) EO-specific methods generally underperform general models and rarely match the strongest methods. These findings provide guidance for future open-vocabulary EO method design and highlight the importance of developing more realistic, diverse, high-quality, and large-scale benchmarks for reliable evaluation. Our data and evaluation package are released at https://earth-insights.github.io/OVEarth-bench.

한 줄 요약

OVEarth-Bench는 지구 관측 이미지에서 개방형 어휘와 다양한 질의 유형을 평가하는 새로운 벤치마크로, MLLM 기반 모델이 가장 우수한 성능을 보인다.

핵심 기여도

OVEarth-Bench는 172개 범주와 1,346개의 고유 어휘를 포함한 **카테고리 범위(category breadth)**와 **질의 다양성(query diversity)**를 평가한다.
49개의 일반 및 EO 전용 모델을 포함한 **제로샷 평가**를 수행하여 MLLM 기반 모델이 전체적으로 가장 우수한 성능을 보임.
SELF1E-8B는 SELF1E-2B 대비 7.52–10.12 **m a -IoU 포인트** 개선, Sa2VA-Qwen3-VL-4B는 2B 버전 대비 1.08–5.46 포인트 개선.
EO 전용 모델은 일반 모델에 비해 성능이 낮고, 상위 10개 결과에 포함되지 않음.

핵심 아이디어

OVEarth-Bench는 기존 지구 관측 이미지 분석 벤치마크가 어휘 범위와 질의 유형이 제한적이라는 문제를 해결하기 위해 제안되었다. 기존 연구는 고정된 라벨 집합만을 사용하거나, 특정한 질의 형식만을 지원하여 실제 사용 시 한계가 있었다. 이에 따라, OVEarth-Bench는 **172개 범주로 구성된 계층적 분류 체계**와 **긍정/부정 표현을 포함한 1,346개의 고유 어휘**를 통해 **카테고리 범위(category breadth)**를 확장하고, **어휘, 참조, 추론 질의**를 통해 **질의 다양성(query diversity)**을 평가한다. 이는 모델이 단순히 특정 라벨에만 의존하는 것이 아닌, 자연어로 표현된 개념을 정확히 인식하고 추론할 수 있는 능력을 평가하는 데 기여한다.

기술적 접근법

OVEarth-Bench는 세 가지 주요 평가 태스크를 정의한다:

**개방형 어휘(open-vocabulary) 태스크**: 긍정/부정 표현을 포함한 질의에 대해 타겟을 정위치화하고, 부정 질의는 거부해야 함.
**참조(referring) 태스크**: 공간 맥락을 포함한 자연어 표현을 기반으로 객체를 식별.
**추론(reasoning) 태스크**: 특정 범주를 명시하지 않고 기능적 설명을 통해 객체를 식별.

평가 지표로는 **m a -Precision, m a -Recall, m a -IoU**를 사용하며, **m i -IoU**, **m i -F1 0.5:0.95**, **MCC** 등도 함께 보고된다.
모델 비교는 **SELF1E, Sa2VA-Qwen3-VL, UniPixel** 등의 49개 모델 변형을 대상으로 진행되었으며, **zero-shot 프로토콜** 하에서 평가되었다.

주요 결과

SELF1E-8B는 SELF1E-2B 대비 7.52–10.12 **m a -IoU 포인트** 개선.
Sa2VA-Qwen3-VL-4B는 2B 버전 대비 **1.08–5.46 m a -IoU 포인트** 개선.
UniPixel-7B는 3B 버전 대비 3.46–6.04 포인트 하락.
MLLM 기반 모델이 **상위 10개 결과 중 8–9개를 차지**, EO 전용 모델은 상위 10개에 포함되지 않음.
EO 전용 모델은 일반 모델보다 성능이 낮고, **상위 10개 결과에 포함되지 않음**.

의의 및 한계

OVEarth-Bench는 지구 관측 이미지 분석에서 모델의 **개방형 어휘 처리 능력**과 **다양한 질의 유형에 대한 대응 능력**을 종합적으로 평가할 수 있는 첫 번째 벤치마크로, MLLM 기반 모델의 우수성을 입증하였다. 또한, EO 전용 모델이 일반 모델에 비해 성능이 낮다는 점은, EO 분야에서의 모델 개발 방향에 중요한 시사점을 제공한다. 그러나, OVEarth-Bench는 **새로 수집된 EO 이미지**를 기반으로 하므로, 기존 데이터셋과의 비교는 제한적이다. 또한, **모델의 스케일링 효과**는 일관되지 않아, 단순히 파라미터 수만으로 성능을 예측하기 어렵다는 한계가 있다.

실용적 활용

OVEarth-Bench는 지구 관측 이미지에서 자연어 질의에 기반한 객체 식별 및 추론이 필요한 **지리 정보 시스템**, **재난 대응**, **농업 감시** 등 다양한 산업 분야에서 활용될 수 있다. 특히, MLLM 기반 모델의 성능 우수성은 **대규모 언어-이미지 모델**과 **EO 데이터**를 결합한 연구 및 제품 개발에 중요한 기초 자료가 될 수 있다.