YOLO-World: Real-Time Open-Vocabulary Object Detection

The You Only Look Once (YOLO) series of detectors have established themselves as efficient and practical tools. However, their reliance on predefined and trained object categories limits their applicability in open scenarios. Addressing this limitation, we introduce YOLO-World, an innovative approach that enhances YOLO with open-vocabulary detection capabilities through vision-language modeling and pre-training on large-scale datasets. Specifically, we propose a new Re-parameterizable Vision-Language Path Aggregation Network (RepVL-PAN) and region-text contrastive loss to facilitate the interaction between visual and linguistic information. Our method excels in detecting a wide range of objects in a zero-shot manner with high efficiency. On the challenging LVIS dataset, YOLO-World achieves 35.4 AP with 52.0 FPS on V100, which outperforms many state-of-the-art methods in terms of both accuracy and speed. Furthermore, the finetuned YOLO-World achieves remarkable performance on several downstream tasks, including object detection and open-vocabulary instance segmentation. Code and models are available at: https://github.com/AILab-eve/YOLO-World.

한 줄 요약

YOLO-World는 CLIP 기반 텍스트 인코더와 RepVL-PAN을 활용한 실시간 오픈-바보카 보물 감지 모델로, LVIS에서 35.4 AP, 52.0 FPS를 달성한다.

핵심 기여도

YOLO-World를 제안하여, YOLO 기반 모델에 오픈-바보카 감지 능력을 부여.
RepVL-PAN 모듈을 통해 시각-언어 정보를 융합하며, 텍스트 인코더는 추론 시 제거 가능.
대규모 데이터셋을 기반으로 region-text contrastive learning을 통해 사전 학습.
LVIS 데이터셋에서 35.4 AP, 52.0 FPS를 달성하며, 기존 방법보다 정확도와 속도 모두 우수.

핵심 아이디어

YOLO-World는 기존 YOLO의 고정된 카테고리 제한을 극복하기 위해 CLIP 텍스트 인코더와 vision-language modeling을 결합한 새로운 접근법을 제시한다. 기존 오픈-바보카 감지 모델은 대규모 텍스트-이미지 데이터를 기반으로 사전 학습을 수행하지만, 대부분의 경우 계산 부담이 크고, 실시간 처리가 어려웠다. YOLO-World는 RepVL-PAN이라는 새로운 모듈을 통해 이미지와 텍스트 특징을 융합하며, 텍스트 인코더는 추론 시 제거되어 가속화된다. 이는 실시간 처리와 간단한 배포를 가능하게 한다. 또한, region-text contrastive loss를 사용하여 다양한 데이터(감지, 그라운딩, 이미지-텍스트)를 통합하여 사전 학습을 수행함으로써, YOLO-World는 대규모 어휘 집합을 처리할 수 있는 능력을 갖춘다.

기술적 접근법

**모델 아키텍처**: YOLO-World는 YOLO 감지기, 텍스트 인코더, RepVL-PAN으로 구성된다.
**RepVL-PAN**: 텍스트와 이미지 특징을 융합하는 모듈로, 텍스트 인코더는 추론 시 제거되어 가속화.
**사전 학습 방법**: region-text contrastive learning을 사용하여 detection, grounding, image-text 데이터를 통합.
**데이터셋**: Objects365와 같은 대규모 데이터셋을 기반으로 사전 학습.
**추론 속도**: V100 GPU 기준 52.0 FPS 달성.

주요 결과

**LVIS 데이터셋**: YOLO-World는 35.4 AP, 52.0 FPS를 달성하며, 기존 방법 대비 정확도와 속도 모두 우수.
**다운스트림 태스크**: 미세 조정(fine-tuning) 후, 오픈-바보카 인스턴스 세그멘테이션 및 리퍼링 객체 감지에서도 뛰어난 성능.
**사전 학습 효과**: 더 많은 데이터로 사전 학습할수록 오픈-바보카 감지 능력 향상.

의의 및 한계

YOLO-World는 YOLO의 실시간 처리 능력과 오픈-바보카 감지를 결합한 첫 번째 모델로, 실시간 애플리케이션에서 유용하다. RepVL-PAN과 region-text contrastive learning을 통해 기존 방법보다 효율적이고, 텍스트 인코더 제거를 통해 추론 속도를 개선했다는 점에서 학술적·실용적 가치가 있다. 그러나, 텍스트 인코더가 사전 학습에 중요한 역할을 하기 때문에, 텍스트 품질에 따라 성능이 변동할 수 있으며, 복잡한 문맥 이해는 여전히 한계가 있다.

실용적 활용

YOLO-World는 로봇, 자율 주행, 보안 감시 등 다양한 실시간 객체 감지가 필요한 산업에 적용 가능하다. 특히, 사전 정의된 카테고리에 제한되지 않고, 사용자 정의 텍스트 프롬프트를 통해 새로운 객체를 감지할 수 있어, 유연한 애플리케이션 개발에 유리하다.