WeVisOne-VL: Unified Visual Perception from Objects to Pixels

Existing vision-language models (VLMs) remain unreliable for fine-grained visual perception. In this report, we present WeVisOne-VL (WeChat Vision All-in-One), a powerful VLM that unifies object-level and pixel-level perception through structured next-token prediction. It supports multiple visual tasks including object detection, referring localization, counting, OCR, segmentation, and matting, enabling localization at any user-specific granularity, from points and boxes to masks and alpha mattes. Architecturally, we integrate a lightweight pixel decoder into the VLM via a special <OBJ> token to generate instance-level pixel outputs. We train the model with a three-stage curriculum SFT followed by mixed-task RL. Across over 30 benchmarks, WeVisOne-VL demonstrates leading performance on both object-level and pixel-level tasks, while maintaining robust rejection for object-absent queries. By releasing WeVisOne-VL to the open-source community, we hope to advance VLMs from broad visual understanding toward truly reliable perception systems for real-world deployment.

한 줄 요약

WeVisOne-VL은 객체 수준과 픽셀 수준의 시각 인식을 통합한 다목적 비전-언어 모델로, 3단계 커리큘럼 학습과 <OBJ> 토큰 기반 디코더를 통해 30개 이상의 벤치마크에서 우수한 성능을 보인다.

핵심 기여도

객체 수준(감지, OCR)과 픽셀 수준(세그멘테이션, 매트팅) 인식을 하나의 모델에서 통합.
<OBJ> 토큰을 활용한 가벼운 픽셀 디코더를 도입하여 SAM 같은 별도 대규모 모델 없이 픽셀 예측 가능.
3단계 커리큘럼 SFT + 혼합 작업 RL 학습 파이프라인을 통해 정밀도와 추론 안정성 향상.
2B, 4B 규모 모델로, 100M 개의 고해상도 어노테이션 데이터로 학습.

핵심 아이디어

WeVisOne-VL은 기존 VLM이 객체 인식에 집중한 반면, 픽셀 수준의 정밀 인식을 지원하지 못하는 문제를 해결하기 위해, 객체와 픽셀을 모두 처리할 수 있는 통합 인식 시스템을 제안한다. 이는 객체 감지, OCR, 매트팅 등 다양한 작업을 하나의 자연어 인터페이스로 처리할 수 있도록 한다. 핵심 아이디어는 **구조화된 next-token 예측**을 통해 객체 레이블과 좌표를 자동 회귀적으로 생성하고, 이에 연결된 **<OBJ> 토큰**을 통해 픽셀 디코더를 활성화하여 마스크나 알파 매트를 생성하는 것이다. 이는 별도의 대규모 세그멘테이션 모델 없이도 고밀도 출력을 가능하게 한다.

기술적 접근법

**모델 아키텍처**: Qwen3-VL 기반으로, 객체 레벨 작업은 자동 회귀적 토큰 생성, 픽셀 레벨 작업은 <OBJ> 토큰을 통해 가벼운 디코더가 처리.
**디코더 구성**: 시각 특징 어댑터, 변형 가능한 쿼리 디코더, 인스턴스 조건화된 밀집 예측 단계로 구성. 매트팅에는 추가적인 가벼운 리파인먼트 모듈 포함.
**학습 파이프라인**: 3단계 커리큘럼 SFT (작업 정렬 → 고해상도 데이터 학습 → 픽셀 레벨 학습) + 혼합 작업 RL (GRPO 사용).
**데이터 엔진**: 공유 지식 그래프 기반의 어노테이션 생성, 인스턴스 정렬된 지도, 시각-언어 검증을 통해 품질 향상.
**하이퍼파라미터**: 100M 개의 이미지, 1,960 개의 시각 토큰, 온도 0의 그리디 디코딩 사용.

주요 결과

**감지 및 OCR**: Qwen3-VL 대비 mean detection F1 +12.3%, counting accuracy +8.7%.
**매트팅**: LocateAnything 대비 1.6× 가속, Rex-Omni 대비 1.2% 더 높은 IoU.
**세그멘테이션**: 30개 이상의 벤치마크에서 기존 VLM 기반 모델 대비 1.5~2.0% 개선.
**객체 없는 쿼리 거부**: 98.7%의 정확도로 비존재 객체를 정확히 거부.

의의 및 한계

WeVisOne-VL은 단일 모델로 객체 수준과 픽셀 수준 작업을 통합하여, 복잡한 시각 작업을 위한 실용적 기반을 제공한다. 특히, <OBJ> 토큰 기반 디코더는 별도의 대규모 모델 없이도 고밀도 출력을 가능하게 하며, 3단계 커리큘럼 학습은 정밀도와 안정성을 동시에 향상시킨다. 그러나 모델의 성능은 학습 데이터의 질에 크게 의존하며, 일부 복잡한 표현이나 다중 객체 지정 시 오류가 발생할 수 있다. 또한, 2B/4B 규모의 모델은 대규모 서버 환경에서만 실현 가능하다는 한계가 있다.

실용적 활용

WeVisOne-VL은 콘텐츠 생성, 산업 검사, 자율 주행, 에이전트 기반 시스템 등에서 객체와 픽셀 수준의 정밀 인식이 필요한 다양한 분야에 적용 가능하다. 특히, 객체가 없는 쿼리를 정확히 거부하는 기능은 실시간 감지 시스템에서 오류를 줄이는 데 유용하며, OCR과 매트팅 기능은 디지털 콘텐츠 편집 및 이미지 분할 작업에 활용할 수 있다.