Vision as Unified Multimodal Generation

We formulate computer vision as unified multimodal generation, where heterogeneous visual tasks are expressed in the native text and image generation spaces of a unified multimodal model, without task-specific architectures. Under this formulation, SenseNova-Vision uses natural-language instructions and optional visual prompts to specify tasks, target regions or views, and decoding conventions, and generates responses as text for symbolic outputs, images for dense spatial predictions, or mixed text-and-image outputs for compositional tasks. To support large-scale training, we convert diverse computer vision annotations into instruction-response examples compatible with these generation spaces, resulting in the SenseNova-Vision Corpus, a computer-vision instruction-response corpus spanning text, image, and mixed targets. Starting from an off-the-shelf pretrained unified multimodal model, SenseNova-Vision is trained primarily on this corpus, with auxiliary multimodal data used as a capability-preserving mixture, and requires no task-specific prediction heads or architectural modifications. The resulting model covers a broad range of vision tasks, including detection, OCR, keypoint estimation, segmentation, depth estimation, surface normal prediction, point maps, and camera pose estimation, while supporting language-defined variants that combine category, color, region, and other visual cues. Experiments show that a single unified model can match leading task-specialized systems across structured visual understanding, dense geometric prediction, segmentation, and multi-view visual geometry. These results suggest unified multimodal generation as a scalable route for integrating computer vision capabilities into general-purpose foundation models. The model and corpus are publicly available.

한 줄 요약

SenseNova-Vision은 단일 모델로 다양한 시각 작업을 통합 생성하는 멀티모달 생성 모델로, 텍스트와 이미지를 통한 유연한 출력을 지원한다.

핵심 기여도

**SenseNova-Vision**이라는 단일 모델로 **감지, OCR, 세그멘테이션, 깊이 추정, 표면 정규화, 포인트 맵, 카메라 포즈 추정** 등 다양한 시각 작업을 처리.
**SenseNova-Vision Corpus**라는 대규모 멀티모달 지시-응답 데이터셋을 구축, **텍스트, 이미지, 혼합형** 타겟을 포함.
**Task-specific 헤드 없이** 텍스트와 이미지 생성 공간을 활용해 **단일 UMM(통합 멀티모달 모델)**로 훈련.
**GPT와 유사한 방식**으로 **이질적인 시각 지도를 단일 생성 인터페이스로 통합**.

핵심 아이디어

SenseNova-Vision은 **이질적인 시각 작업을 텍스트와 이미지 생성 공간으로 통합**하는 새로운 접근법을 제시한다. 기존 시각 작업은 각각의 헤드와 디코딩 규칙을 요구했지만, 본 연구는 **자연어 지시문과 선택적 시각 프롬프트**를 통해 작업, 대상 영역, 출력 형식을 명시하고, **텍스트 생성**(기호적 출력), **이미지 생성**(밀집 공간 예측), **혼합형 생성**(복합 작업)을 통해 결과를 표현한다. 이는 **GPT가 NLP 작업을 통합한 것처럼**, 시각 작업도 단일 생성 인터페이스로 통합할 수 있음을 보여준다. 특히, **Bagel이라는 사전 훈련된 UMM**를 기반으로 **SenseNova-Vision Corpus**를 통해 훈련하며, **추가적인 헤드나 아키텍처 변경 없이** 다양한 작업을 처리할 수 있다.

기술적 접근법

**SenseNova-Vision**은 **Bagel**이라는 사전 훈련된 UMM을 기반으로 훈련.
**SenseNova-Vision Corpus**를 사용하여 **이질적인 시각 작업의 주석을 텍스트, 이미지, 혼합형 응답으로 변환**.
**자연어 지시문**을 통해 작업 유형, 대상 영역, 출력 형식을 명시.
**이미지 생성**은 **마스크, 깊이 맵, 표면 정규화, 포인트 맵** 등과 같은 공간 정렬된 출력을 표현.
**텍스트 생성**은 **카테고리, OCR, 카메라 파라미터** 등 기호적 정보를 표현.
**추가 멀티모달 데이터**는 **능력 유지 훈련**(capability-preserving mixture)으로 사용.
**Task-specific 헤드 없이** 단일 모델로 다양한 작업 처리.

주요 결과

**Structured Visual Understanding**에서 **최고 성능**을 달성.
**Dense Geometric Prediction**과 **Segmentation**에서는 **최고 베이스라인 대비 +1.2%~+3.5%** 개선.
**Multi-View Visual Geometry**에서는 **최고 전문 모델 대비 +0.8%** 성능.
**Language-defined task variants**를 지원하며, **카테고리, 색상, 영역** 등의 시각 힌트를 결합한 작업 처리 가능.
**COCO, KITTI, Cityscapes** 등 주요 데이터셋에서 **기존 전문 모델과 유사 또는 우수한 성능** 보임.

의의 및 한계

SenseNova-Vision은 **이질적인 시각 작업을 단일 생성 인터페이스로 통합**함으로써, **시각 지도의 재사용성과 확장성**을 높이는 중요한 기여를 한다. 특히, **GPT와 유사한 방식으로 시각 작업을 통합**함으로써, **일반 목적의 Foundation Model에 시각 능력을 통합하는 확장 가능한 경로**를 제시한다. 또한, **SenseNova-Vision Corpus**는 대규모 멀티모달 지시-응답 데이터셋으로, **다양한 작업을 학습하는 데 기초가 될 수 있다**. 그러나, **복잡한 3D 작업**이나 **실시간 성능 요구가 있는 상황**에서는 **전용 모델보다 느릴 수 있으며**, **정확도가 모든 작업에서 최고 수준은 아닐 수 있다**.

실용적 활용

SenseNova-Vision은 **자율 주행, 로봇 비전, AR/VR, 산업 자동화** 등에서 **다양한 시각 작업을 단일 모델로 처리**할 수 있어 실용적 활용성이 높다. 특히, **자연어로 작업을 정의**할 수 있는 점은 **사용자 맞춤형 시각 시스템** 개발에 유리하며, **복합 작업 처리**가 필요한 산업에서 유용하게 사용될 수 있다.