VisionLLM v2: An End-to-End Generalist Multimodal Large Language Model for Hundreds of Vision-Language Tasks

We present VisionLLM v2, an end-to-end generalist multimodal large model (MLLM) that unifies visual perception, understanding, and generation within a single framework. Unlike traditional MLLMs limited to text output, VisionLLM v2 significantly broadens its application scope. It excels not only in conventional visual question answering (VQA) but also in open-ended, cross-domain vision tasks such as object localization, pose estimation, and image generation and editing. To this end, we propose a new information transmission mechanism termed"super link", as a medium to connect MLLM with task-specific decoders. It not only allows flexible transmission of task information and gradient feedback between the MLLM and multiple downstream decoders but also effectively resolves training conflicts in multi-tasking scenarios. In addition, to support the diverse range of tasks, we carefully collected and combed training data from hundreds of public vision and vision-language tasks. In this way, our model can be joint-trained end-to-end on hundreds of vision language tasks and generalize to these tasks using a set of shared parameters through different user prompts, achieving performance comparable to task-specific models. We believe VisionLLM v2 will offer a new perspective on the generalization of MLLMs.

한 줄 요약

VisionLLM v2는 단일 프레임워크 내에서 수백 개의 시각-언어 작업을 처리하는 엔드투엔드 MLLM으로, "super link" 메커니즘과 다양한 작업 디코더를 결합하여 텍스트 외 시각 작업을 지원한다.

핵심 기여도

"Super link" 정보 전달 메커니즘을 제안하여 MLLM과 다중 작업 디코더 간 유연한 정보 전달 및 학습 충돌 해결.
수백 개의 공개 시각 및 시각-언어 작업 데이터를 수집·정제하여 엔드투엔드 학습 가능.
단일 모델 파라미터로 다양한 작업에 일반화하며, 전문 모델 수준의 성능 달성.
객체 위치, 포즈 추정, 이미지 생성/편집 등 텍스트 외 작업을 지원.

핵심 아이디어

기존 MLLM은 텍스트 출력에 제한되어 시각 정보를 표현하는 데 한계가 있었다. VisionLLM v2는 이 문제를 해결하기 위해 "super link"라는 새로운 정보 전달 메커니즘을 도입했다. 이 메커니즘은 라우팅 토큰([DET], [POSE], [GEN])과 super-link queries를 결합하여, MLLM과 작업별 디코더 간 유연한 정보 전달과 학습 충돌 방지를 실현한다. 또한, 다양한 작업을 지원하기 위해 수백 개의 공개 데이터셋을 통합하여 엔드투엔드 학습이 가능하도록 했다. 이는 단일 모델이 다양한 작업에 일반화하면서도 전문 모델 수준의 성능을 유지할 수 있도록 한다.

기술적 접근법

**모델 구성**: 이미지 인코더, 영역 인코더, LLM(Vicuna-7B), 작업별 디코더(Grounding DINO, UniPose, Stable Diffusion 등), super link.
**super link**: 라우팅 토큰과 super-link queries로 구성. 라우팅 토큰은 [DET], [POSE], [GEN] 등으로, 특정 작업 디코더를 선택. super-link queries는 각 토큰에 결합된 학습 가능한 가중치로, 작업별 정보를 추출하여 디코더로 전달.
**이미지 처리**: CLIP 기반 이미지 인코더, 336×336 패치로 분할, 글로벌 이미지와 지역 정보 결합.
**학습 전략**: 다단계 학습(스테이지 1~3)을 통해 새로운 능력 통합 및 기존 VQA 성능 유지.

주요 결과

**COCO 데이터셋**: 박스 AP에서 별도 super-link queries 사용 시 성능 향상 (공유 queries 대비 +1.2% AP).
**Keypoint AP**: 별도 queries 사용 시 훈련 중 성능 저하 방지.
**수백 개 작업**: 단일 모델 파라미터로 일반화하며, 전문 모델 수준의 성능 달성.
**엔드투엔드 학습**: Grounding DINO, UniPose, Stable Diffusion 등 디코더와 MLLM 간 엔드투엔드 학습 가능.

의의 및 한계

VisionLLM v2는 텍스트 외 시각 작업을 처리하는 첫 엔드투엔드 MLLM으로, 시각-언어 작업의 통합 및 일반화에 기여한다. super link 메커니즘은 다중 작업 학습 시 충돌을 해결하고, 유연한 정보 전달을 가능하게 하며, 다양한 작업 디코더와의 엔드투엔드 학습을 지원한다. 그러나 모델 학습은 3단계로 구성되어 복잡하며, 하위 도구 통합은 초기 단계로 한계가 있다. 향후 연구는 모델 복잡도와 효율성 향상이 필요하다.

실용적 활용

VisionLLM v2는 객체 탐지, 포즈 추정, 이미지 생성/편집 등 다양한 시각 작업을 지원하므로, 의료, 산업, 원격 감시 등 다양한 분야에서 활용 가능하다. 또한, 사용자 정의 작업을 허용하는 오픈형 구조로, 복합 작업을 다중 대화를 통해 수행할 수 있어, 실제 응용 시나리오에서 유연성과 확장성을 제공한다.