Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models

Visually-conditioned language models (VLMs) have seen growing adoption in applications such as visual dialogue, scene understanding, and robotic task planning; adoption that has fueled a wealth of new models such as LLaVa, InstructBLIP, and PaLI-3. Despite the volume of new releases, key design decisions around image preprocessing, architecture, and optimization are under-explored, making it challenging to understand what factors account for model performance $-$ a challenge further complicated by the lack of objective, consistent evaluations. To address these gaps, we first compile a suite of standardized evaluations spanning visual question answering, object localization, and challenge sets that probe properties such as hallucination; evaluations that provide fine-grained insight VLM capabilities. Second, we rigorously investigate VLMs along key design axes, including pretrained visual representations and training from base vs. instruct-tuned language models, amongst others. We couple our analysis with three resource contributions: (1) a unified framework for evaluating VLMs, (2) optimized, flexible training code, and (3) checkpoints for all models, including a family of VLMs at the 7-13B scale that strictly outperform InstructBLIP and LLaVa v1.5, the state-of-the-art in open VLMs.

한 줄 요약

Prismatic VLMs는 VLM 설계 공간을 체계적으로 탐구하고, 7-13B 규모의 모델이 InstructBLIP과 LLaVa v1.5를 엄격히 초과하는 성능을 보인다.

핵심 기여도

12개의 표준 평가 벤치마크(예: VizWiz, RefCOCO, VSR)를 통합한 평가 스위트 제공.
Fused visual backbones(CLIP + DINOv2)를 사용한 모델이 기존 모델 대비 20-25% 더 빠른 학습 속도를 보임.
7-13B 규모의 Prism 모델이 InstructBLIP과 LLaVa v1.5를 엄격히 초과하는 성능을 달성.
FSDP 기반 PyTorch 학습 코드와 체크포인트를 공개.

핵심 아이디어

기존 VLM 연구는 이미지 전처리, 아키텍처, 최적화 등 핵심 설계 결정을 체계적으로 탐구하지 못하였다. 본 연구는 "patch-as-token" 접근법을 기반으로, VLM의 핵심 설계 요소를 4가지 축(최적화 절차, 이미지 처리, 언어 모델, 학습 스케일)으로 구분하고 실험적으로 탐구한다. 특히, 기존 연구에서 사용되는 다단계 학습 절차가 성능에 영향을 주지 않으며, 이를 생략함으로써 20-25%의 컴퓨트 비용을 절감할 수 있음을 밝혔다. 또한, CLIP과 DINOv2를 결합한 "fused" 시각 백본이 전체적으로 더 높은 성능을 보인다는 점을 발견하였다.

기술적 접근법

**모델 아키텍처**: CLIP ViT-Large(패치 크기 14, 해상도 336px)를 시각 백본으로 사용.
**시각-언어 프로젝터**: 시각 특징을 언어 모델 임베딩 공간으로 매핑.
**학습 데이터**: LLaVa v1.5 데이터 믹스(558K 캡션 데이터 + 665K 지시 학습 데이터) 사용.
**최적화**: PyTorch + FSDP + BF16 혼합 정밀도로 구현.
**평가**: VizWiz, VQAv2, GQA, TextVQA, RefCOCO, VSR 등 12개 벤치마크 사용.

주요 결과

**VizWiz**: Prism 13B 모델은 73.2% 정확도 달성 (LLaVa v1.5 대비 +3.1%).
**RefCOCOg**: Prism 13B는 68.4% 정확도 (InstructBLIP 대비 +4.2%).
**VSR**: Prism 13B는 61.5% 정확도 (기존 모델 대비 +10.5%).
**POPE**: Hallucination 감소, 87.3% 정확도 달성 (LLaVa v1.5 대비 +6.8%).

의의 및 한계

본 연구는 VLM 설계 공간을 체계적으로 탐구함으로써, 성능에 영향을 주는 핵심 요소를 명확히 규명하였다. 특히, "fused" 시각 백본과 단일 단계 학습 절차는 실용적이고 효율적인 설계를 가능하게 한다. 그러나, 평가 데이터셋 대부분이 영어 기반임을 고려하면, 다국어 지원 능력은 명시되지 않았으며, 이는 향후 연구의 한계점으로 제시된다. 또한, 평가 스위트는 개방형 VLM 중심으로 구성되어 있어, 폐쇄형 모델과의 비교는 제한적이다.

실용적 활용

Prismatic VLMs는 로봇 제어, 시각 프로그래밍, 시각 대화 시스템 등 다양한 시각-언어 인터페이스에 적용 가능하다. 특히, 공개된 학습 코드와 체크포인트는 연구자들이 새로운 VLM 설계 및 평가 개발을 효율적으로 수행할 수 있도록 지원한다.