SPHINX-X: Scaling Data and Parameters for a Family of Multi-modal Large Language Models

We propose SPHINX-X, an extensive Multimodality Large Language Model (MLLM) series developed upon SPHINX. To improve the architecture and training efficiency, we modify the SPHINX framework by removing redundant visual encoders, bypassing fully-padded sub-images with skip tokens, and simplifying multi-stage training into a one-stage all-in-one paradigm. To fully unleash the potential of MLLMs, we assemble a comprehensive multi-domain and multimodal dataset covering publicly available resources in language, vision, and vision-language tasks. We further enrich this collection with our curated OCR intensive and Set-of-Mark datasets, extending the diversity and generality. By training over different base LLMs including TinyLlama1.1B, InternLM2-7B, LLaMA2-13B, and Mixtral8x7B, we obtain a spectrum of MLLMs that vary in parameter size and multilingual capabilities. Comprehensive benchmarking reveals a strong correlation between the multi-modal performance with the data and parameter scales. Code and models are released at https://github.com/Alpha-VLLM/LLaMA2-Accessory

한 줄 요약

SPHINX-X는 다양한 기초 언어 모델과 대규모 다모달 데이터셋을 기반으로 한 다모달 대규모 언어 모델(MLLM) 시리즈로, 데이터와 파라미터 규모 확장으로 성능 향상을 실현한다.

핵심 기여도

SPHINX-X는 SPHINX 기반에서 불필요한 시각 인코더 제거, 패딩된 서브이미지 처리를 위한 학습 가능한 skip token 도입, 단계별 훈련을 단일 단계로 통합하는 3가지 개선점을 제시.
OCR 집중적 데이터셋과 Set-of-Mark(SoM) 데이터셋을 포함한 다분야 다모달 데이터셋을 구축.
TinyLlama-1.1B, InternLM2-7B, LLaMA2-13B, Mixtral-8×7B 등 다양한 기초 언어 모델에 기반한 SPHINX-X 서브 모델을 개발.
데이터 및 파라미터 규모 확장이 다모달 성능 향상과 강한 상관관계를 보임.

핵심 아이디어

기존 MLLM은 특정 도메인에 제한된 데이터와 고정된 파라미터 규모로 인해 일반화 능력이 제한적이었다. SPHINX-X는 이 문제를 해결하기 위해 다분야, 다모달 데이터셋을 구축하고, 다양한 파라미터 규모의 기초 언어 모델을 활용하여 MLLM의 성능 경계를 확장하고자 한다. 특히, SPHINX-X는 기존 SPHINX의 복잡한 훈련 파이프라인을 단일 단계로 통합함으로써 훈련 효율성을 높였다. 또한, CLIP-ConvNeXt와 DINOv2 두 개의 시각 인코더만 사용하는 MoV(Mixture of Visual experts) 구조를 도입하여 시각적 의미 표현의 다양성을 유지하면서도 모델 복잡도를 줄였다.

기술적 접근법

**모델 아키텍처 개선**: SPHINX의 4개 시각 인코더 중 CLIP-ConvNeXt와 DINOv2만 사용하여 MoV 구조를 구성.
**학습 가능한 skip token**: 고해상도 이미지의 패딩된 서브이미지를 효율적으로 처리하기 위해 skip token 도입.
**단일 단계 훈련**: 이전의 다단계 훈련 파이프라인을 단일 단계로 통합.
**데이터셋 구성**: LAION, SBU, Conceptual Captions 등 공개 데이터와 OCR 집중적 데이터, SoM 데이터셋을 포함한 다분야 데이터셋 사용.
**기초 언어 모델**: TinyLlama-1.1B, InternLM2-7B, LLaMA2-13B, Mixtral-8×7B 등 다양한 파라미터 규모의 모델 사용.

주요 결과

SPHINX-Plus는 기존 SPHINX 대비 데이터 확장과 다양성 증가로 성능 향상.
1.1B에서 8×7B까지의 파라미터 규모에서 일관된 성능 향상 관찰됨.
OCR, 문서 레이아웃, 수학 문제 등 특정 도메인에서의 성능 향상 명시됨.
SPHINX-MoE는 Mixture-of-Experts 구조를 통해 복잡한 다모달 작업에서 우수한 추론 능력 보임.

의의 및 한계

SPHINX-X는 다양한 파라미터 규모와 데이터셋을 기반으로 MLLM의 성능 경계를 확장하며, 모바일 기기에서의 빠른 추론부터 고성능 컴퓨터에서의 복잡한 추론 작업까지 폭넓은 적용이 가능하다. 또한, MoV 구조와 단일 단계 훈련은 훈련 효율성과 모델 일반화 능력을 동시에 개선하는 데 기여한다. 그러나, 특정 도메인에서의 데이터 부족이나 모델 규모 증가에 따른 계산 비용 증가 등은 여전히 해결해야 할 한계점이다.

실용적 활용

SPHINX-X는 모바일 기기에서의 빠른 추론을 요구하는 애플리케이션부터 OCR, 문서 분석, 수학 문제 해결 등 특정 도메인에서의 고정밀 작업까지 폭넓게 활용 가능하다. 특히, SPHINX-MoE는 복잡한 다모달 추론이 필요한 자율주행, GUI 에이전트 등 산업 분야에서도 활용 가능하다.