DataComp-VLM: Improved Open Datasets for Vision-Language Models

Building performant Vision-Language Models (VLMs) requires carefully curating large-scale training datasets, yet the community lacks systematic benchmarks for evaluating such curation strategies. We introduce DataComp for VLMs (DCVLM), a benchmark for controlled data-centric experiments to improve VLM training. As part of DCVLM, we collect 160 datasets spanning four data types -- image-caption pairs, multimodal interleaved documents, text-only, and instruction-tuning data -- into a corpus of 6T multimodal tokens. DCVLM allows participants to test curation strategies (filtering, mixing, formatting, sampling) across 1B-8B models and 6.25B-200B token budgets. Models are then evaluated on a carefully selected suite of up to 52 downstream benchmarks across 9 domains. We conduct extensive experiments on DCVLM and find that data mixing, not filtering, is key to a high-quality training dataset: instruction-heavy mixtures scale better than caption-heavy ones, with gains widening at larger scales. The resulting dataset, DCVLM-Baseline, enables training an 8B VLM to 63.6% accuracy on our 33-task core suite with 200B training tokens. Compared to FineVision, the state-of-the-art open VLM training dataset, this represents an improvement of +5.4pp. DCVLM and all accompanying artifacts will be made publicly available at https://www.datacomp.ai/dcvlm/.

한 줄 요약

DCVLM은 6T multimodal 토큰을 기반으로 VLM 학습 데이터셋 최적화 전략을 평가하는 체계적 벤치마크를 제시하며, 기존 FineVision 대비 +5.4pp 개선된 DCVLM-Baseline 데이터셋을 제안한다.

핵심 기여도

160개 데이터셋을 6T multimodal 토큰으로 통합한 DCVLM 데이터풀 제공.
1B–8B 파라미터, 6.25B–200B 토큰 범위의 모델과 훈련 예산에서 데이터셋 최적화 실험 가능.
데이터 믹싱(특히 instruction-heavy)이 filtering보다 훨씬 효과적임을 밝힘.
8B VLM 모델로 200B 토큰 훈련 시 33-task core suite에서 63.6% 정확도 달성, FineVision 대비 +5.4pp 개선.

핵심 아이디어

VLM 훈련 데이터셋 최적화는 기존 연구에서 주로 아키텍처나 훈련 레시피에 집중되었으나, DCVLM은 데이터 중심 접근을 강조한다. 기존 데이터셋은 이미 일정 수준의 upstream curation을 거쳐 있어, 추가 필터링보다는 믹싱 비율 최적화가 더 효과적임을 발견했다. 특히 instruction-tuning 데이터 비중을 높인 믹스가 모델 규모와 토큰 예산이 커질수록 더 큰 성능 향상을 보인다. 이는 기존 CLIP-score나 이미지 품질 기반 필터링이 오히려 성능 저하를 유발할 수 있음을 시사한다.

기술적 접근법

**모델 아키텍처**: InternViT-300M vision encoder, 2-layer MLP projector, Qwen2.5-Base 언어 모델 사용.
**이미지 처리**: AnyRes tiling 방식으로 448×448 타일로 분할, 각 타일을 256개의 visual token으로 인코딩.
**최적화**: AdamW 옵티마이저, 3% warmup, peak learning rate 2×10⁻⁵.
**데이터셋**: 160개 데이터셋, 4가지 타입(이미지-캡션, multimodal 문서, 텍스트, instruction-tuning)으로 구성된 6T multimodal 토큰 풀.
**실험 범위**: 1B–8B 파라미터, 6.25B–200B 토큰 예산에서 데이터셋 믹싱/필터링 실험.

주요 결과

DCVLM-Baseline 데이터셋으로 훈련한 8B VLM 모델은 200B 토큰으로 33-task core suite에서 63.6% 정확도 달성.
기존 최고 성능 open VLM 데이터셋인 FineVision 대비 +5.4pp 개선.
instruction-heavy 믹스는 caption-heavy 믹스보다 모델 규모가 커질수록 더 큰 성능 차이를 보임.
52개 downstream benchmarks(9개 도메인)에서 평가, validation, core, extended 세 단계로 구분.

의의 및 한계

DCVLM은 VLM 훈련 데이터셋 최적화를 위한 체계적 실험 환경을 제공하며, 데이터 믹싱의 중요성을 실증적으로 입증함으로써, 기존 연구에서 간과되었던 데이터 중심 접근의 가치를 강조한다. 특히, 기존 필터링 전략의 한계를 드러내고, 믹싱 비율 최적화가 모델 성능에 미치는 영향을 규명한 점이 학술적·실용적 의미가 크다. 그러나 DCVLM은 이미 upstream curation을 거친 데이터만 사용하며, raw 데이터 기반의 최적화는 아직 다루지 않았다는 한계가 있다.

실용적 활용

DCVLM은 VLM 개발자들이 데이터셋 믹싱 전략을 체계적으로 실험할 수 있는 테스트베드로 활용될 수 있으며, 특히 instruction-tuning 데이터 비중 조절을 통한 성능 최적화에 적용 가능하다. 또한, 다양한 도메인에서의 평가 프로토콜을 통해 모델의 실제 활용성과 안정성을 검증하는 데 유용하다.