Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research

Information about pretraining corpora used to train the current best-performing language models is seldom discussed: commercial models rarely detail their data, and even open models are often released without accompanying training data or recipes to reproduce them. As a result, it is challenging to conduct and advance scientific research on language modeling, such as understanding how training data impacts model capabilities and limitations. To facilitate scientific research on language model pretraining, we curate and release Dolma, a three-trillion-token English corpus, built from a diverse mixture of web content, scientific papers, code, public-domain books, social media, and encyclopedic materials. We extensively document Dolma, including its design principles, details about its construction, and a summary of its contents. We present analyses and experimental results on intermediate states of Dolma to share what we have learned about important data curation practices. Finally, we open-source our data curation toolkit to enable reproduction of our work as well as support further research in large-scale data curation.

한 줄 요약

Dolma는 3조 토큰 규모의 영어 사전 학습 데이터셋으로, OLMo 모델 학습에 사용된 개방형 언어 모델 연구를 위한 기반 자료이다.

핵심 기여도

Dolma는 3조 토큰, 50억 문서, 7개 데이터 소스(예: Common Crawl, Semantic Scholar, GitHub 등)로 구성된 다중 출처 데이터셋을 공개.
Dolma Toolkit이라는 고성능 데이터 큐레이션 도구를 오픈소스로 배포.
토큰 필터링, 언어 감지, 품질 필터, 중복 제거, 벤치마크 오염 제거 등의 큐레이션 단계를 공개.
OLMo 모델을 Dolma로 학습한 결과를 제시하며, 데이터셋의 효과성을 실증.

핵심 아이디어

현재 최고 성능을 내는 언어 모델의 사전 학습 데이터셋 정보는 대부분 비공개이거나 불완전하여, 연구 재현 및 데이터 영향 분석이 어렵다. 이에 따라 Dolma는 데이터 투명성과 재현성을 목표로, 공개 가능한 소스에서 3조 토큰을 수집하고, 다양한 큐레이션 단계를 적용하여 고품질 데이터셋을 구축했다. 특히, 품질 필터(Quality Filter), 언어 필터(Language Filter), 중복 제거(Deduplication), 벤치마크 오염 제거(Benchmark Decontamination) 등의 단계를 통해 데이터셋의 신뢰성을 높였다. 또한, 데이터셋의 구성이 모델 성능에 미치는 영향을 12개의 QA, 상식, 추론 태스크에서 실증적으로 분석했다.

기술적 접근법

**데이터 소스**: Common Crawl, Semantic Scholar, GitHub, Reddit, Wikipedia, Public Domain Books, Code 등 7개 출처.
**큐레이션 단계**:
Language Filter: 영어 토큰만 선택.
Quality Filter: 토큰 길이, 유사성, 텍스트 품질 기준으로 필터링.
Deduplication: 문서 수준 중복 제거.
Benchmark Decontamination: 기존 벤치마크와 유사한 텍스트 제거.
**Dolma Toolkit**: 고성능, 이동성 있는 데이터 큐레이션 도구로, 데이터 전처리 및 믹스 비율 조정 가능.
**OLMo 학습**: Dolma로 학습한 OLMo 모델의 성능을 12개 태스크에서 평가.

주요 결과

Dolma는 3조 토큰, 50억 문서, 7개 출처로 구성.
OLMo 모델은 Dolma로 학습한 후 12개 QA, 추론, 상식 태스크에서 성능 개선.
토큰 필터링과 중복 제거 후 퍼플렉시티(Perplexity) 감소, 모델 성능 향상.
벤치마크 오염 제거 후 모델의 과적합 감소를 확인.

의의 및 한계

Dolma는 언어 모델 사전 학습 연구에서 데이터 투명성과 재현성을 촉진하는 중요한 기초 자료로, 다양한 큐레이션 전략의 효과를 실증적으로 평가할 수 있는 기회를 제공한다. 특히, Dolma Toolkit은 데이터 큐레이션 파이프라인의 표준화와 개선에 기여할 수 있다. 그러나 Dolma는 영어 중심이며, 비영어 언어 모델 연구에는 한계가 있다. 또한, 데이터 소스의 공개성과 접근성에 따라 일부 데이터는 제외되거나 제한될 수 있다.

실용적 활용

Dolma는 언어 모델 개발자, 연구자, 데이터 큐레이션 엔지니어에게 데이터셋 개선, 모델 성능 분석, 큐레이션 전략 연구에 활용 가능하다. 특히, OLMo와 같은 개방형 언어 모델의 학습 및 평가에 적합하며, 데이터 품질과 구성이 모델 성능에 미치는 영향을 연구하는 데 유용하다.