RedPajama: an Open Dataset for Training Large Language Models

Large language models are increasingly becoming a cornerstone technology in artificial intelligence, the sciences, and society as a whole, yet the optimal strategies for dataset composition and filtering remain largely elusive. Many of the top-performing models lack transparency in their dataset curation and model development processes, posing an obstacle to the development of fully open language models. In this paper, we identify three core data-related challenges that must be addressed to advance open-source language models. These include (1) transparency in model development, including the data curation process, (2) access to large quantities of high-quality data, and (3) availability of artifacts and metadata for dataset curation and analysis. To address these challenges, we release RedPajama-V1, an open reproduction of the LLaMA training dataset. In addition, we release RedPajama-V2, a massive web-only dataset consisting of raw, unfiltered text data together with quality signals and metadata. Together, the RedPajama datasets comprise over 100 trillion tokens spanning multiple domains and with their quality signals facilitate the filtering of data, aiming to inspire the development of numerous new datasets. To date, these datasets have already been used in the training of strong language models used in production, such as Snowflake Arctic, Salesforce's XGen and AI2's OLMo. To provide insight into the quality of RedPajama, we present a series of analyses and ablation studies with decoder-only language models with up to 1.6B parameters. Our findings demonstrate how quality signals for web data can be effectively leveraged to curate high-quality subsets of the dataset, underscoring the potential of RedPajama to advance the development of transparent and high-performing language models at scale.

한 줄 요약

RedPajama는 100조 토큰 이상의 오픈 소스 대형 언어 모델 학습 데이터셋으로, 투명성과 품질 신호를 통해 모델 성능을 개선한다.

핵심 기여도

RedPajama-V1: LLaMA 학습 데이터의 투명한 재현 데이터셋을 공개.
RedPajama-V2: 84개 Common Crawl 스냅샷을 기반으로 46개 품질 신호를 포함한 웹 기반 데이터셋을 공개.
1.6B 파라미터 모델을 사용한 다중 필터링 실험을 통해 품질 신호가 성능에 영향을 미친다는 것을 입증.
Gopher 규칙과 Fuzzy Deduplication을 적용한 필터링이 가장 높은 성능을 보임 (HELMA, MMLU 등).

핵심 아이디어

RedPajama는 대형 언어 모델의 훈련 데이터셋 개발에서 투명성, 규모, 다용도성을 핵심 원칙으로 삼았다. 기존 모델들이 데이터셋 구성과 필터링 전략을 공개하지 않는 문제를 해결하기 위해, RedPajama는 데이터셋 생성 과정을 완전히 공개하고, 품질 신호를 함께 제공함으로써 사용자가 데이터셋을 선택적 필터링할 수 있도록 지원한다. 특히, RedPajama-V2는 웹 기반 원시 데이터에 46개의 품질 신호를 부여하여, 다양한 필터링 전략을 실험할 수 있는 기반을 제공한다. 이는 기존의 C4, Gopher 규칙과 비교해 더 유연한 데이터셋 구성이 가능하다는 점에서 혁신적이다.

기술적 접근법

RedPajama-V1: LLaMA-1 학습 데이터의 재현을 기반으로 구성.
RedPajama-V2: 2014~2023년 Common Crawl 84개 스냅샷을 기반으로 구성.
품질 신호: 문서별 46개의 품질 측정 지표 포함 (예: fastText n-gram 분류기, DSIR 중요도 가중치).
필터링: Gopher 규칙, C4 필터, Fuzzy Deduplication (MinHash LSH, 128 해시, 9 밴드, 13 행).
실험 모델: 최대 1.6B 파라미터의 디코더-온리 트랜스포머 모델 사용.

주요 결과

RedPajama-INCITE-3B: HELM에서 GPT-Neo와 Pythia-2.8B 대비 3~5점 높은 성능.
RedPajama-INCITE-7B: HELM에서 Falcon-7B 대비 1.0점, Llama-7B 대비 4.1점 낮은 성능.
RedPajama-INCITE-7B-Instruct: HELM에서 Llama-7B, Falcon-7B, MPT-7B 대비 2~8점 높은 성능.
Gopher + Fuzzy Deduplication 필터링 적용 시, RefinedWeb 대비 높은 평균 점수와 랭크 점수를 기록.
RPv2 2023-14 데이터셋은 Paloma 테스트에서 가장 낮은 퍼플렉시티를 보임.

의의 및 한계

RedPajama는 대형 언어 모델 개발의 투명성과 재현성을 높이는 데 기여하며, 다양한 필터링 전략을 실험할 수 있는 기반 데이터셋으로 활용 가능하다. 특히, 품질 신호를 기반으로 한 데이터셋 필터링이 성능에 직접적인 영향을 미친다는 점에서 학술적 가치가 크다. 그러나 본 연구는 1.6B 파라미터 이하의 상대적으로 작은 모델만 사용했으며, 대규모 모델에서의 일반화 가능성은 추가 연구가 필요하다. 또한, 개인 정보 유출 가능성이나 데이터셋 오염 분석은 수행되지 않았다는 한계점이 있다.

실용적 활용

RedPajama는 Snowflake Arctic, Salesforce XGen, AI2 OLMo 등 실제 산업용 언어 모델의 훈련에 이미 활용되고 있으며, 향후 데이터셋 필터링 및 조합 전략 연구에 폭넓게 사용될 수 있다. 특히, 품질 신호를 기반으로 한 데이터셋 필터링은 클라우드 기반 대규모 모델 훈련 시 데이터 품질 관리를 위한 실용적 도구로 활용 가능하다.