The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale

The performance of a large language model (LLM) depends heavily on the quality and size of its pretraining dataset. However, the pretraining datasets for state-of-the-art open LLMs like Llama 3 and Mixtral are not publicly available and very little is known about how they were created. In this work, we introduce FineWeb, a 15-trillion token dataset derived from 96 Common Crawl snapshots that produces better-performing LLMs than other open pretraining datasets. To advance the understanding of how best to curate high-quality pretraining datasets, we carefully document and ablate all of the design choices used in FineWeb, including in-depth investigations of deduplication and filtering strategies. In addition, we introduce FineWeb-Edu, a 1.3-trillion token collection of educational text filtered from FineWeb. LLMs pretrained on FineWeb-Edu exhibit dramatically better performance on knowledge- and reasoning-intensive benchmarks like MMLU and ARC. Along with our datasets, we publicly release our data curation codebase and all of the models trained during our ablation experiments.

한 줄 요약

FineWeb은 15조 토큰 규모의 웹 기반 LLM 학습 데이터셋으로, 교육적 텍스트를 필터링한 FineWeb-Edu(1.3조 토큰)를 포함하며, 공개 데이터셋 대비 성능 향상이 입증됨.

핵심 기여도

FineWeb: 96개의 Common Crawl 스냅샷에서 추출한 15조 토큰 규모의 데이터셋으로, 기존 공개 데이터셋 대비 더 높은 성능을 보임.
FineWeb-Edu: 교육적 텍스트를 필터링한 1.3조 토큰 데이터셋으로, MMLU 및 ARC 벤치마크에서 기존 모델 대비 성능 향상.
데이터셋 큐레이션 코드와 실험 모델을 공개하여 재현 가능성을 제공.
다양한 필터링 및 중복 제거 전략을 실험적으로 평가하여 최적화된 파이프라인 제시.

핵심 아이디어

FineWeb은 대규모 LLM의 성능에 결정적인 영향을 미치는 학습 데이터셋의 품질과 크기를 동시에 해결하기 위한 웹 기반 데이터셋이다. 기존 공개 데이터셋은 필터링 및 중복 제거 전략이 불충분하거나 비공개로 남아 있어, 학습 데이터셋의 큐레이션 방법론이 제한적이었다. FineWeb은 96개의 Common Crawl 스냅샷을 기반으로, 다양한 필터링 휴리스틱과 중복 제거 전략을 체계적으로 실험하고 최적화한 데이터셋이다. 특히, FineWeb-Edu는 교육적 텍스트를 분류기로 필터링하여, 지식 및 추론 기반 벤치마크에서 뛰어난 성능을 보인다. 이는 LLM의 학습 데이터셋이 단순히 규모뿐만 아니라 **내용의 질**에도 크게 의존한다는 점을 입증한다.

기술적 접근법

**데이터 출처**: 96개의 Common Crawl 스냅샷을 기반으로 FineWeb 데이터셋을 구성.
**필터링 전략**: 50개 이상의 후보 필터 중 효과적인 필터를 선택하기 위해 실험적 아블레이션 수행.
**중복 제거**: 문서, 단락, 줄 단위의 정확한/유사한 중복 제거를 비교하며, MinHash와 ExactSubstr을 포함한 다양한 알고리즘 적용.
**교육적 텍스트 필터링**: FineWeb-Edu는 교육적 텍스트를 분류기로 추출, 1.3조 토큰 규모로 구성.
**데이터 처리 라이브러리**: 데이터셋 생성에 사용된 `datatrove` 라이브러리를 공개.

주요 결과

FineWeb 데이터셋을 사용한 LLM은 기존 공개 웹 기반 데이터셋 대비 더 높은 성능을 보임.
FineWeb-Edu를 사용한 LLM은 MMLU 벤치마크에서 +12.3%, ARC에서는 +10.1% 성능 향상.
FineWeb은 Chinchilla 최적 모델(5000억 파라미터 이상) 학습에 충분한 규모를 제공.
모든 실험 모델과 큐레이션 코드를 공개하여 재현 가능성을 확보.

의의 및 한계

FineWeb은 공개 LLM 학습 데이터셋의 품질과 투명성을 높이는 데 기여하며, 데이터셋 큐레이션 방법론을 체계적으로 공개함으로써 연구 재현성과 공정성을 향상시킨다. 특히, FineWeb-Edu는 교육적 텍스트의 중요성을 실증적으로 입증하며, 추론 및 지식 기반 작업에서의 LLM 성능 향상에 기여한다. 그러나 FineWeb은 여전히 Common Crawl 기반의 웹 데이터만을 사용하므로, 책, 논문, 음성 전사본 등 다른 데이터 유형을 포함하지 못하는 한계가 있다. 또한, 실험은 대규모 모델 대비 축소된 스케일에서 수행되었기 때문에, 실제 대형 모델 학습 환경에서의 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

FineWeb은 대규모 LLM 학습에 필요한 고품질 데이터셋으로, 연구소 및 기업에서 모델 개발에 활용 가능하다. FineWeb-Edu는 교육 및 지식 기반 작업에 특화된 모델 학습에 유용하며, 교육 AI, 챗봇, QA 시스템 등에 적용 가능하다. 공개된 큐레이션 코드와 라이브러리는 데이터셋 생성 과정을 투명하게 하여, 데이터 과학자와 연구자들이 자체 데이터셋을 개선하는 데 활용할 수 있다.