QuRating: Selecting High-Quality Data for Training Language Models

Selecting high-quality pre-training data is important for creating capable language models, but existing methods rely on simple heuristics. We introduce QuRating, a method for selecting pre-training data that can capture human intuitions about data quality. In this paper, we investigate four qualities - writing style, required expertise, facts&trivia, and educational value - and find that LLMs are able to discern these qualities, especially when making pairwise judgments of texts. We train a QuRater model to learn scalar ratings from pairwise judgments, and use it to annotate a 260B training corpus with quality ratings for each of the four criteria. In our experiments, we select 30B tokens according to the different quality ratings and train 1.3B-parameter language models on the selected data. We find that it is important to balance quality and diversity. When we sample using quality ratings as logits over documents, our models obtain lower perplexity and stronger in-context learning performance than baselines. Our best model is based on educational value and performs similarly to a model trained with uniform sampling for 50% more steps. Beyond data selection, we use the quality ratings to construct a training curriculum which improves performance without changing the training dataset. We extensively analyze the quality ratings and discuss their characteristics, biases, and wider implications.

한 줄 요약

QuRating은 LLM 훈련 데이터의 질을 인간 직관에 근거해 평가하고 선택하는 방법으로, 260B 토큰을 평가해 30B 토큰을 선별해 모델 성능을 향상시킨다.

핵심 기여도

QuRater 모델을 사용해 260B 토큰의 4가지 품질 기준(education value, writing style 등)을 평가.
30B 토큰을 품질 기준에 따라 선별해 1.3B 파라미터 모델 훈련.
품질 기준 중 educational value 기반 모델이 uniform sampling 대비 50% 더 적은 스텝으로 유사한 성능 달성.
품질 레이팅을 훈련 커리큘럼으로 활용해 성능 향상.

핵심 아이디어

QuRating은 인간이 직관적으로 판단하는 텍스트 품질을 LLM을 통해 정량화하고, 이를 훈련 데이터 선택에 적용하는 방법이다. 기존 훈련 데이터 선택은 중복 제거, 도메인 균형 등 단순 휴리스틱에 의존했지만, QuRating은 텍스트의 writing style, required expertise, facts & trivia, educational value 4가지 품질을 기준으로 데이터를 평가한다. 이는 GPT-3.5-turbo를 사용해 텍스트 쌍을 비교하는 방식으로 이루어지며, Bradley-Terry 모델을 통해 이 이진 판단을 스칼라 레이팅으로 변환한다. 이 레이팅은 훈련 시 샘플링 로짓(logit)으로 사용되며, temperature τ를 통해 품질과 다양성의 균형을 조절한다. 이는 RLHF의 reward와 유사한 구조를 가진다.

기술적 접근법

**QuRater 모델**: GPT-3.5-turbo로 250K 쌍의 텍스트를 평가한 결과를 기반으로 fine-tuning.
**Bradley-Terry 모델**: 이진 판단을 스칼라 레이팅으로 변환.
**샘플링 로직**: 품질 레이팅을 로짓으로 사용, temperature τ=2.0로 샘플링.
**데이터셋**: 260B 토큰의 SlimPajama를 QuRater로 평가해 QuRatedPajama 생성.
**모델 훈련**: 30B 토큰을 선택해 Sheared-Llama-1.3B 모델 훈련.

주요 결과

**Educational value 기준 모델**: uniform sampling 대비 50% 더 적은 훈련 스텝으로 유사한 성능.
**ICL 평가**: educational value 기준 모델이 10개 태스크에서 평균 1.8% 개선.
**Perplexity**: writing style 기준 모델이 가장 낮은 perplexity 기록.
**Validation perplexity**: τ=2.0로 샘플링 시 개선.

의의 및 한계

QuRating은 훈련 데이터의 질을 정량적으로 평가하고 선택함으로써, 훈련 효율성을 높이는 새로운 접근법을 제시한다. 특히, educational value 기준은 모델의 in-context learning 능력을 향상시키는 데 효과적임을 보여준다. 또한, 품질 레이팅을 훈련 커리큘럼으로 활용하면 데이터셋을 변경하지 않고도 성능을 개선할 수 있다. 그러나 품질 기준은 주관적일 수 있으며, 특정 도메인에 편향될 가능성도 있다. AboutMe 데이터셋 분석에서도 사회적, 지리적 편향이 나타났다.

실용적 활용

QuRating은 훈련 데이터가 제한된 상황에서 모델 성능을 향상시키는 데 유용하며, 특히 교육, 학술, 전문 분야 모델 개발에 적용 가능하다. 또한, 품질 레이팅을 기반으로 커리큘럼 학습을 설계할 수 있어, 대규모 LLM 훈련의 효율성을 높이는 데 기여할 수 있다.