Rephrasing the Web: A Recipe for Compute and Data-Efficient Language Modeling

Large language models are trained on massive scrapes of the web, which are often unstructured, noisy, and poorly phrased. Current scaling laws show that learning from such data requires an abundance of both compute and data, which grows with the size of the model being trained. This is infeasible both because of the large compute costs and duration associated with pre-training, and the impending scarcity of high-quality data on the web. In this work, we propose Web Rephrase Augmented Pre-training ($\textbf{WRAP}$) that uses an off-the-shelf instruction-tuned model prompted to paraphrase documents on the web in specific styles such as"like Wikipedia"or in"question-answer format"to jointly pre-train LLMs on real and synthetic rephrases. First, we show that using WRAP on the C4 dataset, which is naturally noisy, speeds up pre-training by $\sim3x$. At the same pre-training compute budget, it improves perplexity by more than 10% on average across different subsets of the Pile, and improves zero-shot question answer accuracy across 13 tasks by more than 2%. Second, we investigate the impact of the re-phrasing style on the performance of the model, offering insights into how the composition of the training data can impact the performance of LLMs in OOD settings. Our gains are attributed to the fact that re-phrased synthetic data has higher utility than just real data because it (i) incorporates style diversity that closely reflects downstream evaluation style, and (ii) has higher 'quality' than web-scraped data.

한 줄 요약

WRAP은 웹 문서를 다양한 스타일로 재구성해 LLM 학습 효율을 3배 높이고 성능을 10% 이상 개선하는 데이터 증강 전략이다.

핵심 기여도

WRAP을 사용하면 C4 데이터셋 기반 학습 속도가 약 3배 향상됨.
Pile 데이터셋의 평균 perplexity가 10% 이상 감소.
13개 zero-shot Q/A 태스크에서 정확도가 2% 이상 향상됨.
15%의 C4 데이터만으로 350M 모델이 1.3B 모델 성능을 초과.

핵심 아이디어

기존 LLM 학습은 웹 크롤링 데이터의 노이즈와 질 저하로 인해 높은 컴퓨팅 비용과 데이터 양이 필요하다. WRAP은 오픈소스 LLM(예: 1.8B/7B)을 사용해 웹 문서를 "위키백과 스타일" 또는 "질의-응답 형식"과 같은 다양한 스타일로 재구성함으로써 학습 효율을 높인다. 이는 (i) 평가 스타일과 유사한 스타일 다양성 제공, (ii) 웹 크롤링 데이터보다 품질이 높은 합성 데이터 생성이라는 두 가지 핵심 요소를 기반으로 한다. 학습 데이터의 구성이 OOD(Out-of-Distribution) 환경에서의 성능에 큰 영향을 미친다는 점을 밝혀내며, 합성 데이터가 단순 반복보다 더 높은 학습 효율을 제공함을 보여준다.

기술적 접근법

WRAP은 다음과 같은 방법을 사용한다:

**C4 데이터셋**을 기반으로 문서를 재구성.
**Megatron-LM**을 사용해 128M, 350M, 1.3B 파라미터 규모의 디코더 전용 트랜스포머 모델 학습.
**1.8B/7B 크기의 오픈소스 LLM**을 프롬프트로 사용해 문서를 다양한 스타일로 재구성.
합성 데이터와 실제 데이터를 결합한 **"Synthetic + Real"** 학습 전략.
**Real Tok.**(실제 토큰 수)를 기준으로 비교 실험 수행.
학습 시 **최대 시퀀스 길이 1024**, 드롭아웃 미사용.

주요 결과

**C4 데이터셋**에서 WRAP 적용 시 학습 속도가 약 3배 향상됨.
**Pile 데이터셋**에서 평균 **perplexity 감소 10% 이상**.
**13개 zero-shot Q/A 태스크**에서 정확도가 2% 이상 향상됨.
**15%의 C4 데이터**로 학습한 350M 모델이 전체 C4로 학습한 1.3B 모델 성능을 초과.
**TinyLLama** 모델 대비 10배 적은 데이터와 컴퓨팅 자원으로 동일 또는 더 높은 성능 달성.

의의 및 한계

WRAP은 합성 데이터를 활용해 LLM 학습의 데이터와 컴퓨팅 효율성을 동시에 향상시키는 새로운 접근법을 제시한다. 특히, 합성 데이터가 평가 스타일과 유사한 경우 OOD 성능 향상에 기여함을 밝혀내며, 데이터 품질과 스타일 다양성의 중요성을 강조한다. 그러나 합성 데이터 생성 비용이 여전히 높고, 생성 데이터의 다양성을 유지하는 것이 어려운 점이 한계로 지적된다. 또한, 합성 데이터는 새로운 지식을 학습시키기보다는 품질 높은 입력을 제공하는 데 초점을 맞춘다.

실용적 활용

WRAP은 고비용의 웹 크롤링 데이터를 줄이고, 학습 효율을 높이는 데 유용하다. 특히, 데이터가 제한된 상황에서 합성 데이터를 활용해 LLM을 학습시키는 연구 및 산업 분야에서 적용 가능하다. 예를 들어, 소규모 기업이나 연구소가 저비용으로 성능 좋은 LLM을 학습할 수 있도록 지원한다.