Training compute is increasingly outpacing the availability of high-quality data. This shifts the central challenge from optimal compute allocation to extracting maximum value from limited data. The widely adopted Chinchilla scaling law assumes every training token is unique. This limits its ability to guide pretraining decisions in data-constrained regimes. We model the excess loss under repetition with a simple additive overfitting penalty and find that it accurately describes model behavior. Our scaling law yields qualitatively new compute-optimal allocation advice. Beyond a point, further repetition is counterproductive and compute is better spent on model capacity. We show that following our law's recommended configuration improves performance in data-constrained regimes. Finally, because our one-parameter form isolates overfitting in a single coefficient, it enables direct comparison across training configurations. As a case study, we show that strong weight decay (λ=1.0) reduces this coefficient by approximately 70%, providing a scaling-law explanation for recent findings that optimal weight decay in data-constrained regimes is an order of magnitude larger than standard practice.
📋 한 줄 요약
**[스케일링/이론]** 데이터 제약 시대의 토큰 재사용을 단일 계수의 과적합 패널티로 모델링하여 새로운 compute-optimal 처방을 제시한다.
🎯 핵심 기여도
- 모든 토큰을 unique로 가정한 Chinchilla 스케일링 법칙의 한계를 데이터 제약 환경에서 명확화
- 토큰 반복에 따른 초과 손실을 단일 계수의 가법적 과적합 패널티로 모델링
- 일정 반복 이상은 역효과이며 모델 용량으로 자원을 옮겨야 한다는 새로운 처방 제시
- 단일 계수 형태로 학습 구성 간 직접 비교 가능 → 강한 weight decay(λ=1.0)가 계수를 약 70% 감소시킴을 정량 분석
💡 핵심 아이디어
컴퓨트가 양질 데이터의 가용성을 앞지르면서 핵심 문제는 "최적 컴퓨트 배분"에서 "한정된 데이터의 최대 활용"으로 이동했다. 토큰 반복으로 인한 추가 손실을 단순한 추가 항으로 표현하면, 데이터 제약 영역에서 정확한 정책을 도출할 수 있다.
🔬 기술적 접근법
- **모델/방법론**: Chinchilla 식에 가법적 overfitting penalty(단일 계수)를 추가한 prescriptive scaling law
- **핵심 기법**: 반복 횟수에 비례한 excess loss를 한 개의 학습 가능 계수로 흡수 → 학습 설정(예: weight decay) 간 직접 비교
📊 주요 결과
- 새 법칙이 실제 모델 거동을 정확히 묘사
- 일정 임계 이상의 반복은 손실, 모델 용량 확대가 더 이득
- 권장 구성을 따른 학습이 데이터 제약 영역에서 성능 향상
- 강한 weight decay(λ=1.0)가 과적합 계수를 약 70% 감소
💭 의의 및 한계
**의의**: 데이터 부족 시대에 사전학습 의사결정을 직접 가이드하는 처방적 스케일링 법칙으로, weight decay 등 정규화 효과를 일관된 단위로 비교 가능하게 함. **한계**: 단일 계수의 가법 모델이라는 가정이 모든 도메인·아키텍처에서 성립하는지는 추가 검증이 필요.
🚀 실용적 활용
- 데이터 제약 LLM 사전학습의 epoch·모델 사이즈 결정
- 정규화 하이퍼파라미터(특히 weight decay) 비교 평가 도구
- 합성 데이터·반복 학습 정책 설계의 정량 가이드