When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method

While large language models (LLMs) often adopt finetuning to unlock their capabilities for downstream applications, our understanding on the inductive biases (especially the scaling properties) of different finetuning methods is still limited. To fill this gap, we conduct systematic experiments studying whether and how different scaling factors, including LLM model size, pretraining data size, new finetuning parameter size and finetuning data size, affect the finetuning performance. We consider two types of finetuning -- full-model tuning (FMT) and parameter efficient tuning (PET, including prompt tuning and LoRA), and explore their scaling behaviors in the data-limited regime where the LLM model size substantially outweighs the finetuning data size. Based on two sets of pretrained bilingual LLMs from 1B to 16B and experiments on bilingual machine translation and multilingual summarization benchmarks, we find that 1) LLM finetuning follows a powerbased multiplicative joint scaling law between finetuning data size and each other scaling factor; 2) LLM finetuning benefits more from LLM model scaling than pretraining data scaling, and PET parameter scaling is generally ineffective; and 3) the optimal finetuning method is highly task- and finetuning data-dependent. We hope our findings could shed light on understanding, selecting and developing LLM finetuning methods.

한 줄 요약

LLM 미세조정에서 데이터, 모델, 조정 방법의 스케일링 효과를 실증적으로 분석한 연구.

핵심 기여도

LLM 미세조정 성능에 영향을 주는 스케일링 요인(모델 크기, 사전학습 데이터 크기, 조정 파라미터 크기, 조정 데이터 크기) 간의 multiplicative joint scaling law를 제안.
모델 크기 확장이 사전학습 데이터 확장보다 미세조정 성능 향상에 더 효과적임을 밝힘.
LoRA와 Prompt Tuning 기반 PET 파라미터 확장은 효과적이지 않음을 실증.
최적의 미세조정 방법은 작업과 데이터에 따라 달라짐.

핵심 아이디어

기존 연구는 LLM 사전학습의 스케일링에 집중했으나, 미세조정의 스케일링 특성에 대한 이해는 부족했다. 본 연구는 FMT와 PET(LoRA, Prompt Tuning) 두 가지 주요 조정 방법을 대상으로, 데이터가 제한된 환경에서 스케일링 요인의 상호작용을 분석했다. 특히, 미세조정 데이터 크기와 다른 스케일링 요인(모델 크기, 사전학습 데이터 크기, PET 파라미터 크기) 간의 multiplicative 관계를 제시함으로써, LLM 미세조정의 일반적인 성능 예측 가능성을 제시했다. 이는 LLM의 효율적인 활용 및 개발 전략 수립에 기초가 될 수 있다.

기술적 접근법

**모델**: 1B에서 16B 크기의 이중언어 LLM 2세트를 사전학습.
**데이터**: WMT 기계번역(영-독, 영-중), MLSum 다국어 요약(영, 독, 프, 스페인어)에서 최대 20M의 미세조정 데이터 사용.
**조정 방법**: FMT(전체 파라미터 업데이트), PET(LoRA, Prompt Tuning) 비교.
**평가 지표**: 토큰 수준 퍼플렉시티(PPL), BLEURT, ROUGE-L, Flores200.
**스케일링 법칙**: $ \text{PPL} = A \cdot D_f^{-\alpha} \cdot X^{-\beta} $ 형태의 multiplicative joint scaling law 제안.

주요 결과

**WMT 기계번역**에서 LoRA는 Prompt Tuning보다 훈련 안정성이 높았으나, 파라미터 확장은 효과 없음.
**모델 크기 확장**이 사전학습 데이터 확장보다 미세조정 성능 향상에 더 유의미한 영향을 미침.
**미세조정 데이터 크기**와 다른 스케일링 요인 간 multiplicative 관계가 실증적으로 성립됨.
**MLSUm 다국어 요약**에서 PET는 FMT보다 zero-shot 생성 성능이 우수함.

의의 및 한계

본 연구는 LLM 미세조정의 스케일링 특성을 체계적으로 분석한 최초의 연구로, 모델 선택 및 조정 전략 수립에 실질적 기준을 제공한다. 특히, PET 파라미터 확장의 무효성과 모델 크기 확장의 효과를 밝힘으로써, 자원 효율적인 조정 방법을 탐색하는 데 기여한다. 그러나 제안된 스케일링 법칙은 닫힌 생성 작업에서만 검증되었으며, 이론적 근거는 부족하다. 또한, Prompt와 LoRA의 최적화 및 평가가 일부 설정에서 불완전하다는 한계가 있다.

실용적 활용

본 연구는 LLM을 활용한 기업의 자연어 생성, 번역, 요약 시스템 개발에 적용 가능하다. 특히, 데이터가 제한된 상황에서 모델 크기와 조정 방법을 선택하는 데 도움이 되며, PET 기반 조정은 자원 효율성을 고려한 선택지가 될 수 있다. 또한, 다국어 작업에서 PET의 zero-shot 성능은 글로벌 서비스 개발에 유용하다.