LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models

Efficient fine-tuning is vital for adapting large language models (LLMs) to downstream tasks. However, it requires non-trivial efforts to implement these methods on different models. We present LlamaFactory, a unified framework that integrates a suite of cutting-edge efficient training methods. It provides a solution for flexibly customizing the fine-tuning of 100+ LLMs without the need for coding through the built-in web UI LlamaBoard. We empirically validate the efficiency and effectiveness of our framework on language modeling and text generation tasks. It has been released at https://github.com/hiyouga/LLaMA-Factory and received over 25,000 stars and 3,000 forks.

한 줄 요약

LlamaFactory는 100개 이상의 언어 모델을 코드 없이 맞춤형으로 미세 조정할 수 있는 통합 프레임워크로, 다양한 효율적 학습 기법을 지원한다.

핵심 기여도

LlamaFactory는 Model Loader, Data Worker, Trainer 3개의 모듈로 구성되어 100개 이상의 LLM을 유연하게 조정 가능.
QLoRA, LoRA, GaLore 등 다양한 효율적 학습 기법을 플러그 앤 플레이 방식으로 지원.
웹 인터페이스 LlamaBoard를 통해 코드 없이 모델 학습 및 평가 가능.
GitHub에서 13,000개 이상의 별표와 1,600개 이상의 포크를 기록하며 빠르게 확산 중.

핵심 아이디어

LlamaFactory는 기존의 효율적 학습 기법을 하나의 프레임워크로 통합하여, 다양한 모델과 데이터셋에 대한 반복적인 구현 작업을 줄이는 것을 목표로 한다. 이는 Model Loader를 통해 사전 학습된 모델의 특정 레이어에 어댑터를 부착하고, Data Worker를 통해 데이터셋의 열을 정렬하여 처리하며, Trainer를 통해 다양한 학습 방법을 플러그 앤 플레이 방식으로 적용할 수 있도록 설계되었다. 특히, RoPE 스케일링 계수를 최대 입력 길이와 모델 컨텍스트 길이의 비율로 계산하는 방식은 모델의 확장성을 높이는 핵심 아이디어 중 하나이다.

기술적 접근법

**Model Loader**: 사전 학습된 모델을 로드하고, 어댑터를 특정 레이어에 부착.
**Data Worker**: 데이터셋의 열 정렬을 통해 데이터 처리를 표준화.
**Trainer**: LoRA, QLoRA, GaLore 등 다양한 효율적 학습 기법을 지원.
**Model Quantization**: 4-bit QLoRA, GPTQ, AWQ, AQLM 등 양자화 기법을 지원하며, 어댑터 기반 학습에만 호환.
**하이퍼파라미터**: RoPE 스케일링 계수는 최대 입력 길이 / 컨텍스트 길이로 계산.

주요 결과

QLoRA는 메모리 소모가 가장 낮아(최저 메모리), LoRA는 처리량(throughput)이 높아(LoRA: Unsloth 최적화).
GaLore는 대형 모델에서 낮은 PPL(퍼플렉시티)를 보여, 미세 조정 효과가 뛰어남.
Llama2-7B, ChatGLM3-6B 모델에서 LoRA와 QLoRA가 CNN/DM, AdGen 데이터셋에서 가장 높은 ROUGE 점수를 기록.
Mistral-7B은 영어 데이터셋에서, Qwen1.5-7B은 중국어 데이터셋에서 높은 성능을 보임.

의의 및 한계

LlamaFactory는 다양한 LLM과 학습 기법을 통합한 유일한 프레임워크로, 연구자와 개발자들이 코드 없이 모델을 조정할 수 있게 해준다. 특히, 100개 이상의 모델을 지원하며, Hugging Face Hub에서 수백 개의 오픈소스 모델이 이 프레임워크를 기반으로 개발되고 있다. 그러나, 양자화된 모델은 어댑터 기반 학습에만 호환되며, 직접 가중치 조정은 불가능하다는 한계가 있다. 또한, 일부 모델(예: Gemma-7B)은 GaLore 기법과 호환되지 않아 특정 기법에 제한이 있다.

실용적 활용

LlamaFactory는 기업이나 연구소에서 다양한 LLM을 빠르게 맞춤형으로 조정할 수 있는 도구로 활용 가능하다. 특히, 코드 없이 웹 인터페이스를 통해 모델 학습을 수행할 수 있어, 개발자 수준에 관계없이 사용할 수 있다. 또한, QLoRA와 LoRA 기법을 통해 GPU 메모리가 제한된 환경에서도 효율적인 학습이 가능하다.