LoRA vs Full Fine-tuning: An Illusion of Equivalence

Fine-tuning is a crucial paradigm for adapting pre-trained large language models to downstream tasks. Recently, methods like Low-Rank Adaptation (LoRA) have been shown to effectively fine-tune LLMs with an extreme reduction in trainable parameters. But, \emph{are their learned solutions really equivalent?} We study how LoRA and full-finetuning change pre-trained models by analyzing the model's weight matrices through the lens of their spectral properties. We find that LoRA and full fine-tuning yield weight matrices whose singular value decompositions exhibit very different structure: weight matrices trained with LoRA have new, high-ranking singular vectors, which we call \emph{intruder dimensions}, while those trained with full fine-tuning do not. Further, we extend the finding that LoRA forgets less than full fine-tuning and find its forgetting is vastly localized to the intruder dimension -- by causally intervening on the intruder dimensions by changing their associated singular values post-fine-tuning, we show that they cause forgetting. Moreover, scaling them down significantly improves modeling of the pre-training distribution with a minimal drop in downstream task performance. Given this, we should expect accumulating intruder dimensions to be harmful and lead to more forgetting. This will be amplified during continual learning because of sequentially fine-tuning, and we show that LoRA models do accumulate intruder dimensions here tend to perform worse in this setting, emphasizing the practicality of our findings.

한 줄 요약

LoRA와 full fine-tuning은 유사한 성능을 보이지만, 학습된 솔루션의 스펙트럼 구조와 일반화 능력에 차이가 있음을 밝힘.

핵심 기여도

LoRA로 학습된 모델은 "intruder dimensions"라는 고유한 특이값 벡터를 생성함.
이 intruder dimensions는 pre-trained 모델의 특이값 벡터와 직교하며, full fine-tuning 모델에서는 나타나지 않음.
LoRA 모델은 pre-training 분포를 더 많이 잊어버리며, 이는 intruder dimensions와 인과적 연관성을 가짐.
rank 64의 LoRA는 rank 8보다 일반화 성능이 우수하지만, rank-stabilization이 필요함.

핵심 아이디어

LoRA는 low-rank 매트릭스의 곱으로 가중치 업데이트를 표현함. 이는 full fine-tuning보다 훈련 파라미터 수를 극적으로 줄이지만, 학습된 솔루션의 구조적 차이가 존재함. 본 연구는 SVD를 통해 LoRA와 full fine-tuning이 pre-trained 모델의 가중치 행렬에 미치는 영향을 분석함. LoRA 모델은 pre-trained 모델과 직교한 고유한 singular vector, 즉 intruder dimensions를 생성하며, 이는 pre-training 분포를 잊는 주요 원인임. 이는 LoRA가 full fine-tuning과 동일한 솔루션을 학습하지 않음을 시사함. 또한, LoRA의 rank가 높을수록 full fine-tuning과 유사한 성능을 보이지만, rank-stabilization 없이 높은 rank를 사용하면 일반화 능력이 저하됨.

기술적 접근법

**LoRA**: 가중치 업데이트를 두 개의 low-rank 매트릭스의 곱으로 표현.
**Full fine-tuning**: pre-trained 모델의 모든 파라미터를 업데이트.
**SVD 분석**: 학습된 가중치 행렬의 singular value decomposition을 통해 pre-trained 모델과의 cosine 유사도를 측정.
**Intruder dimensions**: pre-trained 모델의 singular vector와 직교하며, LoRA 모델에만 나타나는 고유한 singular vector.
**Rank-stabilization**: 고랭크 LoRA 모델에서 일반화 성능을 향상시키기 위한 기법.
**Dataset**: sequence labeling, instruction tuning, language generation 등 다양한 downstream task 사용.
**Hyperparameter**: LoRA의 rank는 8, 64 등 실험적으로 조정.

주요 결과

LoRA 모델은 intruder dimensions을 생성하며, full fine-tuning 모델과는 다른 스펙트럼 구조를 가짐.
LoRA 모델은 pre-training 분포를 더 많이 잊으며, 이는 intruder dimensions와 인과적 연관성을 가짐.
rank 64 LoRA는 rank 8 LoRA보다 pre-training 분포를 더 잘 유지하면서도 downstream task 성능은 유사함.
LoRA 모델은 continual learning 환경에서 intruder dimensions가 누적되며 성능 저하가 발생함.
rank-stabilization을 적용한 고랭크 LoRA는 full fine-tuning과 유사한 일반화 성능을 보임.

의의 및 한계

LoRA는 full fine-tuning과 동일한 성능을 보이지만, 학습된 솔루션의 구조적 차이가 존재함. 이는 모델의 일반화 능력과 잊음에 영향을 미침.
intruder dimensions는 pre-training 분포를 잊는 주요 원인으로, 이는 LoRA의 장기적 학습 안정성에 부정적 영향을 줌.
rank-stabilization 없이 고랭크 LoRA를 사용하면 일반화 능력이 저하되며, 이는 LoRA의 한계를 드러냄.
본 연구는 LoRA의 내재적 제약을 밝히며, PEFT 방법의 설계에 중요한 통찰을 제공함.

실용적 활용

LoRA는 파라미터 효율적인 fine-tuning에 적합하지만, continual learning 환경에서는 full fine-tuning보다 성능이 저하될 수 있음.
rank-stabilization 기법을 적용한 고랭크 LoRA는 대규모 모델의 적응성과 일반화 능력을 균형 있게 유지하는 데 유용함.
downstream task의 성능과 pre-training 분포 유지 사이의 트레이드오프를 고려한 모델 선택이 필요함.