LoRA+: Efficient Low Rank Adaptation of Large Models

In this paper, we show that Low Rank Adaptation (LoRA) as originally introduced in Hu et al. (2021) leads to suboptimal finetuning of models with large width (embedding dimension). This is due to the fact that adapter matrices A and B in LoRA are updated with the same learning rate. Using scaling arguments for large width networks, we demonstrate that using the same learning rate for A and B does not allow efficient feature learning. We then show that this suboptimality of LoRA can be corrected simply by setting different learning rates for the LoRA adapter matrices A and B with a well-chosen ratio. We call this proposed algorithm LoRA$+$. In our extensive experiments, LoRA$+$ improves performance (1-2 $\%$ improvements) and finetuning speed (up to $\sim$ 2X SpeedUp), at the same computational cost as LoRA.

한 줄 요약

LoRA+는 LoRA의 효율성을 개선한 저랭크 튜닝 알고리즘으로, A와 B 행렬에 서로 다른 학습률을 적용하여 성능과 학습 속도를 향상시킨다.

핵심 기여도

LoRA의 기존 문제: A와 B 행렬에 동일한 학습률을 적용하면 대규모 모델에서 효율적인 학습이 어려움.
LoRA+ 제안: A와 B 행렬에 고정된 비율로 다른 학습률을 적용함으로써 성능 개선.
실험 결과: LoRA+는 LoRA와 동일한 계산 비용으로 1~2% 성능 향상과 최대 2배 학습 속도 향상을 달성.
학습률 비율 λ = η_B / η_A가 성능에 중요한 영향을 미침.

핵심 아이디어

LoRA는 사전 학습된 모델에 저랭크 행렬인 어댑터(A, B)를 추가하여 파라미터 수를 줄이는 튜닝 방법이다. 그러나 A와 B에 동일한 학습률을 적용하면, 모델의 임베딩 차원이 클 경우 효율적인 학습이 이루어지지 않는다는 문제가 있다. 본 논문은 이 문제를 해결하기 위해 A와 B에 서로 다른 학습률을 적용하는 LoRA+를 제안한다. 이는 A와 B가 각각 가중치와 방향을 조절하는 역할을 하므로, 서로 다른 학습률이 필요하다는 통찰에서 비롯된다. 이론적 분석과 실험을 통해, A와 B에 적절한 비율의 학습률을 적용하면 학습 속도와 성능이 향상됨을 보여준다.

기술적 접근법

**LoRA+ 알고리즘**: LoRA의 어댑터 행렬 A와 B에 서로 다른 학습률을 적용.
**학습률 비율**: λ = η_B / η_A를 고정 비율로 설정.
**수식적 분석**: Z_B = B A Z̄로 표현되며, A는 가중치, B는 방향을 조절.
**학습률 조정**: δ_t^1 = Θ(1), δ_t^2 = Θ(1)이 되도록 A와 B를 모두 충분히 업데이트.
**실험 설정**: GPT2, Roberta, Llama-7b 등 언어 모델을 사용.
**최적 학습률 비율**: λ = η_B / η_A의 기본값을 실험적으로 결정.

주요 결과

**성능 향상**: LoRA+는 LoRA 대비 1~2% 성능 향상.
**학습 속도 향상**: 최대 약 2배의 학습 속도 향상.
**데이터셋**: MNLI, MMLU, SST2 등.
**모델**: Roberta, GPT2, Llama-7b.
**비교 대상**: LoRA와 동일한 계산 비용에서 LoRA+가 우수한 성능을 보임.

의의 및 한계

**의의**: LoRA의 학습률 설정 문제를 이론적으로 분석하고, 간단한 수정으로 성능과 속도를 동시에 향상.
**실용적 가치**: 대규모 모델의 저비용 튜닝에 유용한 방법론 제공.
**한계**: 학습률 비율 λ는 태스크와 모델에 따라 달라져야 하지만, 본 논문은 일반적인 비율만 제안. 이는 향후 연구 주제로 제시됨.

실용적 활용

LoRA+는 대규모 언어 모델(GPT, Llama 등)을 특정 태스크에 맞게 저비용으로 튜닝할 때 유용하게 사용될 수 있다. 특히, MNLI, MMLU 등 복잡한 분류 및 추론 태스크에서 효과적일 것으로 기대된다. 산업적으로는 API 기반 모델 활용 시, 사용자 맞춤형 튜닝을 효율적으로 수행하는 데 적합하다.