Mixture of LoRA Experts

LoRA has gained widespread acceptance in the fine-tuning of large pre-trained models to cater to a diverse array of downstream tasks, showcasing notable effectiveness and efficiency, thereby solidifying its position as one of the most prevalent fine-tuning techniques. Due to the modular nature of LoRA's plug-and-play plugins, researchers have delved into the amalgamation of multiple LoRAs to empower models to excel across various downstream tasks. Nonetheless, extant approaches for LoRA fusion grapple with inherent challenges. Direct arithmetic merging may result in the loss of the original pre-trained model's generative capabilities or the distinct identity of LoRAs, thereby yielding suboptimal outcomes. On the other hand, Reference tuning-based fusion exhibits limitations concerning the requisite flexibility for the effective combination of multiple LoRAs. In response to these challenges, this paper introduces the Mixture of LoRA Experts (MoLE) approach, which harnesses hierarchical control and unfettered branch selection. The MoLE approach not only achieves superior LoRA fusion performance in comparison to direct arithmetic merging but also retains the crucial flexibility for combining LoRAs effectively. Extensive experimental evaluations conducted in both the Natural Language Processing (NLP) and Vision&Language (V&L) domains substantiate the efficacy of MoLE.

한 줄 요약

Mixture of LoRA Experts(MoLE)는 다중 LoRA의 유연하고 효율적인 조합을 위해 계층적 게이팅 함수를 도입한 새로운 LoRA 퓨전 기법이다.

핵심 기여도

MoLE는 각 LoRA 레이어를 독립적인 전문가(expert)로 간주하고, 계층적 가중치 조절을 통해 LoRA 조합 성능을 향상시킴.
기존의 직접 산술 퓨전과 비교해 LoRA의 고유 특성을 유지하면서도 더 높은 성능을 달성함.
LoRAHub 대비 2.5~3.0 포인트 개선된 성능을 NLP 및 V&L 도메인에서 보임.
학습 중에는 게이팅 함수만 학습하고 나머지 파라미터는 고정하여 계산 비용을 최소화함.

핵심 아이디어

기존 LoRA 퓨전 방법은 산술적 합성 또는 매뉴얼 마스크 기반의 Reference Tuning을 사용하지만, 이는 LoRA의 고유 특성을 상실하거나 높은 계산 비용을 유발한다. MoLE는 이 문제를 해결하기 위해 **계층적 가중치 조절**(hierarchical weight control)을 도입한다. 각 LoRA 레이어를 독립적인 전문가로 간주하고, **가변 게이팅 함수**(gating function)를 통해 도메인별 최적의 조합 가중치를 학습한다. 이는 LoRA의 고유 특성을 유지하면서도, 원하는 성능을 극대화하는 데 기여한다. 또한, **ℓ_balance 손실 함수**를 도입하여 게이팅 함수의 불균형을 완화하고, **가중치 분포의 균일성**을 유지한다.

기술적 접근법

**모델 구조**: MoLE는 각 LoRA 레이어를 독립적인 전문가로 간주하고, 레이어별로 **가변 게이팅 함수**(gating function)를 도입하여 조합 가중치를 학습함.
**학습 전략**: 학습 시에는 게이팅 함수만 학습하고, 나머지 파라미터는 고정함. 이로 인해 **전체 모델 재학습이 불필요**하며, 계산 비용이 낮음.
**추론 모드**: 두 가지 추론 모드를 지원함.
**모드 1**: 모든 LoRA를 사용하며, 학습된 가중치를 할당함.
**모드 2**: 불필요한 LoRA를 수동 마스킹하고, 나머지 LoRA에 대해 가중치를 재분배함.
**ℓ_balance 손실 함수**: 게이팅 함수의 불균형을 완화하고, **가중치 분포의 균일성**을 유지함.
**계층적 조절 분석**: 블록 수준(b- MoLE)과 레이어 수준(l- MoLE)의 조절이 가장 높은 성능을 보임.

주요 결과

**NLP 도메인**: 48개 및 128개 LoRA 조합 시, LoRAHub 대비 각각 **2.5**, **3.0 포인트 개선**됨.
**V&L 도메인**: Textual Inversion 대비 이미지-텍스트 정렬 성능에서 우수함.
**BBH 데이터셋**: LoRAHub 대비 **2.4 포인트**, PEMs 대비 **3.7 포인트** 성능 개선됨.
**LoRA 수 증가 실험**: 128개 LoRA 조합 시 모든 방법에서 성능 하락 발생, 하지만 MoLE가 가장 낮은 하락폭 보임.
**가중치 분포 분석**: b- MoLE와 l- MoLE가 가장 높은 성능을 보임.

의의 및 한계

MoLE는 기존 LoRA 퓨전 방법의 한계를 극복하고, **유연한 LoRA 조합**과 **낮은 계산 비용**을 동시에 달성함. 특히, **개별 LoRA의 고유 특성을 유지하면서도** 조합 성능을 향상시키는 점에서 학술적·실용적 가치가 높음. 그러나, **LoRA 수가 128개 이상 증가할 경우 성능 하락**이 발생하며, 대규모 LoRA 조합에 대한 연구가 필요함. 또한, **가장 세부적인 조절(m- MoLE)**은 과도한 제어로 인해 성능 저하가 발생함.

실용적 활용

MoLE는 **자연어 처리**(NLP) 및 **비전-언어**(V&L) 분야에서 다중 도메인 작업을 수행하는 데 유용함. 특히, **제한된 컴퓨팅 자원** 환경에서 LoRA 조합을 효율적으로 수행할 수 있어, **대규모 모델의 실용적 활용**에 기여할 수 있음. 또한, **LoRA 기반 생성 모델**에서의 유연한 조합 및 **개별 LoRA 특성 유지**가 필요한 애플리케이션에 적합함.