DoRA: Weight-Decomposed Low-Rank Adaptation

Among the widely used parameter-efficient fine-tuning (PEFT) methods, LoRA and its variants have gained considerable popularity because of avoiding additional inference costs. However, there still often exists an accuracy gap between these methods and full fine-tuning (FT). In this work, we first introduce a novel weight decomposition analysis to investigate the inherent differences between FT and LoRA. Aiming to resemble the learning capacity of FT from the findings, we propose Weight-Decomposed Low-Rank Adaptation (DoRA). DoRA decomposes the pre-trained weight into two components, magnitude and direction, for fine-tuning, specifically employing LoRA for directional updates to efficiently minimize the number of trainable parameters. By employing \ours, we enhance both the learning capacity and training stability of LoRA while avoiding any additional inference overhead. \ours~consistently outperforms LoRA on fine-tuning LLaMA, LLaVA, and VL-BART on various downstream tasks, such as commonsense reasoning, visual instruction tuning, and image/video-text understanding. Code is available at https://github.com/NVlabs/DoRA.

한 줄 요약

DoRA는 LoRA의 학습 능력을 향상시키며 추론 오버헤드 없이 정확도를 개선하는 가중치 분해 기반 파라미터 효율적 미세조정 방법이다.

핵심 기여도

DoRA는 LoRA와 FT의 학습 패턴 차이를 분석하기 위한 새로운 가중치 분해 분석을 제시.
DoRA는 LLaMA, LLaVA, VL-BART에서 LoRA 대비 commonsense reasoning (+3.4/1.0), visual instruction tuning (+0.6), image/video-text understanding (+0.9/1.9) 등에서 정확도 향상.
DoRA는 LoRA와 VeRA와 호환 가능하며, 추론 시 오버헤드 없이 학습된 가중치를 병합할 수 있음.

핵심 아이디어

기존 LoRA는 모델 가중치의 방향만 조정하지만, DoRA는 가중치를 **magnitude**와 **direction** 두 성분으로 분해하여 각각을 미세조정한다. 이는 LoRA가 학습 능력에 한계가 있다는 관찰에서 비롯되며, 특히 LoRA는 방향 조정에만 초점을 맞추어 학습 패턴이 FT와 차이가 나는 것으로 분석되었다. DoRA는 방향 조정에는 LoRA를 활용하고, 크기 조정은 별도로 학습함으로써 LoRA의 파라미터 효율성을 유지하면서도 FT에 가까운 학습 능력을 달성한다. 이는 **가중치 정규화**(weight normalization)의 아이디어를 확장한 것으로, 학습 안정성과 정확도를 동시에 향상시킨다.

기술적 접근법

**DoRA**: 사전 학습된 가중치를 magnitude와 direction으로 분해.
**Direction 조정**: LoRA를 사용하여 방향 성분을 저랭크 행렬로 업데이트.
**Magnitude 조정**: 별도로 학습하여 전체 가중치의 크기 변화를 반영.
**추론 시 병합**: 학습된 magnitude와 direction을 원래 가중치에 병합하여 추론 오버헤드 없음.
**적용 모델**: LLaMA-7B/13B, LLaVA-7B, VL-BART 등.
**하이퍼파라미터**: rank는 실험적으로 조정되며, 학습 샘플 수와 관계없이 LoRA보다 성능 향상.

주요 결과

**LLaMA-7B/13B**: commonsense reasoning에서 LoRA 대비 +3.4%, +1.0% 개선.
**LLaVA-7B**: visual instruction tuning에서 +0.6% 개선.
**VL-BART**: image/video-text understanding에서 +0.9%, +1.9% 개선.
**LoRA와 VeRA 호환성**: Alpaca instruction tuning에서 DoRA가 LoRA와 VeRA를 결합하여 성능 향상.
**파라미터 효율성**: 특정 모듈의 directional component만 업데이트하여 학습 파라미터 수를 줄임.

의의 및 한계

DoRA는 LoRA의 학습 제한을 극복하면서도 추론 비용을 유지함으로써 파라미터 효율적 미세조정 분야에서 중요한 기여를 한다. 특히, NLP와 Vision-Language 분야에서 다양한 모델 아키텍처에 걸쳐 일관된 성능 향상을 보여주며, 추론 시 오버헤드 없이 학습된 가중치를 병합할 수 있어 실용적 가치가 높다. 그러나 DoRA는 현재 언어와 시각 분야에만 적용되었으며, 음성 등 다른 다중 모달리티에 대한 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

DoRA는 대규모 언어 모델과 멀티모달 모델의 미세조정에 적합하며, 추론 비용을 최소화하면서도 정확도를 향상시킬 수 있어, 클라우드 기반 모델 서비스, 모바일 기기, 실시간 멀티모달 응용 등에 유용하게 활용될 수 있다.