vision-language uncertainty-quantification low-rank-adaptation parameter-efficiency natural-language-reasoning model-fine-tuning zero-shot-inference balo-ra
Abstract
Low-Rank Adaptation (LoRA) has become the standard for fine-tuning large pre-trained models at reduced computational cost. However, its low-rank point-estimate updates limit expressiveness, leave a persistent gap relative to full fine-tuning accuracy, and provide no built-in uncertainty quantification, limiting its applicability in settings where reliability matters as much as accuracy. We introduce BaLoRA, a Bayesian extension of LoRA with a novel input-adaptive Bayesian parameterization of LoRA matrices that adds minimal parameters and compute. Surprisingly, not only does the Bayesian extension yield well-calibrated uncertainty estimates, but the adaptive noise injection underlying our approach also significantly improves prediction accuracy, narrowing the gap with full fine-tuning across both natural language reasoning and vision tasks. When applied to band gap prediction in metal-organic frameworks, BaLoRA produces zero-shot test-time uncertainty estimates that correlate more strongly with model error than a trained ensemble of LoRA models, and improve monotonically with compute without sacrificing accuracy.
한국어 요약
📋 한 줄 요약
**[효율적 미세조정 / 베이지안 LoRA]** 입력 적응적 베이지안 파라미터화로 LoRA에 불확실성 정량화와 정확도 향상을 동시에 부여한 BaLoRA 제안.
🎯 핵심 기여도
- LoRA의 점추정 한계(저표현력·full FT 대비 정확도 갭·불확실성 부재)를 한 번에 해결하는 새로운 베이지안 확장 BaLoRA 도입.
- 추가 파라미터·연산이 최소화된 입력 적응적 베이지안 LoRA 행렬 파라미터화 제안.
- 베이지안화가 불확실성을 잘 보정(calibrate)할 뿐 아니라 prediction accuracy까지 개선해 full fine-tuning과의 격차를 좁힘.
- 금속-유기 골격체(MOF) band gap 예측에서 LoRA 앙상블보다 더 강한 오차 상관 불확실성을 zero-shot 제공.
💡 핵심 아이디어
적응적 잡음 주입(adaptive noise injection)은 정칙화 효과로 작용해 LoRA의 표현력 부족을 보완하며, 동시에 베이지안 사후 분포로 자연스럽게 해석돼 불확실성도 제공한다는 통합 시각.
🔬 기술적 접근법
- **모델/방법론**: 표준 LoRA의 저랭크 행렬 $A, B$에 입력 의존적 분포를 부여하는 베이지안 파라미터화 도입.
- **핵심 기법**: 최소 추가 파라미터로 분포의 평균·분산을 입력에 따라 변조, 추론 시 샘플링으로 예측과 불확실성을 동시에 산출, 변분 추론 기반 학습.
📊 주요 결과
- 자연어 추론·비전 태스크 전반에서 LoRA 대비 정확도 향상, full FT와의 격차 축소.
- MOF band gap 예측에서 BaLoRA의 zero-shot 불확실성이 학습된 LoRA 앙상블보다 더 강하게 모델 오차와 상관.
- 컴퓨트 증가에 따라 정확도 손실 없이 단조적으로 불확실성 품질 개선.
💭 의의 및 한계
**의의**: 신뢰성이 정확도만큼 중요한 과학·의료·소재 발견 영역에서 LoRA를 실제로 쓸 수 있게 만드는 실용적 베이지안 확장. **한계**: 추론 시 샘플링으로 인한 비용 증가, 변분 가정에 따른 사후 근사 오차.
🚀 실용적 활용
- 소재 발견·신약 설계 등 신뢰성이 중요한 도메인의 LLM 파인튜닝.
- 능동학습(active learning)에서 라벨링 우선순위 결정용 불확실성 신호.
- 안전이 중요한 의사결정 지원 시스템에서 모델 출력의 신뢰도 표시.