FuRA: Full-Rank Parameter-Efficient Fine-Tuning with Spectral Preconditioning

Both full fine-tuning (Full FT) and parameter-efficient fine-tuning methods such as LoRA introduce weight updates without accounting for the spectral structure established during pretraining. As a result, noisy gradients from limited fine-tuning data can perturb robust pretrained features. We identify spectral preconditioning as the missing ingredient: reparameterizing each weight matrix through its full-rank singular value decomposition (SVD) and freezing one singular basis constrains updates to the pretrained column space, yielding a preconditioned optimization scheme that outperforms unconstrained Full FT at the same trainable parameter count. Building on this insight, we propose FuRA (Full-Rank Adaptation), an efficient full-rank adaptation framework based on a block tensor-train factorization W = LSR, where the large core L is fixed to the pretrained block-wise SVD basis, while only the compact core R and the block-wise singular values S are optimized. This design simultaneously provides full-rank spectral preconditioning, preserves full-rank update expressivity, and achieves parameter, memory, and step-time efficiency comparable to LoRA. FuRA consistently outperforms Full FT across multiple settings, including LLM fine-tuning (+1.37 on LLaMA-3-8B commonsense reasoning), LLM reinforcement learning for mathematical reasoning, and visual instruction tuning for VLMs. Furthermore, the 4-bit quantized variant, QFuRA, also surpasses QLoRA. Code is available at https://github.com/olokevin/FuRA-NIPS

📋 한 줄 요약

**[Spectral PEFT]** FuRA가 block-wise SVD 기반 W=LSR 분해로 L을 동결·S·R만 학습 — full-rank spectral preconditioning, LoRA 수준 파라미터·메모리·step 효율, LLaMA-3-8B commonsense +1.37·QFuRA가 QLoRA 능가.

🎯 핵심 기여도

Full fine-tuning(Full FT)과 LoRA 같은 parameter-efficient fine-tuning이 모두 pretraining에서 확립된 spectral 구조를 고려하지 않고 weight 업데이트를 도입 — 제한된 fine-tuning 데이터의 noisy gradient가 robust pretrained feature를 교란할 수 있음을 지적.
Spectral preconditioning이 missing ingredient임을 식별 — 각 weight matrix를 full-rank SVD로 reparameterize하고 한 singular basis를 동결하면 업데이트를 pretrained column space로 제약, 동일 trainable parameter 수에서 unconstrained Full FT를 outperform.
FuRA(Full-Rank Adaptation) 제안 — block tensor-train factorization W=LSR 기반 efficient full-rank adaptation 프레임워크. 큰 core L은 pretrained block-wise SVD basis로 고정, compact core R과 block-wise singular value S만 최적화.
Full-rank spectral preconditioning과 full-rank update expressivity를 동시 제공하면서 LoRA에 비견되는 parameter·memory·step-time 효율 달성. 다양한 환경에서 Full FT outperform — LLM fine-tuning(LLaMA-3-8B commonsense +1.37), 수학 추론 RL, VLM visual instruction tuning. 4-bit 양자화 변종 QFuRA도 QLoRA 능가.

💡 핵심 아이디어

Fine-tuning 효과는 trainable parameter 수가 아니라 spectral 구조의 보존·활용에 달려있으며, block tensor-train W=LSR로 pretrained SVD basis를 동결한 채 singular value와 compact core만 학습하면 full-rank expressivity와 LoRA 수준 효율을 동시 달성한다.

🔬 기술적 접근법

**방법론**: FuRA — block tensor-train W = LSR factorization.
**핵심 기법**: (1) Full-rank SVD reparameterization, (2) Block-wise SVD basis L 동결으로 pretrained column space에 제약, (3) Compact core R과 block-wise singular value S만 학습, (4) Full-rank spectral preconditioning + full-rank update expressivity, (5) 4-bit 양자화 변종 QFuRA 제공.

📊 주요 결과

LLaMA-3-8B commonsense reasoning: +1.37 (vs Full FT).
LLM 수학 추론 RL에서 Full FT 능가.
VLM visual instruction tuning에서 Full FT 능가.
QFuRA(4-bit)가 QLoRA outperform.
LoRA 대비 비슷한 parameter·memory·step-time 효율.

💭 의의 및 한계

**의의**: PEFT의 spectral 구조 보존이라는 missing principle 정립, full-rank expressivity와 LoRA 효율의 동시 확보로 PEFT 패러다임 진전, 양자화까지 확장. **한계**: Block-wise SVD 사전 계산 비용, 매우 큰 모델에서 block 분할 hyperparameter 튜닝, 일부 도메인의 효과 검증 추가 필요.

🚀 실용적 활용

LLM·VLM 효율적 fine-tuning.
양자화 환경에서 PEFT 표준.
Reinforcement learning 기반 LLM 후처리.