SVD-LLM: Truncation-aware Singular Value Decomposition for Large Language Model Compression

The advancements in Large Language Models (LLMs) have been hindered by their substantial sizes, which necessitates LLM compression methods for practical deployment. Singular Value Decomposition (SVD) offers a promising solution for LLM compression. However, state-of-the-art SVD-based LLM compression methods have two key limitations: truncating smaller singular values may lead to higher compression loss, and the lack of update on the compressed weights after SVD truncation. In this work, we propose SVD-LLM, a SVD-based post-training LLM compression method that addresses the limitations of existing methods. SVD-LLM incorporates a truncation-aware data whitening technique to ensure a direct mapping between singular values and compression loss. Moreover, SVD-LLM adopts a parameter update with sequential low-rank approximation to compensate for the accuracy degradation after SVD compression. We evaluate SVD-LLM on 10 datasets and seven models from three different LLM families at three different scales. Our results demonstrate the superiority of SVD-LLM over state-of-the-arts, especially at high model compression ratios. Our code is available at https://github.com/AIoT-MLSys-Lab/SVD-LLM

한 줄 요약

SVD-LLM은 SVD 기반의 LLM 압축 방법으로, 잘린 특이값과 압축 손실 간의 직접적인 매핑을 보장하는 데이터 화이트닝 기법과 정확도 회복을 위한 순차적 저랭크 근사 기법을 결합하여 높은 압축률에서도 우수한 성능을 보인다.

핵심 기여도

잘린 특이값과 압축 손실 간의 직접적인 매핑을 보장하는 **truncation-aware data whitening** 기법 제안.
압축 후 정확도 저하를 보상하기 위한 **parameter update with sequential low-rank approximation** 알고리즘 도입.
10개 데이터셋, 3가지 LLM 가족(7B, 13B, 30B)에서 기존 SVD, 프루닝, 퀀티제이션 기반 방법 대비 **성능 우수함**.
2-bit 퀀티제이션과 결합 시, 1-bit 훈련 필요 퀀티제이션 방법 OneBit를 초과하는 성능 달성.

핵심 아이디어

기존 SVD 기반 LLM 압축 방법(FWSVD, ASVD)은 잘린 특이값과 압축 손실 간의 관계를 명확히 정의하지 못해, 작은 특이값을 잘라도 큰 손실이 발생하는 문제가 있었다. 또한, SVD 후 압축된 가중치를 업데이트하지 않아 높은 압축률에서 정확도가 급격히 저하되는 한계가 있었다.

SVD-LLM은 이 두 문제를 해결하기 위해 **truncation-aware data whitening** 기법을 도입하여, 잘릴 특이값을 선택할 때 압축 손실을 최소화하도록 유도한다. 이는 특이값과 압축 손실 간의 직접적인 매핑을 가능하게 한다. 또한, 잘린 가중치를 보상하기 위해 **sequential low-rank approximation**을 사용하여 압축된 모델의 파라미터를 순차적으로 업데이트함으로써 정확도를 회복한다. 이 두 기법의 결합이 기존 방법 대비 높은 압축률에서도 우수한 성능을 보이는 핵심이다.

기술적 접근법

**Truncation-aware data whitening**: 특이값과 압축 손실 간의 직접적인 매핑을 보장하기 위해 데이터 화이트닝 기법을 적용.
**Parameter update with sequential low-rank approximation**: 잘린 가중치를 보상하기 위해 순차적으로 저랭크 행렬을 업데이트.
**하드웨어**: GPU(NVIDIA A100), CPU(AMD EPYC 7643)에서 평가.
**데이터셋**: WikiText-2, C4, OpenbookQA, WinoGrande 등 10개 데이터셋.
**모델**: LLaMA, OPT, Mistral 가족의 7B, 13B, 30B 모델.
**교정 데이터**: WikiText-2에서 256개 샘플, Alpaca 데이터셋 50K 샘플 사용.

주요 결과

**10개 데이터셋**에서 SVD-LLM은 기존 SVD 기반 방법(FWSVD, ASVD) 대비 **perplexity 99% 이상 개선**.
**LLM-Pruner, SliceGPT, BlockPruner** 등 프루닝 기반 방법 대비 **성능 우수**.
**PB-LLM, BiLLM, OneBit** 등 퀀티제이션 기반 방법 대비 **성능 우수**.
**2-bit 퀀티제이션**과 결합 시, 1-bit 훈련 필요 퀀티제이션 방법 OneBit를 **초과**.
**GPU 및 CPU**에서 **추론 속도 향상 및 메모리 절감**.
**런타임 KV 캐시 메모리 감소** 없이 정확도 저하 없음.

의의 및 한계

SVD-LLM은 기존 SVD 기반 LLM 압축 방법의 주요 한계(잘린 특이값과 손실 간의 관계 불확실성, 파라미터 업데이트 누락)를 해결함으로써, 높은 압축률에서도 우수한 성능을 보인다. 특히, 2-bit 퀀티제이션과 결합 시, 훈련이 필요 없는 압축 방법으로도 경쟁력을 보인다. 이는 LLM의 실용적 배포를 촉진하는 데 기여할 수 있다.

그러나, 교정 데이터의 수나 샘플링 방식에 따라 최대 3% 이내의 성능 변동이 발생할 수 있으며, 이는 일부 상황에서 민감하게 반응할 수 있는 한계이다. 또한, 모든 LLM 아키텍처에 대한 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

SVD-LLM은 GPU 및 CPU 기반의 클라우드, 모바일, 에지 기기에서의 LLM 배포를 용이하게 할 수 있다. 특히, 높은 압축률과 정확도 유지가 필요한 의료, 금융, 자동차 등 산업 분야에서 실용적 활용이 기대된다. 또한, 훈련 없이도 높은 성능을 보이는 점에서 대규모 모델의 저비용 압축 및 배포에도 적합하다.