SpinQuant: LLM quantization with learned rotations

Post-training quantization (PTQ) techniques applied to weights, activations, and the KV cache greatly reduce memory usage, latency, and power consumption of Large Language Models (LLMs), but may lead to large quantization errors when outliers are present. Rotating activation or weight matrices helps remove outliers and benefits quantization. In this work, we identify a collection of applicable rotation parameterizations that lead to identical outputs in full-precision Transformer architectures while enhancing quantization accuracy. In addition, we find that some random rotations lead to much better quantization than others, with an up to 13 points difference in downstream zero-shot reasoning performance. As a result, we propose SpinQuant, a novel approach that incorporates learned rotation matrices for optimal quantized network accuracy. With 4-bit quantization of weight, activation, and KV-cache, SpinQuant narrows the accuracy gap on zero-shot reasoning tasks with full precision to merely 2.9 points on the LLaMA-2 7B model, surpassing LLM-QAT by 19.1 points and SmoothQuant by 25.0 points. Furthermore, SpinQuant also outperforms concurrent work QuaRot, which applies random rotations to remove outliers. In particular, for LLaMA-3 8B models that are hard to quantize, SpinQuant reduces the gap to full precision by up to 45.1% relative to QuaRot. Code is available at https://github.com/facebookresearch/SpinQuant.

한 줄 요약

SpinQuant은 LLM의 4비트 양자화 성능을 회전 행렬 학습을 통해 2.9% 이하로 감소시키는 새로운 양자화 기법이다.

핵심 기여도

SpinQuant은 회전 불변성을 유지하면서 양자화 정확도를 향상시키는 회전 매개변수화를 제안함.
랜덤 회전 대비 학습된 회전 행렬을 사용하여 최종 손실을 최소화함 (최대 16.2% 개선).
LLaMA-2 7B 모델에서 W4A4KV4 양자화 시 정확도 격차를 2.9%로 줄임 (LLM-QAT 대비 +19.1%, SmoothQuant 대비 +25.0%).
LLaMA-3 8B 모델에서 QuaRot 대비 45.1% 개선됨.

핵심 아이디어

SpinQuant은 LLM의 가중치와 활성화 분포에서 이상치를 제거하기 위해 학습된 회전 행렬을 도입함. 회전 불변성은 전체 정밀도 네트워크 출력을 유지하면서 양자화 성능을 향상시키는 핵심 통찰이다. 회전 행렬은 Cayley SGD를 사용해 Stiefel 매니폴드 상에서 최적화되며, 이는 직교 행렬 최적화에 효과적인 알고리즘이다. 회전 행렬은 두 가지 전략으로 구현되며, SpinQuant_no_had는 가중치에 직접 통합되고, SpinQuant_had는 MLP 블록과 KV 캐시의 활성화 이상치를 처리하는 온라인 하다마드 회전을 추가한다.

기술적 접근법

회전 매개변수화: R1, R2, R3, R4 행렬을 사용하여 회전 불변성을 유지.
회전 최적화: Cayley SGD를 사용하여 Stiefel 매니폴드 상에서 최적화.
회전 전략: SpinQuant_no_had는 가중치에 직접 통합, SpinQuant_had는 4비트 활성화/KV 캐시를 위한 온라인 하다마드 회전 추가.
데이터셋: LLaMA-2 (7B/13B/70B), LLaMA-3 (1B/3B/8B), Mistral 7B 모델 사용.
평가 지표: BoolQ, PIQA, HellaSwag 등 8개의 zero-shot 추론 태스크와 WikiText2 퍼플렉시티.

주요 결과

LLaMA-2 7B 모델에서 W4A4KV4 양자화 시 정확도 격차는 2.9%로 줄음 (LLM-QAT 대비 +19.1%, SmoothQuant 대비 +25.0%).
LLaMA-3 8B 모델에서 QuaRot 대비 45.1% 개선됨.
Mistral-7B 모델에서 W4A8KV8 양자화 시 정확도 격차는 1.6%로 감소 (기존 12.1%에서).
SpinQuant_had는 LLaMA-2 7B에서 64.0%의 정확도를 달성함.

의의 및 한계

SpinQuant은 LLM의 4비트 양자화 성능을 현저히 향상시키며, 특히 LLaMA-3 8B처럼 양자화가 어려운 모델에도 효과적임. 회전 행렬 최적화는 기존 랜덤 회전 기반 방법보다 안정적이고 정확도 향상이 뚜렷함. 그러나 회전 최적화는 추가적인 계산 비용을 유발할 수 있으며, 모든 LLM 아키텍처에 적용 가능한지는 추가 연구가 필요함. 또한, 회전 행렬이 네트워크 구조에 영향을 주지 않는다는 가정은 일부 모델에서는 성립되지 않을 수 있음.

실용적 활용

SpinQuant은 서버 측 및 장치 측 LLM 추론에서 메모리 사용량과 전력 소모를 줄이는 데 유용함. 특히, 고정된 하드웨어 자원에서 성능을 유지하면서 LLM을 배포해야 하는 의료, 교육, 게임 등 산업 분야에서 활용 가능함. 또한, GPTQ와 같은 고급 양자화 기법과의 호환성도 보장되어 실용적 적용 범위가 넓음.