QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs

We introduce QuaRot, a new Quantization scheme based on Rotations, which is able to quantize LLMs end-to-end, including all weights, activations, and KV cache in 4 bits. QuaRot rotates LLMs in a way that removes outliers from the hidden state without changing the output, making quantization easier. This computational invariance is applied to the hidden state (residual) of the LLM, as well as to the activations of the feed-forward components, aspects of the attention mechanism, and to the KV cache. The result is a quantized model where all matrix multiplications are performed in 4 bits, without any channels identified for retention in higher precision. Our 4-bit quantized LLaMa2-70B model has losses of at most 0.47 WikiText-2 perplexity and retains 99% of the zero-shot performance. We also show that QuaRot can provide lossless 6 and 8 bit LLaMa2 models without any calibration data using round-to-nearest quantization. Code is available at: https://github.com/spcl/QuaRot.

한 줄 요약

QuaRot는 4비트 정밀도로 LLM을 end-to-end로 양자화하는 새로운 기법으로, 모든 가중치, 활성화, KV 캐시를 4비트로 처리하면서 정확도 손실을 최소화한다.

핵심 기여도

Hadamard 변환을 활용해 활성화의 아웃라이어를 제거하여 4비트 양자화 가능 (모델 출력 변경 없이).
LLaMa2-70B 모델을 4비트로 양자화하여 WikiText-2 퍼플렉시티 손실 0.47 이하, zero-shot 성능 99% 유지.
6비트 및 8비트 양자화는 calibration 없이 lossless 가능.
Prefill 단계에서 최대 2.16× 속도 향상, decoding 단계에서 최대 3.39× 메모리 절약.

핵심 아이디어

QuaRot는 기존 양자화 기법에서 활성화의 아웃라이어로 인한 성능 저하 문제를 해결하기 위해, **Hadamard 변환**을 통해 입력을 회전시켜 아웃라이어를 제거하는 방식을 도입한다. 이는 **computational invariance** 개념을 기반으로, 모델의 출력을 변경하지 않으면서도 활성화의 분포를 균일하게 만든다. 특히, **residual**, **feed-forward**, **attention**, **KV cache** 등 모든 구성 요소에 적용되며, 이는 기존 양자화 기법에서 고려되지 않았던 부분이다.

이를 통해 QuaRot는 **모든 가중치, 활성화, KV 캐시를 4비트 정수로 처리**할 수 있으며, **GPTQ와 round-to-nearest 양자화**를 결합하여 실시간 활성화 양자화를 가능하게 한다.

기술적 접근법

**Hadamard 변환**을 가중치 행렬에 삽입하여 활성화의 아웃라이어 제거.
**Weight-only Quantization**에 Hadamard 적용, **Random Orthogonal Matrices** 대체 실험도 수행.
**FP16 Hadamard Transformation**, **Round-to-Nearest Weight Quantization**, **Group-wise Quantization**, **KV Cache Quantization** 등 다양한 변형 실험.
**GPTQ**를 기본 가중치 양자화 방법으로 사용, 활성화는 실시간 round-to-nearest로 처리.
**4비트 정수 연산**으로 모든 행렬 곱셈 수행, **고정 정밀도 채널 없이** 처리.

주요 결과

**LLaMa2-70B** 모델에서 WikiText-2 퍼플렉시티 손실 0.47 이하, zero-shot 성능 99% 유지.
**LLaMa2-7B** 모델에서 prefill 단계 최대 2.16× 속도 향상, decoding 단계 최대 3.39× 메모리 절약.
**6비트 및 8비트 양자화**는 calibration 없이 lossless 성능 유지.
**KV Cache**도 4비트로 양자화 가능, attention 모듈에도 Hadamard 적용.

의의 및 한계

QuaRot는 LLM의 end-to-end 4비트 양자화를 처음으로 실현한 기법으로, **모델의 모든 구성 요소를 균일하게 처리**함으로써 기존 양자화 기법의 한계를 극복한다. 특히, **아웃라이어 제거를 통한 정확도 유지**는 기존 calibration 기반 접근과 차별화된다.

그러나, **Hadamard 변환의 계산 비용**이나 **특정 아키텍처(예: Mixture-of-Experts)에 대한 확장 가능성**은 아직 명시되지 않았으며, **고정 정밀도 채널 없이 처리하는 방식의 안정성**도 추가 연구가 필요할 수 있다.

실용적 활용

QuaRot는 **GPU 메모리 제한이 있는 환경**에서 LLM 추론을 효율적으로 수행할 수 있는 기법으로, **RTX 3090과 같은 상용 GPU**에서도 성능 향상을 기대할 수 있다. 또한, **저비용 하드웨어 구현**이 가능하며, **NVIDIA B200 GPU 아키텍처와 유사한 성능**을 제공할 수 있다. 이는 모바일, 클라우드, 에지 기기 등 다양한 분야에서 활용 가능하다.