QuIP#: Even Better LLM Quantization with Hadamard Incoherence and Lattice Codebooks

Post-training quantization (PTQ) reduces the memory footprint of LLMs by quantizing their weights to low-precision. In this work, we introduce QuIP#, a weight-only PTQ method that achieves state-of-the-art results in extreme compression regimes (≤ 4 bits per weight) using three novel techniques. First, QuIP# improves QuIP’s (Chee et al., 2023) incoherence processing by using the randomized Hadamard transform, which is faster and has better theoretical properties. Second, QuIP# uses vector quantization to take advantage of the ball-shaped sub-Gaussian distribution that incoherent weights possess: specifically, we introduce a set of hardware-efficient codebooks based on the highly symmetric E8 lattice, which achieves the optimal 8-dimension unit ball packing. Third, QuIP# uses fine-tuning to improve fidelity to the original model. Our experiments show that QuIP# outperforms existing PTQ methods, enables new behaviors in PTQ scaling, and supports fast inference. Our code can be found at https://github.com/Cornell-RelaxML/quip-sharp.

한 줄 요약

QuIP#는 2~4비트에서 최고 성능을 보이는 가중치 전용 양자화 방법으로, 하드웨어 효율적인 E8 격자 코드북과 랜덤 하다마드 변환을 결합한다.

핵심 기여도

랜덤 하다마드 변환(RHT)을 사용한 인코히런스 처리로 QuIP 대비 더 빠르고 이론적으로 우수한 성능 달성.
E8 격자 기반의 E8P 코드북을 도입하여 8차원 단위 구 최적 패킹을 실현.
블록 적응 라운딩(BlockLDLQ)과 레이어 간 미세 조정을 통해 양자화 정확도 향상.
3비트 모델이 4비트 모델보다 성능이 더 우수한 최초의 PTQ 방법 제시.

핵심 아이디어

기존 PTQ 방법은 극단적 압축 비율에서 성능 저하를 겪거나, 빠른 추론을 지원하지 못했다. QuIP#은 이 문제를 해결하기 위해 세 가지 핵심 아이디어를 제시한다. 첫째, RHT를 사용한 인코히런스 처리는 가중치 행렬의 이상치를 억제하면서 균일한 하위 가우시안 분포를 유도한다. 이는 QuIP에서 사용한 크로네커 인수분해보다 계산 효율적이며 이론적으로 더 강력하다. 둘째, E8 격자 기반 코드북(E8P)은 8차원 단위 구 최적 패킹을 달성하여, 하드웨어 친화적인 벡터 양자화를 가능하게 한다. 셋째, 레이어 간 미세 조정을 통해 양자화 후 모델의 원본 모델과의 유사도를 높인다.

기술적 접근법

**인코히런스 처리**: 랜덤 하다마드 변환(RHT)을 사용하여 가중치 행렬의 이상치를 억제.
**코드북**: E8 격자 기반의 E8P 코드북을 사용하여 8차원 벡터를 효율적으로 양자화.
**양자화 알고리즘**: BlockLDLQ 알고리즘을 사용하여 블록 단위로 적응적 라운딩 수행.
**추가 최적화**: 레이어 간 미세 조정을 통해 양자화 정확도 향상.
**하드웨어 최적화**: CUDA 기반의 빠른 추론 구현으로, NVIDIA RTX 4090에서 최대 50%의 피크 메모리 대역폭 달성.

주요 결과

**Llama 1 및 2 모델**에서 QuIP#는 2~4비트에서 기존 PTQ 방법(AWQ, OmniQuant, AQLM, QuIP) 대비 퍼플렉시티(perplexity)가 낮아 성능 우수함.
3비트 모델이 4비트 모델보다 성능이 더 우수한 최초의 PTQ 방법.
E8P 코드북은 8차원 단위 구 최적 패킹을 달성하며, 1MiB 크기의 코드북은 L1 캐시에 적합하지 않아 AQLM 대비 추론 속도 저하.
QuIP# CUDA 구현은 NVIDIA RTX 4090에서 50% 이상의 피크 메모리 대역폭 달성.

의의 및 한계

QuIP#은 극단적 압축 비율(≤4비트)에서도 뛰어난 성능을 보이며, LLM의 메모리 점유율을 대폭 줄이는 데 기여한다. 특히, 3비트 모델이 4비트 모델보다 성능이 더 우수하다는 점은 기존 PTQ 연구의 한계를 돌파한 것으로, 향후 2비트 모델이 3비트 모델보다 더 우수할 가능성을 제시한다. 그러나 E8P 코드북은 8차원만 지원하며, 다른 차원의 코드북 개발이 필요하다는 점에서 확장성 한계가 있다. 또한, 코드북 크기(1MiB)는 일부 하드웨어에서 성능 저하를 초래할 수 있다.

실용적 활용

QuIP#는 GPU 메모리가 제한된 장치에서 대형 언어 모델을 효율적으로 실행할 수 있도록 지원하며, 특히 2~4비트 압축이 필요한 모바일 및 에지 기기에서 유용하다. 또한, 빠른 추론 속도와 높은 정확도를 동시에 달성하므로, 실시간 응답이 필요한 대화형 AI 시스템에도 적용 가능하다.