KronQ: LLM Quantization via Kronecker-Factored Hessian

Post-training quantization (PTQ) is a widely adopted technique for compressing large language models (LLMs) without retraining. Existing second-order PTQ methods, including GPTQ, construct quantization objectives exclusively from input activation statistics, effectively assuming that all output channels contribute equally to the layer-wise reconstruction objective. We propose KronQ, a PTQ framework that challenges this assumption by introducing the gradient covariance into the quantization pipeline. Under the Kronecker-factored Hessian approximation, the quantization loss depends jointly on both the activation and gradient covariances, and KronQ exploits this at two complementary levels. (1) KronQ introduces bidirectional incoherence processing, extending the existing input-side random rotation to the output dimension using the gradient covariance, reducing weight magnitude variance across both input and output dimensions. (2) KronQ derives a new sensitivity metric for inter-layer mixed-precision allocation, driven by the gradient and activation Hessian traces. Notably, in the case of 2-bit weight-only quantization on LLaMA-3-70B, while GPTQ and GPTAQ diverge or produce degenerate quantizations (>2000 perplexity on WikiText-2), KronQ achieves 7.93 perplexity.

한 줄 요약

KronQ는 Hessian 기반의 2차 PTQ 방법으로, LLaMA-3-70B 모델에서 2비트 정량화 시 7.93의 퍼플렉시티를 달성한다.

핵심 기여도

GPTQ와 달리, KronQ는 입력 활성화 통계뿐만 아니라 **그라디언트 공분산**을 활용한 2차 PTQ 프레임워크를 제안.
**Kronecker-factored Hessian 근사**를 통해 활성화와 그라디언트 공분산을 결합한 새로운 정량화 손실 함수를 도입.
**입출력 차원의 무작위 회전 확장**을 통해 가중치의 크기 분산을 감소.
**레이어 간 혼합 정밀도 할당**을 위한 새로운 민감도 지표를 제안.

핵심 아이디어

기존 PTQ 방법은 입력 활성화 통계만을 기반으로 가정하며, 모든 출력 채널이 동일하게 기여한다고 가정한다. KronQ는 이 가정을 거부하고, **그라디언트 공분산**을 정량화 과정에 통합함으로써 보다 정확한 가중치 정량화를 실현한다. 이는 Hessian 행렬의 Kronecker-factored 근사를 통해, 활성화와 그라디언트의 공분산이 결합된 손실 함수를 도출하는 데 기반한다. 특히, 입력-출력 차원의 무작위 회전을 확장하여 가중치의 분산을 줄이는 **bidirectional incoherence processing**이 핵심 아이디어 중 하나이다.

기술적 접근법

**Kronecker-factored Hessian 근사**를 사용하여, 활성화와 그라디언트 공분산을 결합한 정량화 손실을 정의.
**Bidirectional incoherence processing**: 입력 차원의 무작위 회전을 출력 차원으로 확장하여, 가중치의 크기 분산을 감소.
**Gradient and activation Hessian traces** 기반의 민감도 지표를 도출하여, 레이어 간 혼합 정밀도를 할당.
**LLaMA-3-70B** 모델을 대상으로 2-bit weight-only quantization 실험 수행.

주요 결과

**LLaMA-3-70B** 모델에서 2-bit weight-only quantization 시, GPTQ와 GPTAQ는 **WikiText-2에서 퍼플렉시티가 2000 이상**인 비정상적 결과를 보임.
반면, **KronQ는 7.93의 퍼플렉시티**를 달성하여, 기존 방법 대비 **약 250배 이상 개선**됨.

의의 및 한계

KronQ는 기존 PTQ 방법이 무시했던 그라디언트 정보를 통합함으로써, 정량화 과정에서의 정보 손실을 줄이는 데 기여한다. 특히, 2-bit 정량화에서도 뛰어난 성능을 보이는 점에서, 대규모 언어 모델의 효율적 배포에 실용적 가치가 있다. 다만, **Hessian 근사의 계산 비용**이나 **특정 아키텍처에 대한 일반화 가능성**은 아직 명시되지 않으며, 추가 연구가 필요하다.

실용적 활용

KronQ는 대규모 언어 모델의 서버/모바일 기기로의 이식, 클라우드 상의 에너지 효율적 추론, 실시간 언어 처리 시스템 등에 적용 가능하다. 특히, 2-bit 정량화를 통해 **메모리 절감 및 추론 속도 향상**을 기대할 수 있다.