ARCHead: Activation-Metric Residual Correction for Large Language Model Output Heads

Weight-only quantization substantially reduces the storage of large language model (LLM) transformer blocks, but practical backends often retain the final language-modeling head (LM-head) in BF16 or FP16. Quantizing this projection naively can strongly perturb the vocabulary-logit distribution. We present ARCHead, a packed LM-head compressor that combines a quantized low-rank core, group-wise INT4 residuals, and a low-rank correction fitted in an activation-derived metric. ARCHead stores no dense BF16 head and reduces persistent LM-head storage by 3.7-3.9x. On Qwen3-8B-Base, it uses 25.6% of BF16 head storage while attaining 1.007 relative perplexity; storage-matched naive INT4 yields 1.14-1.16. Replacing the BF16 head left by AWQ or bitsandbytes adds only 0.006-0.007 cross-entropy, with less than 2% throughput change in our measurements. ARCHead therefore complements block quantizers by compressing the large output projection they can leave untouched. Code is available at https://github.com/suayptalha/archead.

한 줄 요약

ARCHead는 LLM의 출력 헤드를 압축하는 기술로, BF16 저장 공간을 3.7–3.9배 줄이며 1.007의 상대 퍼플렉시티를 달성한다.

핵심 기여도

ARCHead는 활성화-유도 메트릭 기반의 저랭크 보정을 도입하여, 고정된 양자화 코어에 대해 최적의 저랭크 근사치를 제공한다.
Qwen3-8B-Base에서 ARCHead는 BF16 헤드 저장 공간의 25.6%만 사용하면서 1.007의 상대 퍼플렉시티를 달성한다.
기존의 naive INT4 대비 1.14–1.16의 퍼플렉시티를 개선하며, AWQ 또는 bitsandbytes가 남긴 BF16 헤드를 대체할 수 있다.
ARCHead는 생성 속도에 2% 미만의 변화만 유발한다.

핵심 아이디어

기존 양자화 기법은 트랜스포머 블록에 집중하지만, 최종 출력 헤드는 BF16 또는 FP16로 유지된다. 이 헤드는 활성화 분포가 비등방향적(anisotropic)이기 때문에, 단순한 저비트 양자화는 로짓 분포에 큰 영향을 미친다. ARCHead는 활성화-유도 메트릭을 기반으로, 양자화된 저랭크 코어와 그룹별 INT4 잔차, 그리고 저랭크 보정 브랜치를 결합하여 이 문제를 해결한다. 보정 브랜치는 활성화 분포에 기반한 오차를 근사하여, 최종 출력 헤드의 정확도를 유지하면서 저장 공간을 줄인다.

기술적 접근법

**모듈 구성**: ARCHead는 양자화된 저랭크 코어, 그룹별 INT4 잔차, 그리고 활성화-유도 메트릭 기반의 저랭크 보정 브랜치로 구성된다.
**활성화-유도 메트릭**: 최종 히든 상태의 분포를 고려하여, 오차를 활성화 공간에서 최소화한다.
**저장 공간**: ARCHead는 BF16 헤드를 저장하지 않으며, Qwen3-8B-Base에서 25.6%의 저장 공간만 사용한다.
**성능**: AWQ 또는 bitsandbytes가 남긴 BF16 헤드를 대체할 때, 0.006–0.007의 크로스-엔트로피만 증가한다.

주요 결과

Qwen3-8B-Base에서 ARCHead는 BF16 헤드 대비 25.6%의 저장 공간을 사용하면서 1.007의 상대 퍼플렉시티를 달성한다.
naive INT4 대비 1.14–1.16의 퍼플렉시티를 개선한다.
AWQ 또는 bitsandbytes가 남긴 BF16 헤드를 대체할 때, 0.006–0.007의 크로스-엔트로피만 증가한다.
생성 속도는 2% 미만의 변화를 보인다.

의의 및 한계

ARCHead는 트랜스포머 블록 양자화 기법이 처리하지 못한 출력 헤드 압축 문제를 해결하며, 저장 공간과 정확도의 균형을 제공한다. 특히, 기존 양자화 방법과 조합 가능하여 실용적 가치가 크다. 그러나 ARCHead는 특정 모델 아키텍처에 최적화된 접근법이기 때문에, 다른 구조의 모델에 적용할 경우 추가 연구가 필요할 수 있다. 또한, 활성화-유도 메트릭의 계산이 추가적인 시간을 요구할 수 있다.

실용적 활용

ARCHead는 대규모 언어 모델의 배포 및 저장 공간 최적화에 유용하며, 특히 서버, 모바일, 에지 기기 등에서 메모리 효율적인 추론을 필요로 하는 상황에 적용 가능하다. 또한, 기존 양자화 기법(AWQ, bitsandbytes)과 조합하여 사용할 수 있어, 다양한 배포 환경에서 유연하게 활용할 수 있다.