Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models

In a small language model the vocabulary is the single largest part. In Gemma 3 270M the embedding table holds 168M of 268M parameters, and because quantisation methods leave the embedding in 16-bit, it is also most of the file once the rest of the model is compressed. We ask what that table actually buys. We replace it with one frozen table of 512-bit codes, 16 MB, with no trainable parameters, derived once from a pretrained embedding by principal-component projection and sign binarisation, and we train the same Gemma-shaped body from scratch on the same 2.05B tokens with and without it. The learned table buys 0.20 nats of validation loss for 2.6 times the trainable parameters, but on LAMBADA, HellaSwag and PIQA the frozen-table model is better or tied; only ARC-Easy favours the learned table. With a ternary BitNet b1.58 body the whole model is a 46 MB file, still ties the float model on LAMBADA and PIQA, and on a laptop CPU generates 615 to 740 tokens per second in 62 MB of memory, five to six times the speed of the float model's 8-bit GGUF in llama.cpp at a seventh of the memory. The frozen table wins by 1.7 to 2.3 nats on rare words, accepts 10,000 new words after training with a 3% cost where the learned table collapses by 43%, and all of it is released with the weights, the data and every evaluation answer.

한 줄 요약

16MB 고정 임베딩 테이블로 46MB의 3진수 언어 모델을 구현하며 성능 저하 없이 5~6배 빠른 추론 속도를 달성.

핵심 기여도

16MB의 고정 임베딩 테이블로 268M 파라미터의 Gemma 3 270M 모델에서 0.20 nats의 검증 손실 감소를 기록.
1.58비트 BitNet 기반 3진수 모델에서 46MB 파일 크기로 615~740 tokens/sec 추론 속도를 달성.
10,000개의 새로운 단어를 학습 후 추가할 때 고정 테이블은 3% 성능 저하에 그치지만 학습된 테이블은 43% 저하.
모든 실험 데이터, 모델 가중치, 평가 결과를 공개 (huggingface.co/QLNI/embeddings-are-overpriced).

핵심 아이디어

기존 언어 모델에서 임베딩 테이블이 전체 파라미터의 63% (168M/268M)를 차지하며, 이는 양자화 후에도 파일 크기의 대부분을 차지한다. 본 연구는 이 테이블을 학습하지 않는 고정 임베딩으로 대체함으로써 모델 크기와 추론 속도를 동시에 개선하는 새로운 접근법을 제안한다. 구체적으로, 사전 학습된 임베딩을 주성분 분석(PCA)과 부호 이진화(sign binarization)를 통해 512비트 코드로 변환한 후, 이 코드를 고정한 테이블로 사용한다. 이 테이블은 학습 과정에서 변하지 않으며, 모델 본체는 이 테이블과 함께 학습된다. 이는 기존 임베딩 테이블 대비 2.6배 적은 파라미터로 동일한 성능을 유지하거나 개선할 수 있음을 보여준다.

기술적 접근법

**모델 구조**: Gemma 3 270M 아키텍처 사용 (18층, 640 너비, 2,048 GELU FFN, 4 query head, 1 key-value head, QK-norm, RoPE, RMSNorm).
**임베딩 대체**: 사전 학습 임베딩을 PCA와 부호 이진화로 16MB 고정 테이블로 변환.
**3진수 모델**: BitNet b1.58 기반 BitLinear 사용 (int8 absmax 활성화, absmean 3진수 가중치, RMSNorm, 16-bit KV 캐시).
**학습 설정**: 2.05B 토큰의 FineWeb-Edu 데이터셋, 1,024 토큰 시퀀스 길이, 10M 검증 토큰.
**하이퍼파라미터**: Arm A (학습된 테이블)는 AdamW, 6e-4 학습률, 0.1 가중치 감소; Arm C (3진수)는 BitNet의 1.5e-3 선형 감소 스케줄 사용.

주요 결과

**검증 손실**: 학습된 테이블은 0.20 nats의 검증 손실 감소를 제공.
**성능 비교**: LAMBADA (1.6점 우수), HellaSwag 및 PIQA (동률), ARC-Easy (3.4점 열세).
**3진수 모델**: 46MB 파일 크기, 615~740 tokens/sec 추론 속도, 62MB 메모리 사용.
**희귀 단어 성능**: 고정 테이블은 1.7~2.3 nats 우수, 10,000개 신규 단어 추가 시 3% 대 43% 성능 저하.
**추론 효율성**: 8-bit GGUF 대비 5~6배 빠르고, 7분의 1 메모리 사용.

의의 및 한계

본 연구는 임베딩 테이블이 모델 성능에 미치는 영향을 정량적으로 평가하며, 고정 임베딩이 특정 벤치마크에서 학습된 테이블보다 우수할 수 있음을 보여준다. 특히, 희귀 단어 처리와 신규 단어 추가 시의 안정성에서 뛰어난 성능을 나타내며, 모델 최소화와 추론 효율성 향상에 기여한다. 그러나 ARC-Easy와 같은 특정 벤치마크에서는 학습된 테이블이 여전히 우수하며, 이는 임베딩 테이블의 유연성과 관련된 한계로 볼 수 있다. 또한, 고정 테이블은 사전 학습된 임베딩에 의존하므로, 새로운 도메인에서는 재구성 필요성이 있다.

실용적 활용

본 연구는 자원 제한 환경 (예: 모바일, IoT, 저사양 CPU)에서의 언어 모델 배포에 적합하며, 특히 3진수 BitNet 기반 모델은 추론 속도와 메모리 효율성을 동시에 개선하여 실시간 응용 (예: 챗봇, 번역, 음성 인식)에 유용하다. 또한, 학습된 임베딩 대신 고정 테이블을 사용함으로써 모델 배포 및 유지보수 비용을 절감할 수 있다.