Where to cut, how deep: BPE and Unigram-LM on chemistry SMILES

Every chemical language model reading SMILES begins with a tokenizer, yet the field has inherited byte-pair encoding (BPE) from natural language with little scrutiny. In natural language, BPE's principal alternative, Unigram-LM, is known to build structurally different vocabularies. Whether that contrast survives in chemistry was open. We report a controlled comparison of BPE and Unigram-LM over a fixed 165-token chemistry base, at the small vocabulary sizes where token embeddings are learnable, across three corpus typologies (diverse, drug-like, natural-products) and both pre-tokenization boundary policies. The two do not converge. In all 22 matched conditions they build near-disjoint subword vocabularies: cross-algorithm Jaccard overlap on the learned pieces never exceeds 0.161, and at most 0.05 once weighted toward the high-frequency pieces a model updates most. Unigram-LM also segments held-out molecules into 29-41% more tokens; the arms largely agree on where to cut but not how deeply, so BPE's segmentation is a strict coarsening of Unigram-LM's on 80-99% of molecules. The separation holds across corpus, boundary, and vocabulary size, persisting even at eight times that scale. The subword algorithm is therefore a modeling decision, not a free default. The study trains no language models.

한 줄 요약

화학 SMILES 토크나이저에서 BPE와 Unigram-LM이 동일한 어휘를 생성하지 않으며, 이는 알고리즘 차이에 기인한다.

핵심 기여도

BPE와 Unigram-LM이 165-토큰 기반어휘에서 22개 조건 모두에서 교차 Jaccard 겹침이 0.161 이하로 근접하지 않은 어휘를 생성함.
Unigram-LM은 BPE 대비 29–41% 더 많은 토큰으로 분할하며, 80–99%의 분자에서 BPE의 분할이 Unigram-LM의 분할의 상위 집합임.
8배 크기의 어휘(V=8192)에서도 BPE와 Unigram-LM의 차이는 유지됨.
모든 학습된 토크나이저와 조건별 측정치를 공개함.

핵심 아이디어

화학 SMILES 토크나이징에서 BPE는 자연어 처리에서 유래한 기술로, Unigram-LM과는 구조적으로 다른 어휘를 생성한다는 사실이 알려져 있으나, 화학 분야에서는 명확하지 않았다. 본 연구는 OpenSMILES 기반 165-토큰 어휘를 고정하고, 다양한 데이터셋(다양한, 약물 유사, 천연물)과 토크나이징 경계 정책(예: SMILES 구문 기반)에서 BPE와 Unigram-LM을 비교함으로써 알고리즘 차이가 어휘 구조에 미치는 영향을 분리했다. 핵심 통찰은, 화학 SMILES가 작은 알파벳과 강한 구조적 제약을 가진다는 점에도 불구하고, 두 알고리즘은 여전히 근접하지 않은 어휘를 생성하며, 이는 알고리즘 차이에 기인한다는 점이다.

기술적 접근법

**기반 어휘**: OpenSMILES 기반 158개의 화학 구문적 토큰 + 7개 특수 토큰 (총 165개).
**데이터셋**: 다양한, 약물 유사, 천연물 세 가지 타입.
**경계 정책**: SMILES 구문 기반과 무작위 경계 정책.
**알고리즘**: BPE와 Unigram-LM.
**어휘 크기**: 1024, 2048, 4096, 8192.
**측정 지표**: Jaccard 겹침, 토큰 분할 수, 토큰 분포 불균형 (token imbalance), whole-pretoken absorption, segmentation entropy 등.
**학습**: 언어 모델은 학습하지 않고, 토크나이저만 학습함.

주요 결과

**Jaccard 겹침**: BPE와 Unigram-LM의 학습된 토큰 겹침은 0.161 이하이며, 고빈도 토큰에 가중치를 주면 0.05 이하.
**토큰 분할 수**: Unigram-LM은 BPE 대비 29–41% 더 많은 토큰으로 분할됨.
**분할 일관성**: 80–99%의 분자에서 BPE의 분할이 Unigram-LM의 분할의 상위 집합.
**스케일링**: V=8192에서도 BPE와 Unigram-LM의 차이는 유지됨.
**데이터셋 영향**: 토큰 분포 불균형은 천연물 데이터셋에서 가장 많이 감소하지만, 어휘 구조 차이는 유지됨.

의의 및 한계

**의의**: BPE는 자연어 처리에서 유래한 토크나이징 알고리즘으로, 화학 분야에서도 기본값으로 사용되지만, 이 연구는 그 선택이 모델링 결정임을 입증함. Unigram-LM은 더 세분화된 토큰을 생성하며, subword 정규화를 지원하는 반면, BPE는 더 짧은 시퀀스를 제공함.
**한계**: 본 연구는 언어 모델 학습 없이 토크나이저만 비교했으며, 알고리즘 차이가 실제 모델 성능에 미치는 영향은 명시되지 않음. 또한, SMILES는 금융 표준 분할이 없어 morphological alignment을 평가할 수 없음. 단백질 시퀀스에서는 Unigram-LM이 더 높은 압축률을 보이는 등 도메인에 따라 알고리즘 성능이 달라질 수 있음.

실용적 활용

화학 언어 모델 개발자들에게는 토크나이징 알고리즘 선택이 중요한 모델링 결정임을 인식시키며, BPE는 짧은 시퀀스를 제공하고 Unigram-LM은 세분화된 토큰을 제공하므로, 모델의 시퀀스 길이와 정규화 전략에 따라 선택할 수 있음. 또한, 토크나이저는 학습 데이터셋에 크게 의존하지 않아, 다른 도메인으로 전이 시에도 유사한 성능을 유지할 수 있음.