Do Llamas Work in English? On the Latent Language of Multilingual Transformers

We ask whether multilingual language models trained on unbalanced, English-dominated corpora use English as an internal pivot language -- a question of key importance for understanding how language models function and the origins of linguistic bias. Focusing on the Llama-2 family of transformer models, our study uses carefully constructed non-English prompts with a unique correct single-token continuation. From layer to layer, transformers gradually map an input embedding of the final prompt token to an output embedding from which next-token probabilities are computed. Tracking intermediate embeddings through their high-dimensional space reveals three distinct phases, whereby intermediate embeddings (1) start far away from output token embeddings; (2) already allow for decoding a semantically correct next token in the middle layers, but give higher probability to its version in English than in the input language; (3) finally move into an input-language-specific region of the embedding space. We cast these results into a conceptual model where the three phases operate in"input space","concept space", and"output space", respectively. Crucially, our evidence suggests that the abstract"concept space"lies closer to English than to other languages, which may have important consequences regarding the biases held by multilingual language models.

한 줄 요약

Llama-2 모델이 비영어 입력을 처리할 때 내부적으로 영어를 피벗 언어로 사용하는지, 이를 잠재 임베딩 공간을 분석하여 실증적으로 조사한 연구이다.

핵심 기여도

Llama-2 모델의 잠재 임베딩 공간에서 3단계의 변화를 관찰: (1) 출력 토큰과 멀리 떨어짐, (2) 중간층에서 의미적으로 올바른 토큰을 해독하지만 영어 버전에 더 높은 확률 부여, (3) 최종적으로 입력 언어에 특화된 영역으로 이동.
"logit lens" 기법을 활용해 중간층에서 토큰을 해독하고, 잠재 공간의 변화를 추적함.
잠재 공간 내 "concept space"가 영어에 더 가까운 편향을 보임.
중국어, 프랑스어, 독일어, 러시아어 등 여러 언어에서 유사한 패턴을 관찰.

핵심 아이디어

연구는 다국어 언어 모델이 영어 지배적인 데이터로 훈련받았을 때, 내부적으로 영어를 피벗 언어로 사용하는지 탐구한다. Llama-2 모델을 대상으로, 비영어 입력 프롬프트를 설계하고, 각 레이어에서의 잠재 임베딩을 추적함으로써 내부 처리 과정을 분석한다. 핵심 아이디어는 "logit lens" 기법을 활용해 중간층에서 토큰을 해독하고, 잠재 공간의 변화를 관찰하는 것이다. 연구는 잠재 공간이 "input space", "concept space", "output space"의 세 단계를 거치며, 특히 "concept space"가 영어에 더 가까운 편향을 보인다는 점을 밝힌다. 이는 LLM이 내부적으로 영어에 기반한 의미 표현을 사용함을 시사한다.

기술적 접근법

**모델**: Meta의 Llama-2 시리즈 (7B, 13B, 70B 파라미터 버전 포함).
**프롬프트 생성**: 의미적으로 정확한 단일 토큰을 요구하는 비영어 프롬프트 (예: 중국어 "花"를 영어 "flower"로, 다시 중국어로 복원하는 작업).
**logit lens 기법**: 중간 레이어에서 잠재 벡터에 "unembedding" 행렬을 적용해 토큰을 해독.
**임베딩 추적**: 고차원 임베딩 공간에서 각 레이어별 벡터의 이동을 추적.
**데이터셋**: 중국어, 프랑스어, 독일어, 러시아어를 포함한 다국어 텍스트.
**분석**: 토큰 확률의 레이어별 변화, 임베딩 벡터의 거리 계산을 통해 영어와 입력 언어 토큰 간의 가까움 비교.

주요 결과

**중간층에서 영어 토큰에 더 높은 확률 부여**: 예를 들어, 중국어 "花"를 복원하는 작업에서, 중간 레이어에서 "flower" (영어)에 더 높은 확률이 부여됨.
**최종 레이어에서 입력 언어 토큰으로 이동**: 중국어 "花"가 최종적으로 정확히 복원됨.
**중국어에서 패턴이 덜 명확**: 중국어는 100% 단일 토큰 단어를 사용했기 때문에, 영어를 통한 우회가 덜 명확하게 나타남.
**프랑스어, 독일어, 러시아어에서도 유사한 패턴**: 각 언어에서 "English phase"가 나타나며, 이는 의미 이해가 필요하기 때문으로 추정됨.

의의 및 한계

**의의**: LLM이 내부적으로 영어에 편향된 의미 표현을 사용함을 실증적으로 보여주어, 다국어 모델의 편향 원인을 이해하는 데 기여.
**학술적 기여**: 잠재 공간 분석을 통해 LLM의 내부 작동 메커니즘을 밝히는 데 기초를 제공.
**한계**: 토큰화 방식이 영향을 미침. 예를 들어, 중국어는 단일 토큰 단어가 많아 영어 우회가 덜 명확하게 나타남.
**추후 연구 필요**: 훈련 데이터에서 영어 비중을 줄였을 때의 영향, 감정적 의미나 인지적 차이에 미치는 영향 등 추가 연구 필요.

실용적 활용

**다국어 AI 모델 개발**: 영어 편향을 줄이기 위한 훈련 데이터 조정, 토큰화 방식 개선에 활용 가능.
**언어 편향 감지**: 잠재 공간 분석을 통해 모델 내 편향을 실시간으로 추적하고 조정할 수 있음.
**신뢰성 있는 AI 설계**: 편향이 모델 행동에 미치는 영향을 이해함으로써, 더 공정한 AI 시스템 설계에 기여.