Not All Language Model Features Are One-Dimensionally Linear

Recent work has proposed that language models perform computation by manipulating one-dimensional representations of concepts ("features") in activation space. In contrast, we explore whether some language model representations may be inherently multi-dimensional. We begin by developing a rigorous definition of irreducible multi-dimensional features based on whether they can be decomposed into either independent or non-co-occurring lower-dimensional features. Motivated by these definitions, we design a scalable method that uses sparse autoencoders to automatically find multi-dimensional features in GPT-2 and Mistral 7B. These auto-discovered features include strikingly interpretable examples, e.g. circular features representing days of the week and months of the year. We identify tasks where these exact circles are used to solve computational problems involving modular arithmetic in days of the week and months of the year. Next, we provide evidence that these circular features are indeed the fundamental unit of computation in these tasks with intervention experiments on Mistral 7B and Llama 3 8B, and we examine the continuity of the days of the week feature in Mistral 7B. Overall, our work argues that understanding multi-dimensional features is necessary to mechanistically decompose some model behaviors.

한 줄 요약

GPT-2와 Mistral 7B에서 일차원이 아닌 이차원 이상의 불가분 다차원 언어 모델 특성을 발견하고, 이들이 주간/월간 모듈러 연산 문제 해결에 사용됨을 실증적으로 보여준다.

핵심 기여도

일차원 선형 표현 가설(LRH)의 첫 번째 가정을 반박하며, GPT-2와 Mistral 7B에서 불가분 다차원 특성을 발견.
스파스 오토인코더(SAE)를 활용한 다차원 특성 자동 탐색 방법 제안.
주간과 월간 표현을 원형 특성으로 식별하고, 이들이 모듈러 연산 문제 해결에 사용됨을 실험적으로 입증.
Mistral 7B에서 주간 표현의 연속성을 분석.

핵심 아이디어

기존 연구는 언어 모델이 일차원 선형 특성을 조작하여 계산한다고 가정하지만, 본 연구는 일부 표현이 본질적으로 다차원적일 수 있음을 탐구한다. 이에 따라, "불가분 다차원 특성"을 정의하고, 이는 하위 차원의 독립적 또는 비동시 발생 특성으로 분해되지 않는 특성을 의미한다. 이 정의를 바탕으로, GPT-2와 Mistral 7B에서 스파스 오토인코더(SAE)를 사용해 자동으로 다차원 특성을 탐색하는 방법을 설계했다. 예를 들어, 주간과 월간 표현이 원형 특성으로 나타나며, 이는 모듈러 연산 문제 해결에 직접적으로 사용된다는 점에서 기존의 일차원 가설을 벗어난 새로운 통찰을 제공한다.

기술적 접근법

**모델**: GPT-2, Mistral 7B, Llama 3 8B
**알고리즘**: 스파스 오토인코더(SAE)를 사용하여 다차원 특성을 자동 탐색.
**특성 정의**: 불가분 다차원 특성은 하위 차원의 독립적 또는 비동시 특성으로 분해되지 않는 특성을 의미.
**실험**: Mistral 7B와 Llama 3 8B에서 개입 실험을 통해 원형 특성의 계산 역할을 검증.
**분석**: Mistral 7B에서 주간 표현의 연속성을 평가.

주요 결과

GPT-2와 Mistral 7B에서 원형 특성(예: 주간, 월간)이 자동 탐색됨.
Mistral 7B에서 주간 표현이 모듈러 연산 문제 해결에 사용됨을 실험적으로 입증.
Llama 3 8B에서도 유사한 원형 특성의 계산 역할 확인.
Mistral 7B에서 주간 표현의 연속성 분석을 통해 이 특성의 일관된 표현이 유지됨을 보여줌.

의의 및 한계

본 연구는 기존의 일차원 선형 표현 가설(LRH)을 수정하고, 다차원 표현이 모델 계산의 핵심 단위일 수 있음을 입증함으로써, 모델 내부 알고리즘을 기계적으로 분해하는 데 중요한 단계를 제시한다. 특히, 스파스 오토인코더를 활용한 자동 탐색 방법은 기존의 수작업 기반 해석 접근법을 보완할 수 있다. 그러나, 다차원 특성의 해석이 복잡하며, 모든 모델에서 동일한 패턴이 나타나는지에 대한 추가 연구가 필요하다는 한계가 있다.

실용적 활용

이 연구는 언어 모델의 내부 표현 구조를 이해하고, 이를 기반으로 모델의 알고리즘을 기계적으로 분해하는 데 기여할 수 있다. 특히, 코드 생성, 추론, 모듈러 연산 등 정량적 계산이 필요한 산업 및 연구 분야에서 모델의 신뢰성과 예측 가능성을 높이는 데 활용될 수 있다.