Scaling Inherently Interpretable Language Models

Interpretability is often treated as a tax on capability: language models are trained as opaque systems, then explained after the fact, with methods whose reliability is difficult to establish. In this work, we challenge this premise. Rather than reverse-engineering a model, we make interpretability a constraint of the training pipeline, optimized alongside the language modeling objective. Across three orders of magnitude of compute, on both autoregressive and diffusion language models, interpretability scales with capability rather than against it. Surprisingly, model representations become more disentangled and aligned with human-understandable concepts with scale. We instantiate the training-time recipe with Steerling-8B, a diffusion language model with a causal attention mask. For any group of generated tokens, Steerling-8B attributes the output to relevant input tokens, human-understandable concepts, and training data. This enables closed-loop intervention: diagnose an output through its concept or feature attribution, retrieve similar training data, and correct the behavior through concept steering without retraining. Steerling-8B remains competitive with open peer models trained on substantially 2-16x more compute, suggesting a different scaling paradigm: interpretability can be designed into training, and it improves with scale.

한 줄 요약

Steerling-8B는 학습 과정에서 해석성을 명시적으로 설계한 확장 가능한 언어 모델로, 1.2트릴리온 토큰 학습 후 1500억 토큰의 미드트레이닝을 거쳐 기존 모델과 유사한 성능을 보인다.

핵심 기여도

Steerling-8B는 해석성을 학습 과정에 통합한 8B 파라미터 확산 언어 모델로, 개념 모듈이 전체 파라미터의 4%를 차지함.
개념 모듈을 추가한 경우, 해석성 지표가 33,000개 이상의 개념 라이브러리와 함께 학습량 증가에 따라 개선됨.
1.2트릴리온 토큰 학습 후 1500억 토큰의 미드트레이닝을 수행하며, 기존 모델 대비 2~16배 적은 컴퓨트로 유사한 성능을 달성함.
모델은 입력 토큰, 인간 이해 가능한 개념, 학습 데이터 세 축을 따라 출력을 추적하며, 개념 조정을 통해 행동 수정이 가능함.

핵심 아이디어

기존 언어 모델은 해석성을 사후 작업으로 처리하지만, 본 연구는 해석성을 학습 과정 자체에 통합하는 새로운 접근법을 제안한다. Steerling-8B는 개념 모듈을 통해 출력이 입력 토큰, 개념, 학습 데이터와 연관되도록 설계되며, 이는 모델의 예측이 인간 이해 가능한 개념으로 분해되도록 보장한다. 개념 모듈은 로짓 분해를 대수적으로 정확하게 수행하며, 개념 방향을 기반으로 모델 행동을 조정할 수 있다. 이는 기존의 사후 해석 방법과 달리, 학습 과정에서부터 해석성과 성능을 동시에 최적화하는 새로운 패러다임을 제시한다.

기술적 접근법

**Steerling-8B**: 8B 파라미터 확산 언어 모델. 개념 모듈은 전체 파라미터의 4%를 차지하며, 로짓 분해를 대수적으로 정확하게 수행함.
**Atlas**: 1트릴리온 토큰을 포함한 개념 라이브러리 구축 파이프라인. 33,000개 이상의 개념을 추출하고, 텍스트 조각 단위로 라벨링함.
**아키텍처**: 블록-인과성 어텐션을 사용하여 확산 스타일 병렬성과 자동 회귀 스타일 KV 캐싱을 결합. 개념 병목 구조를 통해 예측이 개념 활성화의 선형 함수로 표현됨.
**학습**: 개념 모듈을 추가한 경우, 해석성 지표가 학습량 증가에 따라 개선되며, 성능 저하 없이도 해석성이 향상됨.

주요 결과

Steerling-8B는 1.2트릴리온 토큰 학습 후 1500억 토큰의 미드트레이닝을 수행함.
기존 오픈 모델 대비 2~16배 적은 컴퓨트로 유사한 성능을 달성함.
7개 벤치마크에서 기존 모델 대비 평균 10% 이내의 성능 차이를 보임.
개념 모듈 추가로 해석성 지표가 학습량 증가에 따라 개선됨. 예를 들어, 개념 예측 정확도, 개념 임베딩의 인간 의미 라벨과의 일치도가 향상됨.

의의 및 한계

Steerling-8B는 해석성을 학습 과정에 통합함으로써, 기존 사후 해석 방법의 한계를 극복하고, 모델의 이해도와 조정 가능성 동시에 향상시킨다. 특히, 개념 모듈은 모델의 예측을 인간 이해 가능한 개념으로 분해함으로써, 모델 행동을 진단하고 수정할 수 있는 새로운 인터페이스를 제공한다. 그러나 개념 라이브러리의 구축이 복잡하며, 개념 모듈의 효과는 특정 데이터셋과 아키텍처에 의존할 수 있다는 한계가 있다. 또한, 개념 모듈의 파라미터 비중은 4%로, 대규모 모델에서는 더 작아질 수 있으나, 초기 학습 단계에서는 과매개화 가능성이 있다.

실용적 활용

Steerling-8B는 의료, 법률, 금융 등 민감한 분야에서 모델의 예측을 해석하고 조정할 수 있는 도구로 활용 가능하다. 또한, 모델의 행동을 특정 개념에 따라 조정할 수 있어, 콘텐츠 필터링, 편향 제거, 설명 생성 등 다양한 실용적 응용에 적합하다.