Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics

The vocabulary of a language model is its native semantics: the embedding and the unembedding fix the meaning of a state at the two ends of the residual stream. Between them, existing methods either reuse a fixed lens or treat the states as a point cloud, and neither reads a state the way the model does. We argue that every hidden state has a native reference frame, induced by the layers that read it next and adaptive to the context. Lexical reference frames approximate it by reading a state through the model's own remaining layers with a stated number of rounds of attention between positions and a typical attention output for the rest, without fitting to the model's output. No lens, with fixed directions per layer, can exceed the square root of the native frame's coherence, 0.30 and 0.35 at mid-depth of SmolLM3-3B and OLMo3-7B, whereas the first-order frame, LexFrame[1], reaches 0.97 and 0.97 and reads a state within 0.16 nats of the model's output. Its coefficients attribute predictions more faithfully than attribution patching, its lexical basis steers a prediction while sparing other tokens, and its confident readings would let an early exit skip 0.45 and 0.42 of the layers, where lenses skip almost none. In this way, lexical reference frames make every hidden state of the model readable, attributable and steerable.

한 줄 요약

언어 모델의 잔차 스트림을 모델 고유의 의미 공간에서 해석하는 새로운 기법인 Lexical Reference Frames를 제안한다.

핵심 기여도

**LexFrame[1]** 은 OLMo3-7B와 SmolLM3-3B 모델에서 각각 0.97의 일관성을 달성하며, 기존 렌즈 기법보다 훨씬 높은 정확도로 상태를 해석한다.
**LexFrame[1]** 은 모델 출력과 0.16 nats 이내의 차이로 예측을 재현하며, 기존 렌즈는 0.30~0.35의 일관성에 머무른다.
**LexFrame[1]** 은 레이어의 45%~42%를 건너뛸 수 있는 조기 종료 조건을 제공하며, 기존 렌즈는 거의 건너뛰지 못한다.
**LexFrame[1]** 은 학습 없이 비정형 텍스트에서 계산되며, 레이블당 1개의 선형 매핑만 필요하다.

핵심 아이디어

기존 렌즈 기법은 레이어당 고정된 선형 매핑을 사용하여 상태를 해석하지만, 이는 모델이 실제로 상태를 읽는 방식과 일치하지 않는다. 모델은 각 상태를 다음 레이어와 맥락에 따라 다르게 해석하며, 이는 고정된 매핑으로는 포착할 수 없다.
Lexical Reference Frames는 상태를 모델이 읽는 방식 그대로 해석한다. 즉, **LexFrame[n]** 은 상태를 모델의 나머지 레이어를 통해 n회의 어텐션 반복을 거쳐 해석하며, **LexFrame[1]** 은 1회 어텐션 반복만 수행한다.
이 접근법은 **LexFrame[∞]** 가 모델의 고유 프레임(native frame)을 완전히 재현하는 데 기반하며, **LexFrame[1]** 은 이를 근사하면서도 높은 정확도를 보인다. 이는 기존 렌즈 기법이 맥락을 무시하고 고정된 방향을 사용하기 때문에 성능이 떨어지는 반면, LexFrame은 맥락을 고려해 더 정확하게 해석할 수 있음을 보여준다.

기술적 접근법

**LexFrame[n]** 은 상태를 모델의 나머지 레이어를 통해 n회의 어텐션 반복을 수행한 후, 나머지 어텐션은 평균 어텐션 출력으로 대체한다.
**LexFrame[1]** 은 1회 어텐션 반복을 수행하며, 이는 모델의 예측을 0.16 nats 이내로 재현한다.
**LexFrame[0]** 은 어텐션 없이 상태를 해석하며, **LexFrame[1]** 은 이보다 75% 이상의 격차를 줄인다.
**LexFrame[1]** 은 레이어당 하나의 선형 매핑(Gk)과 평균 어텐션 출력(ak̄)을 사용하며, 이는 256개의 텍스트 샘플로 추정된다.
**LexFrame[1]** 은 학습 없이 계산되며, 95% 부트스트랩 구간 내에서 결과가 안정적이다.

주요 결과

**LexFrame[1]** 은 OLMo3-7B와 SmolLM3-3B 모델에서 각각 0.97의 일관성을 달성하며, 기존 렌즈(0.30~0.35)보다 훨씬 높은 정확도를 보인다.
**LexFrame[1]** 은 모델 출력과 0.16 nats 이내의 차이로 예측을 재현하며, 기존 렌즈는 0.41~0.34 nats의 차이를 보인다.
**LexFrame[1]** 은 레이어의 45%~42%를 건너뛸 수 있는 조기 종료 조건을 제공하며, 기존 렌즈는 거의 건너뛰지 못한다.
**LexFrame[1]** 은 예측의 신뢰도를 0.94~0.95로 재현하며, 코사인 거리 기반 방법은 0.28~0.27에 머문다.

의의 및 한계

Lexical Reference Frames는 언어 모델의 중간 상태를 모델 고유의 의미 공간에서 해석함으로써, 기존 렌즈 기법의 한계를 극복한다. 특히, **LexFrame[1]** 은 레이어당 단일 선형 매핑만 필요하며, 학습 없이 계산되므로 실용성이 높다.
하지만, **LexFrame[1]** 은 어텐션 반복을 1회만 수행하므로, 더 복잡한 맥락을 포착하지 못할 수 있다. 또한, **LexFrame[∞]** 와의 차이는 0.0009~0.0002 nats로 매우 작지만, 완전한 모델 동작을 재현하려면 더 많은 반복이 필요할 수 있다.
기존 렌즈 기법은 학습이 필요하며, 맥락을 무시하기 때문에 중간 레이어에서 성능이 급격히 떨어진다. 이에 비해 LexFrame은 맥락을 고려해 더 정확하게 해석할 수 있다.

실용적 활용

Lexical Reference Frames는 언어 모델의 중간 상태를 해석하고, 예측을 조정하거나 설명하는 데 유용하다. 예를 들어, **LexFrame[1]** 은 조기 종료를 통해 레이어의 45%~42%를 건너뛸 수 있어, 추론 속도를 향상시키는 데 활용할 수 있다.
또한, **LexFrame[1]** 은 예측의 신뢰도를 정확하게 재현하며, 이는 hallucination 감지나 지식 편집 등