Formalizing Latent Thoughts: Four Axioms of Thought Representation in LLMs

We introduce an axiomatic evaluation framework for latent thought representations in LLMs, comprising metrics that are independent of downstream benchmark scores and reveal representational failures that benchmark accuracy masks. Existing evaluations conflate representation quality with model capacity. Therefore, failures cannot be attributed to the representation rather than to the model that processes it. We formalize four functional axioms (Causality, Minimality, Separability, and Stability) and define a quantitative measure for each, computed directly on the representation independently of downstream accuracy. We audit open-weight LLMs across 23 reasoning tasks (e.g., Spatial Reasoning, Factual QA). We find that no candidate satisfies all four axioms simultaneously, that the representations distinguish task type reliably but cannot distinguish between two questions within the same task, and that the representations encode little information beyond what is already present in the input embedding. The failure is consistent across dense, reasoning-distilled, and RL-trained model families, indicating that the gap is structural rather than a property of model size or training procedure.

한 줄 요약

LLM의 잠재 사고 표현을 평가하기 위한 4가지 공리 기반 프레임워크를 제안하고, 23개 태스크에서 실패 원인을 분석한다.

핵심 기여도

4개의 기능적 공리 (Causality, Minimality, Separability, Stability)를 정식화하고, 각각에 대한 수치적 평가 지표를 정의.
23개의 BBEH 태스크에서 5개의 오픈소스 LLM을 평가하여, 어떤 후보 표현도 4개 공리를 동시에 만족하지 못함을 밝힘.
기존 평가가 모델 성능과 표현 품질을 혼동하는 문제를 지적하고, 내재적 평가 프로토콜을 제시.
표현이 입력 임베딩에 포함된 정보 이상을 담지 못함을 밝혀, 구조적 한계임을 드러냄.

핵심 아이디어

기존 연구는 LLM의 사고 표현을 주로 다운스트림 정확도로 평가하지만, 이는 표현 자체의 품질을 평가하지 못한다. 본 연구는 사고 표현이 갖춰야 할 기능적 속성을 4가지 공리로 정식화하고, 이를 기반으로 내재적 평가 프로토콜을 제안한다. Causality는 표현이 사고 과정에 기인해야 한다는 점, Minimality는 불필요한 정보를 제거해야 한다는 점, Separability는 서로 다른 질문을 구분해야 한다는 점, Stability는 표현이 입력에 따라 일관되게 유지되어야 한다는 점을 강조한다. 이 공리들은 LLM의 내부 표현을 평가하는 기준이 되며, 재학습 없이도 직접 계산 가능하다.

기술적 접근법

**4개 공리**: Causality, Minimality, Separability, Stability.
**수치적 평가 지표**: KL substitution error (Causality), Minimality Gap (Minimality), same- and cross-task discriminator accuracy (Separability), Distributional Consistency Score (DCS) (Stability).
**평가 대상**: Soft Thinking, Latent Thinking, last-input-token hidden states.
**데이터셋**: Big Bench Extra Hard (BBEH)의 23개 태스크.
**모델**: 5개의 오픈소스 LLM (dense, sparse-MoE, reasoning-distilled, RL-trained 포함).

주요 결과

23개 BBEH 태스크에서 5개 LLM 모두 4개 공리를 동시에 만족하지 못함.
표현이 태스크 유형은 구분하지만, 동일 태스크 내 질문은 구분하지 못함 (Separability 실패).
입력 임베딩보다 표현이 추가 정보를 거의 담지 못함.
실패는 모델 크기나 학습 방식과 무관하게 일관됨 (구조적 한계).

의의 및 한계

**의의**: 사고 표현의 품질을 다운스트림 정확도와 독립적으로 평가할 수 있는 체계적인 프레임워크를 제시.
**한계**: Stability의 하위 속성인 lexical invariance는 평가되지 않음.
**비용**: 기존 정확도 벤치마크보다 높은 측정 비용 발생 (LLM 생성 및 추가 프로브 학습 필요).
**범용성**: 다국어 작업이나 추론 이외의 생성에는 적용 범위가 제한적.

실용적 활용

LLM의 사고 표현 개선 연구에서 명확한 최적화 목표를 제공.
새로운 표현 후보를 4개 지표로 비교하여 개선 방향을 정량적으로 도출 가능.
추론 과정에서의 표현 품질을 진단하는 데 활용 가능.