llm-reasoning representation-space hidden-representations attention-masking model-interpretation geometric-structure context-dependency chains-of-thought
Abstract
Reasoning in large language models unfolds through diverse functional operations, such as problem formulation, goal decomposition, and deduction. Although these operations are explicitly distinguished in text, little is known about how they are geometrically organized in representation spaces. To this end, we investigate whether distinct reasoning operations exhibit corresponding geometric structure in hidden representations. We find that operations are separable in held-out representations, with separability peaking in middle layers, and verify that this structure is not explained by lexical or positional confounds. Across layers, token-wise operation-alignment becomes more distributed over spans, while identical surface tokens are represented differently depending on the operation of its surrounding chunk. Attention-masking interventions further show that operation-aligned representations at chunk onset depend on preceding reasoning context. Consequently, our work demonstrates that language models maintain representational correspondence between linguistic reasoning expressions and their internal geometric structures. Code and project materials are available at https://github.com/naver-ai/beneath-cot.
한국어 요약
한 줄 요약
LLM 내 사고 과정의 내부 기하 구조를 기계적 해석한 연구로, 중간 층에서 사고 연산의 분리도가 가장 높음.
핵심 기여도
- DAPO-MATH-17K, TheoremQA 데이터셋에서 동일 토큰이 주변 사고 맥락에 따라 다른 표현을 갖는다는 것을 밝힘.
- 사고 연산의 분리도가 모델 중간 층에서 최대치를 보임.
- 어텐션 마스킹 실험을 통해 사고 연산 표현이 이전 맥락에 의존함을 입증.
- Qwen, Gemma 모델 가족에서 일관된 사고 연산 기하 구조를 관찰.
핵심 아이디어
기존 연구는 사고 추적의 텍스트 수준 분석에 집중했으나, 본 연구는 사고 연산이 내부 표현 공간에서 어떻게 기하학적으로 조직되는지를 탐구했다.
Polya의 문제 해결 프레임워크를 기반으로 사고 연산을 분류하고, 이 연산이 토큰의 단어적 특성이나 위치적 요인을 넘어서 표현 공간에서 구분될 수 있는지 분석했다.
이를 통해 사고 연산이 단순히 텍스트 표현이 아닌, 내부 기하 구조와 일치하는지 확인하는 것이 핵심 통찰.
기술적 접근법
- **데이터셋**: DAPO-MATH-17K, TheoremQA 사용.
- **모델**: Qwen/Qwen2.5-7B, Qwen/Qwen3-8B, google/gemma-4-31B-it.
- **분석 방법**: 히든 표현에서 사고 연산의 분리도 분석, 토큰-단위 연산 정렬 분포, 어텐션 마스킹 실험.
- **결과 측정**: 토큰의 표현이 주변 연산 맥락에 따라 달라지는지, 연산 기하 구조가 이전 맥락에 의존하는지 평가.
주요 결과
- **중간 층에서 사고 연산의 분리도가 최대** (§3.2).
- **동일 토큰이 주변 연산 맥락에 따라 다른 표현을 가짐** (§3.3).
- **어텐션 마스킹 실험에서 이전 맥락이 연산 표현에 영향을 미침** (§3.4).
- **사실 오류가 발생하더라도 연산 기하 구조는 약화되지만 유지됨** (§3.5).
의의 및 한계
본 연구는 LLM이 텍스트 수준의 사고 표현과 내부 기하 구조 간 일관된 대응 관계를 유지함을 입증해, 사고 과정의 해석 가능성을 높였다.
이러한 발견은 향후 사고 과정을 직접 조절하는 잠재 공간 개입 기반의 성능 향상 전략을 제시한다.
한계점으로는 특정 데이터셋(DAPO-MATH-17K, TheoremQA)에 국한된 분석이며, 다양한 도메인에서의 일반화 가능성은 추가 연구가 필요하다.
실용적 활용
수학 문제 해결, 정리 증명 등 다단계 추론이 필요한 AI 시스템에서 사고 과정의 내부 표현을 해석해 추론 품질을 개선할 수 있다.
또한, 사고 맥락에 기반한 표현 분석은 대화형 AI나 교육 AI에서 학습자 사고 흐름을 추적하는 데 활용될 수 있다.