SHAPE of Chain-of-Thought in Math Reasoning

Large language models (LLMs) achieve strong performance on mathematical reasoning benchmarks, yet the mathematically meaningful skills underlying their reasoning remain underexplored. We introduce SHAPE, a framework that analyzes Chain-of-Thought (CoT) trajectories through two lenses developed in mathematics education: (1) semantic spaces: the model's evolving mathematical interpretations of a problem (e.g., algebraic, geometric), and (2) heuristics: the specific mathematical actions taken within those spaces (e.g., simplifying the problem, working backward). We first use SHAPE to analyze the reasoning patterns of various models. Our findings reveal that the mathematical heuristics employed by a model better explain final answer correctness than traditional CoT features. Furthermore, models are likely to reach correct solutions by concentrating their reasoning effort within a few semantic spaces rather than exploring many disparate ones -- a pattern consistent with human behavior. Next, we utilize the SHAPE lens to evaluate whether post-training truly enhances mathematical proficiency. We find that reinforcement learning induces mode-seeking in heuristic usage. Lastly, we post-train LLMs by promoting diverse heuristics and demonstrate its effectiveness in improving accuracy. Overall, SHAPE provides a theoretically-grounded diagnostic framework for decoding LLM reasoning and offers a new path toward post-training LLMs for math reasoning. The code for our model is available at https://github.com/holi-lab/SHAPE-of-CoT

한 줄 요약

SHAPE는 수학적 추론의 사고 흐름을 해석하기 위한 이론적 프레임워크로, 히ュ리스틱과 의미 공간을 분석하여 LLM의 추론 패턴을 진단하고 정확도를 향상시킨다.

핵심 기여도

SHAPE 프레임워크를 통해 히ュ리스틱과 의미 공간을 분석하여 LLM의 추론 패턴을 정량적으로 평가함.
기존 CoT 특성보다 히ュ리스틱 빈도가 정답률을 더 정확히 예측함 (AUROC 0.664).
정답 추론은 몇 개의 의미 공간에 집중된 경우가 많으며, 오답 추론은 여러 공간을 반복적으로 방문함 (ρ 값이 높음).
강화 학습을 통한 후-트레이닝은 히ュ리스틱 사용을 모드-세키잉하게 만드는 경향이 있음.

핵심 아이디어

SHAPE은 수학 교육 연구에서 유래한 두 가지 개념—의미 공간 (semantic space)과 히ュ리스틱 (heuristic)—을 기반으로 LLM의 추론 흐름을 분석한다. 의미 공간은 문제를 대하는 수학적 해석 방식 (예: 대수적, 기하적)을 나타내고, 히ュ리스틱은 그 공간 내에서 취하는 구체적 수학적 행동 (예: 문제 간소화, 역추론)을 나타낸다. 기존 CoT 분석이 길이, 토큰 통계, 자기 수정 마커 등 표면적 특성을 중점으로 삼았다면, SHAPE은 추론의 구조적 흐름과 수학적 해석을 추적함으로써 보다 깊은 진단이 가능하다. 특히, 히ュ리스틱 빈도와 의미 공간 간 전이 빈도 (transition density)가 추론의 정확도와 밀접한 관련이 있음을 밝혀내며, 이는 기존 CoT 분석 방법보다 더 신뢰성 있는 진단 지표로 작용한다.

기술적 접근법

SHAPE은 의미 공간 추적과 히ュ리스틱 태깅을 자동화한 파이프라인으로 구현됨.
의미 공간 메트릭: 효과적인 공간 수 (N_space_eff), 전이 밀도 (ρ) 등을 사용.
히ュ리스틱 빈도 특성 (SHAPE frequency features)이 정답률 예측에서 AUROC 0.664를 달성.
후-트레이닝 실험에서는 강화 학습 (RL)과 RLVR (Reinforcement Learning with Verifiable Rewards)를 활용.
HA-Plan-GRPO와 같은 히ュ리스틱 정보를 포함한 롤아웃 프롬프트가 정확도 향상에 기여함.

주요 결과

SHAPE 빈도 특성은 기존 CoT 길이, 자기 수정 마커, 에피소드 라벨 등보다 AUROC 0.664로 정답률을 더 잘 예측함.
정답 추론은 N_space_eff 1.81–2.53, ρ 0.40–0.51로 의미 공간을 적게 이동하고 집중적임.
오답 추론은 N_space_eff 1.37–1.71, ρ 0.19–0.32로 여러 공간을 반복 방문함.
강화 학습 후-트레이닝은 히ュ리스틱 분포를 좁히고, 밀도 (Density) 1.0 이상, 커버리지 (Coverage) 1.0 미만으로 집중됨.
HA-Plan-GRPO는 Avg@64와 Pass@64에서 기반 모델보다 훨씬 높은 성능을 보임.

의의 및 한계

SHAPE은 LLM의 추론 구조를 수학적 관점에서 정량적으로 분석할 수 있는 이론적 기반을 제공하며, 추론 실패 원인 진단과 후-트레이닝 전략 개선에 활용 가능하다. 특히, 히ュ리스틱 정보를 강화 학습에 통합함으로써 정확도를 향상시킬 수 있음을 보여준다. 그러나 SHAPE의 현재 검증은 수학적 벤치마크에 한정되며, 다른 도메인으로 확장 가능성은 아직 검증되지 않았다. 또한, 후-트레이닝이 히ュ리스틱 다양성을 줄이는 경향을 보이므로, 이에 대한 균형 잡힌 접근이 필요하다.

실용적 활용

SHAPE은 수학 문제 풀이 알고리즘의 개선, 학습 모델의 추론 진단, 교육 AI의 설계 등에서 활용 가능하다. 특히, 히ュ리스틱 정보를 강화 학습에 통합하는 방식은 LLM의 수학적 추론 능력을 향상시키는 실용적 전략으로 활용될 수 있다.