Are We Measuring Strategy or Phrasing? The Gap Between Surface- and Approach-Level Diversity in LLM Math Reasoning

Diversity in LLM mathematical reasoning is critical for exploration, but common diversity metrics mostly capture surface-level variation rather than differences in how a problem is solved. We address this gap by introducing approach-level diversity: variation in strategies across correct solutions to the same problem. Using a human-calibrated LLM judge framework, we show that prior diversity measures are unreliable proxies for approach-level diversity, and this mismatch carries over to diversity-aware RLVR, where target metrics are preserved while approach-level diversity declines. Investigating when approach-level diversity helps and whether it can be directly induced, we find that approach-diverse candidate sets improve test-time scaling. However, optimizing an LLM judge diversity reward during training causes the policy to exploit judge-specific preferences rather than broaden its approaches, leaving direct optimization of approach-level diversity as an open problem. Together, our work introduces the notion of approach-level diversity and uncovers a systematic divergence between surface- and approach-level signals, marking a step toward LLMs that reason in genuinely diverse, human-like ways.

한 줄 요약

LLM 수학 추론에서 표면적 다양성과 접근 방식 다양성 간 차이를 규명하고, 후자를 측정하는 새로운 개념을 제시한다.

핵심 기여도

접근 방식 수준 다양성(approach-level diversity)이라는 새로운 개념을 제시.
기존 다양성 지표가 표면적 다양성(surface-level diversity)에만 집중한다는 한계를 실증적으로 밝힘.
LLM judge 기반 프레임워크를 통해 접근 방식 다양성을 측정하는 방법을 제시.
RLVR(Reinforcement Learning with Value Reward)에서 표면적 다양성은 유지되지만 접근 방식 다양성이 감소한다는 사실을 밝힘.

핵심 아이디어

기존 연구는 LLM의 수학 추론 다양성을 표면적 표현(예: 답변 문장의 유사도)으로 측정했지만, 이는 실제 문제 해결 전략의 차이를 반영하지 못한다는 문제를 제기한다. 본 연구는 **정답이 여러 가지 전략으로 도출될 수 있는 상황에서의 전략 다양성**을 측정하는 **접근 방식 수준 다양성**이라는 개념을 도입한다. 이는 인간 기준을 기반으로 LLM이 생성한 정답의 전략적 차이를 평가하는 방식으로, 기존 지표와의 불일치를 드러낸다. 특히, RLVR를 통해 표면적 다양성을 유지하면서도 접근 방식 다양성이 감소하는 현상을 관찰함으로써, 단순히 표면적 다양성을 최적화하는 접근이 한계가 있음을 보여준다.

기술적 접근법

**LLM judge 프레임워크**를 사용하여, 인간 기준에 기반한 정답 전략의 다양성을 평가.
**RLVR**(Reinforcement Learning with Value Reward)를 통해 표면적 다양성 유지와 접근 방식 다양성 감소를 실험적으로 검증.
**접근 방식 다양성**을 직접 유도하기 위해 LLM judge의 다양성 보상(reward)을 최적화하는 실험 수행.
**정책(policy)**이 judge의 특정 선호를 학습하는 경향을 관찰, 이는 접근 방식 다양성의 직접 최적화가 여전히 열린 문제임을 시사.

주요 결과

기존 다양성 지표는 접근 방식 다양성을 신뢰성 있게 반영하지 못함.
RLVR에서 표면적 다양성은 유지되지만, 접근 방식 다양성이 감소함.
접근 방식 다양성이 테스트 타임 성능 개선에 긍정적 영향을 미침.
LLM judge 기반 보상을 최적화하면 정책이 judge의 선호를 학습해 접근 방식 다양성이 오히려 줄어듦.

의의 및 한계

본 연구는 LLM의 수학 추론 다양성을 측정하는 새로운 관점, 즉 **접근 방식 수준 다양성**을 제시함으로써, 기존 표면적 다양성 측정의 한계를 드러냈다. 이는 LLM이 인간처럼 다양한 전략을 활용하는 추론 능력을 갖추는 데 중요한 단계이다. 그러나 접근 방식 다양성을 직접 유도하는 방법은 여전히 해결되지 않았으며, LLM judge의 선호가 정책 최적화에 부정적 영향을 미칠 수 있다는 점도 한계로 지적된다.

실용적 활용

본 연구는 교육 AI, 수학 문제 풀이 도구, 창의적 추론 지원 시스템 등에서 LLM이 다양한 전략을 활용하는 추론 능력을 개발하는 데 기여할 수 있다. 특히, 인간과 유사한 방식으로 문제를 다각도로 접근할 수 있는 시스템 설계에 활용 가능하다.