Confidence Improves Self-Consistency in LLMs

Self-consistency decoding enhances LLMs'performance on reasoning tasks by sampling diverse reasoning paths and selecting the most frequent answer. However, it is computationally expensive, as sampling many of these (lengthy) paths is required to increase the chances that the correct answer emerges as the most frequent one. To address this, we introduce Confidence-Informed Self-Consistency (CISC). CISC performs a weighted majority vote based on confidence scores obtained directly from the model. By prioritizing high-confidence paths, it can identify the correct answer with a significantly smaller sample size. When tested on nine models and four datasets, CISC outperforms self-consistency in nearly all configurations, reducing the required number of reasoning paths by over 40% on average. In addition, we introduce the notion of within-question confidence evaluation, after showing that standard evaluation methods are poor predictors of success in distinguishing correct and incorrect answers to the same question. In fact, the most calibrated confidence method proved to be the least effective for CISC. Lastly, beyond these practical implications, our results and analyses show that LLMs can effectively judge the correctness of their own outputs, contributing to the ongoing debate on this topic.

한 줄 요약

CISC는 자신감 점수를 기반으로 샘플 수를 40% 이상 줄이며 Self-Consistency를 대체하는 효율적인 추론 전략이다.

핵심 기여도

CISC는 Self-Consistency 대비 40% 이상의 추론 경로 샘플 수를 줄이며 유사한 정확도를 달성.
Within-Question Discrimination (WQD) 메트릭을 도입하여 동일 질문 내 정답/오답 구분 능력을 평가.
모델 내재적 자신감 점수가 인간 평가와 높은 상관성을 보임.
LLM이 자체 추론 결과의 정확도를 판단할 수 있음을 실증적으로 입증.

핵심 아이디어

Self-Consistency는 다양한 추론 경로를 샘플링하고 가장 빈도 높은 답변을 선택하는 방식이지만, 이는 계산 비용이 높다. CISC는 모델이 자체적으로 생성한 추론 경로에 대해 자신감 점수를 산출하고, 이를 기반으로 가중치가 적용된 다수결을 수행함으로써 샘플 수를 줄인다. 이는 추론 경로의 질을 평가하는 새로운 관점, 즉 '동일 질문 내 정답/오답 구분' (within-question confidence evaluation)을 도입한 점에서 차별화된다. 기존의 calibration 메트릭은 질문 간 비교에 적합하지만, CISC는 동일 질문 내 비교가 필요하다는 점에서 WQD 메트릭이 유용하다는 것을 보여준다.

기술적 접근법

**CISC 알고리즘**: 모델이 생성한 각 추론 경로에 대해 자신감 점수를 산출하고, 가중치가 적용된 다수결을 수행.
**데이터셋**: 4개의 수학 및 상식 추론 데이터셋 사용.
**모델**: 9개의 다양한 크기의 LLM 사용.
**자신감 추정 방법**: 3가지 인기 있는 방법을 비교.
**하이퍼파라미터**: 샘플 수, 가중치 계산 방식 등은 명시되지 않음.
**WQD 메트릭**: 동일 질문 내 정답/오답 구분 능력을 평가하는 새로운 평가 지표.

주요 결과

CISC는 Self-Consistency 대비 평균적으로 **40% 이상의 추론 경로 샘플 수를 줄이며 유사한 정확도를 달성**.
**WQD 메트릭**은 CISC 성능을 예측하는 데 효과적.
**가장 calibration된 자신감 추정 방법**은 CISC 성능에 오히려 부정적 영향을 미침.
모델 자신감 점수와 **인간 평가자에 의해 평가된 추론 질** 사이에 높은 상관관계가 있음.

의의 및 한계

CISC는 Self-Consistency의 계산 비용 문제를 해결하면서도 유사한 성능을 유지함으로써 추론 효율성을 높이는 실용적 기여를 한다. 또한, LLM이 자체 추론 결과의 정확도를 판단할 수 있음을 실증적으로 입증하여, 모델의 자기 평가 능력에 대한 학술적 논의에 기여한다. 그러나 본 연구는 특정 자신감 추정 방법의 하이퍼파라미터나 모델 크기별 성능 차이에 대한 심층 분석은 제공하지 않으며, 이는 향후 연구 주제로 제시된다.

실용적 활용

CISC는 추론 비용을 줄이면서도 정확도를 유지하므로, 대규모 LLM을 활용한 실시간 추론 시스템, 교육용 AI, 복잡한 수학 문제 해결 등 다양한 산업 및 연구 분야에서 활용 가능하다. WQD 메트릭은 추론 모델의 자신감 추정 방법 개선에도 활용될 수 있다.