Are You Sure You're Sure? On the Impact of Instruction Tuning on Confidence and Lexical Diversity

Instruction-tuned language models achieve strong performance across a range of generation tasks, but have also recently been shown to exhibit verbalized overconfidence. In question answering, verbalized model overconfidence may be associated with the consistency of the generated supporting rationales. In this paper, we study whether corresponding changes in the lexical diversity of generated answer rationales accompany changes in model confidence induced by instruction tuning. We evaluate three matched base and instruction-tuned models across question-answering benchmarks and find that instruction tuning consistently alters answer confidence, despite limited changes in predictive accuracy and decreases in likelihood-based calibration. Secondly, we observe a non-uniform effect of instruction tuning on rationale diversity: cross-rationale diversity consistently decreases, whereas surface-level lexical diversity varies in both direction and magnitude across models and benchmarks. Finally, we find that these differences persist after controlling for answer selection and rationale length, confirming that confidence and rationale diversity capture distinct effects of instruction tuning.

한 줄 요약

지시 학습은 모델의 답변 신뢰도를 높이지만, 이는 일관된 어휘 다양성 변화와 관련되지 않음을 밝힘.

핵심 기여도

3개 모델 가족에서 지시 학습이 신뢰도를 증가시키지만 예측 정확도는 거의 변하지 않음.
지시 학습은 cross-rationale diversity를 일관되게 감소시키지만, surface-level lexical diversity는 모델과 벤치마크에 따라 달라짐.
신뢰도와 어휘 다양성은 서로 다른 영향을 받으며, 이는 answer selection과 rationale length를 고정시켜도 지속됨.

핵심 아이디어

지시 학습은 모델이 더 확신 있게 답변하도록 유도하지만, 이는 반드시 어휘 다양성의 일관된 변화와 연결되지 않는다. 이 연구는 `cross-rationale diversity`와 `surface-level lexical diversity`를 구분하여 분석함으로써, 지시 학습이 모델 신뢰도와 어휘 다양성에 미치는 영향이 복합적임을 밝혔다. `SelfBLEU` 지표를 사용하여 어휘 다양성을 측정하고, `H_choice(x)` 공식을 통해 선택된 답변에 대한 불확실성을 정량화함으로써, 신뢰도와 다양성 간의 관계를 정확히 분석했다.

기술적 접근법

**Model Confidence Evaluation**: 선택된 답변에 대한 정규화된 확률의 엔트로피(`H_choice(x)`)를 사용하여 불확실성을 측정.
**Verbalized Confidence**: 두 단계 프로토콜을 통해 모델이 수치적 확률을 직접 보고하도록 유도.
**Lexical Diversity**: `SelfBLEU` 지표를 사용하여 cross-rationale diversity를 측정.
**Controlled Comparison**: 동일한 답변을 선택한 예시에 대해, `rationale length`를 일치시켜 어휘 다양성 변화를 독립적으로 분석.

주요 결과

지시 학습은 `H_choice(x)`를 감소시키며 신뢰도를 높이지만, 예측 정확도는 `+0.5% 이하`로 거의 변하지 않음.
`cross-rationale diversity`는 지시 학습 후 `일관된 감소`를 보임.
`surface-level lexical diversity`는 모델과 벤치마크에 따라 방향과 크기 모두 `변동` 있음.
`SelfBLEU` 점수는 지시 학습 후 `감소`하며, 이는 어휘 다양성이 줄어든 것을 의미.

의의 및 한계

이 연구는 지시 학습이 모델 신뢰도와 어휘 다양성에 미치는 영향이 복합적임을 밝혀, 신뢰도 추정 연구에 새로운 통찰을 제공한다. 특히, `cross-rationale diversity`와 `surface-level diversity`를 구분하여 분석함으로써, 단순한 어휘 다양성 측정이 모델 신뢰도를 정확히 반영하지 못함을 보여준다. 한계로는 `SelfBLEU`가 어휘적 다양성만 반영하고 의미적 다양성은 고려하지 못한다는 점이 언급된다.

실용적 활용

의료, 법률, 금융 분야에서 신뢰도 추정이 중요한 모델 개발에 활용 가능. 예를 들어, 모델이 답변에 대해 과도한 확신을 보일 때, 이 연구는 어휘 다양성 분석을 통해 신뢰도의 신뢰성을 평가하는 데 도움을 줄 수 있다.