Reinforcement Learning with Metacognitive Feedback Elicits Faithful Uncertainty Expression in LLMs

Metacognition is a critical component of intelligence that describes the ability to monitor and regulate one's own cognitive processes. Yet LLMs exhibit systemic deficiencies in key metacognitive faculties: they hallucinate with high confidence, fail to recognize knowledge boundaries, and misrepresent their internal uncertainty--undermining trustworthiness and reliability. Since monitoring task performance and adapting behavior accordingly are central to metacognition, we posit that models capable of accurately judging their own performance are better positioned to improve it. We operationalize this idea via two novel mechanisms: reinforcement learning with metacognitive feedback (RLMF), a paradigm to refine completion rankings during preference optimization based on the quality of a model's self-judgments of performance, and metacognitive data selection, which uses similar self-judgments to identify high-value training examples, outperforming naive active learning. We apply these innovations to the problem of faithful calibration (FC), a task that is itself fundamentally metacognitive: the goal is to align expressed with intrinsic uncertainty, difficult even for frontier LLMs. We adopt a two-stage, decoupled approach, first using these methods to calibrate the faithfulness of models' self-reported confidence scores, then mapping to natural, context-adaptable linguistic uncertainty via targeted output editing. Extensive experiments show RLMF achieves generalizable, state-of-the-art FC on diverse tasks while preserving accuracy. Further, RLMF surpasses standard RL by up to 63% while enhancing models' ability to assess and express their own capability limits. This positions RLMF as a promising paradigm to enhance LLM metacognition toward improved abilities and alignment, and suggests metacognitive performance as an effective RL signal to overcome limits of prior intrinsic feedback methods.

한 줄 요약

RLMF를 통해 LLM의 신뢰성 있는 불확실성 표현을 향상시키며, 63%까지 성능 개선을 달성.

핵심 기여도

RLMF(Reinforcement Learning with Metacognitive Feedback)를 제안하여 모델의 자기 평가 품질을 기반으로 완성 순위를 조정함.
메타인지 데이터 선택(Metacognitive Data Selection)을 통해 고가치 학습 샘플을 선별, 기존 Active Learning을 초과함.
두 단계 프레임워크를 통해 수치적 및 언어적 불확실성을 신뢰성 있게 조정, cMFG* 0.80 이상 달성.
RLMF는 기존 RL 대비 최대 63% 개선하며, GPT-5, Gemini-3.1-Pro 등 대형 모델을 초과함.

핵심 아이디어

기존 LLM은 자기 평가 능력이 결여되어 있어 신뢰도를 낮추는 문제를 해결하기 위해, 모델이 스스로 성능을 평가하는 메타인지 신호를 강화 학습의 새로운 보상으로 활용하는 RLMF를 제안했다. 이는 단순히 출력 신뢰도가 아닌, 모델의 자기 평가 정확도를 기반으로 학습 신호를 조정함으로써, 모델의 메타인지 능력을 향상시키는 데 초점을 맞춘다.

또한, 메타인지 데이터 선택을 통해 모델이 스스로 성능을 잘 평가한 샘플과 그렇지 않은 샘플을 모두 선택하여 학습 데이터를 구성함으로써, 학습 효율성을 높인다. 이는 기존 Active Learning보다 더 효과적인 학습 샘플을 선정할 수 있음을 보여준다.

이 두 가지 메커니즘은 신뢰성 있는 불확실성 표현(Faithful Calibration, FC)이라는 메타인지 핵심 과제에 적용되었으며, 수치적 신뢰도 점수를 언어적 불확실성 표현으로 매핑하는 두 단계 프레임워크를 통해 구현되었다.

기술적 접근법

**RLMF**: 강화 학습 과정에서 모델의 자기 평가 정확도를 기반으로 완성 순위를 조정.
**Metacognitive Data Selection**: 모델의 자기 평가 점수를 기준으로 학습 샘플을 선정, 고가치 학습 데이터를 추출.
**Two-Stage Framework**:
Stage 1: RLMF와 메타인지 데이터 선택을 통해 모델의 자기 신뢰도 점수를 신뢰성 있게 조정.
Stage 2: 수치적 신뢰도 점수를 언어적 불확실성 표현으로 매핑.
**cMFG***: 평균적으로 0.80 이상의 성능 달성, 10개 태스크, 6+6 콘텐츠 도메인에서 평가됨.
**Hyperparameter**: 실험당 최적의 하이퍼파라미터 설정 사용.

주요 결과

RLMF는 기존 RL 대비 최대 63% 개선, cMFG* 0.80 이상 달성.
PopQA 데이터셋에서 학습했음에도 MATH, SimpleQA 등 다양한 태스크에서 일반화 성능 유지.
GPT-5 대비 37%, Gemini-3.1-Pro 대비 17%, Gemini-3-Flash 대비 25% 개선.
인간 평가에서 96% 이상의 승률 달성 (다양성, 자연성, 도움성, 맥락 적합성).
FUT 대비 29%, MetaFaith 대비 25%의 cMFG* 평균 개선.

의의 및 한계

RLMF는 LLM의 메타인지 능력을 향상시키는 새로운 학습 패러다임으로, 신뢰성 있는 불확실성 표현을 가능하게 하며, 기존 내재 피드백 방법의 한계를 극복할 수 있는 신호로 메타인지 성능을 제시한다. 두 단계 프레임워크는 수치적 및 언어적 불확실성을 모두 신뢰성 있게 조정하며, 사용자 맥락에 따라 유연하게 적용 가능하다는 점에서 실용적 가치가 높다.

하지만, 메타인지 능력 향상은 단순한 자기 평가 정확도 향상과 동일하지 않으며, 메타인지의 다른 측면(예: 인식 조절, 학습 전략)은 아직 다루어지지 않았다. 또한, RLMF는 학습 과정에서 모델이 스스로 학습 데이터를 선택하는 능력을 일부 보여주지만, 이는 인간의 자기 주도 학습과 비교하면 한계가 있다.

실용적 활용

RLMF는 과학적 발견, 의료 진단, 법률 상담 등 고위험 분야에서 LLM의 신뢰도를 향상시키는 데 활용 가능하다. 특히, 사용자 맥락에 따라 불확실성을 유연하게 표현할 수 있는 언어적 불확실성 매핑 기법은 대화형 AI 및 추천 시스템에서 유용하게 사용될 수 있다.