Reasoning Denoiser: Denoising Reasoning Traces for Hallucination Detection in Large Reasoning Models

Large reasoning models (LRMs) generate long reasoning traces before producing final answers. While these traces may contain useful signals for hallucination detection, harnessing them is non-trivial because long trajectories often include noisy steps that obscure the cues relevant to truthfulness assessment. In this paper, we identify two prevalent forms of reasoning noises, i.e., irrelevant steps and repetitive steps, and show that both substantially degrade hallucination detection performance. Existing confidence-based scores and naive embedding-based filtering fail to reliably separate noisy from informative steps. To address this challenge, we propose REDE, a novel learning framework for denoising reasoning traces for hallucination detection. Specifically, REDE leverages final-answer attention as an automatic supervision signal to shape the step-level representation space, yielding refined embeddings in which noisy steps can be reliably identified and filtered. REDE can be readily plugged into diverse hallucination detectors by operating on the filtered reasoning trajectory after removing noisy steps. Extensive experiments on multiple reasoning benchmarks show that REDE consistently improves detection performance over competitive baselines.

한 줄 요약

ReDe는 대규모 추론 모델의 추론 트레이스에서 노이즈 단계를 제거하여 환상 생성 감지 성능을 18.69% 향상시키는 학습 프레임워크이다.

핵심 기여도

두 가지 주요 노이즈 단계, 즉 무관 단계(irrelevant steps)와 반복 단계(repetitive steps)를 식별하고, 이들이 환상 감지 성능을 악화시킴을 실증적으로 보여줌.
기존의 신뢰도 기반 점수와 단순 임베딩 기반 필터링이 노이즈 단계를 효과적으로 분류하지 못함을 밝힘.
ReDe 프레임워크를 제안: 최종 답변의 어텐션 점수를 자동 감독 신호로 활용하여 단계 임베딩 공간을 재구성.
TruthfulQA 데이터셋에서 ReDe를 적용한 경우, 기존 원본 추론 트레이스 대비 18.69% 개선, 최고 87.32%의 AUROC 달성.

핵심 아이디어

대규모 추론 모델(LRMs)은 최종 답변을 생성하기 전에 긴 추론 트레이스를 생성하지만, 이 트레이스는 무관하거나 반복적인 단계로 인해 환상 감지에 방해가 된다. ReDe는 이러한 노이즈 단계를 효과적으로 제거하기 위해, 최종 답변 토큰과 각 추론 단계 간의 어텐션 점수를 자동 감독 신호로 사용한다. 이는 인공적인 라벨 없이도 각 단계가 최종 답변에 기여하는 정도를 측정할 수 있다. 무관 단계는 어텐션이 낮고, 반복 단계는 정보가 이미 포함되어 있어 어텐션이 낮은 경향이 있다. ReDe는 이 정보를 기반으로 단계 임베딩 공간을 재구성하여 노이즈 단계를 격리하고, k-NN과 같은 간단한 거리 기반 필터링으로 제거한다. 이는 기존 방법들보다 더 신뢰성 있게 노이즈를 제거할 수 있게 한다.

기술적 접근법

**ReDe 프레임워크**:
**단계 임베딩 공간 재구성**: 최종 답변 어텐션 점수를 감독 신호로 사용하여 단계 임베딩을 재구성.
**가벼운 프로젝션 학습**: 정보가 풍부한 단계는 서로 가까워지도록, 노이즈 단계는 멀어지도록 학습.
**k-NN 기반 필터링**: 재구성된 임베딩 공간에서 거리 기반으로 노이즈 단계를 제거.
**학습 손실 함수**:
`ℒ_disperse`: 노이즈 단계를 분산시키는 손실.
`ℒ_compact`: 정보 단계를 집중시키는 손실.
`ℒ_separate`: 정보 단계와 노이즈 단계 간 거리를 최대화하는 손실.
**데이터셋**: TruthfulQA, MATH, CodeElo, MULTIHOPQA.
**모델**: Qwen3-8B/32B, DeepSeek-R1-Distill-Llama-8B/DeepSeek-R1-Distill-Qwen-32B.
**평가 지표**: AUROC, 3개 랜덤 시드 평균.

주요 결과

**TruthfulQA 데이터셋**: ReDe 적용 시 AUROC 87.32% 달성 (기존 원본 추론 트레이스 대비 +18.69%).
**다양한 감지기 비교**: CCS 기반 감지기에서 ReDe 적용 시 80.51 → 87.32% 개선.
**기존 방법 대비 성능**: ReDe는 TSV, HaloScope, SelfCheckGPT 등 기존 방법들보다 AUROC 5~10% 이상 상회.
**필터링 효과**: 무작위 선택은 감지 성능을 낮추는 반면, ReDe는 일관된 성능 향상 보여.

의의 및 한계

ReDe는 대규모 추론 모델의 추론 트레이스에서 노이즈 단계를 효과적으로 제거함으로써, 환상 생성 감지의 신뢰성을 크게 향상시킨다. 특히, 인공 라벨 없이도 최종 답변 어텐션을 활용한 자동 감독 학습은 기존 연구에서 다루어지지 않았던 중요한 기여이다. 또한, ReDe는 다양한 감지기(예: CCS, Perplexity, Verbalized Certainty)에 쉽게 통합 가능하며, 다양한 추론 태스크에서 일관된 성능 향상을 보인다. 그러나 ReDe는 모델 내부 어텐션 정보에 의존하므로, 어텐션 계산이 불가능한 모델에는 적용이 어려울 수 있다. 또한, 추론 트레이스의 길이가 길어질수록 필터링 효과가 줄어들 수 있다는 한계도 존재한다.

실용적 활용

ReDe는 대규모 추론 모델이 사용되는 AI 기반 질문 응답 시스템, 코드 생성 도구, 수학 문제 풀이 엔진 등에서 환상 생성 감지를 강화하는 데 활용할 수 있다. 특히, 모델의 신뢰도를 높이면서도 추가 라벨링 없이도 적용 가능한 점에서, 산업 현장에서 실용성이 높은 기술로 활용될 수 있다.