When Evidence Conflicts: Uncertainty and Order Effects in Retrieval-Augmented Biomedical Question Answering

Biomedical retrieval-augmented large language models (LLMs) often face evidence that is incomplete, misleading, or internally contradictory, yet evaluation usually emphasizes answer accuracy under helpful context rather than reliability under conflict. Using HealthContradict, we evaluate six open-weight LLMs under five controlled evidence conditions: no retrieved context, correct-only context, incorrect-only context, and two mixed conditions containing both correct and contradictory documents in opposite orders. In this conflicting-evidence order contrast, where the same two documents are both present and only their order is reversed, accuracy drops for every model and 11.4%--25.2% of predictions flip. To support abstention in these difficult cases, we also evaluate a conflict-aware abstention score that combines model confidence with a detector of evidence conflict. In the two hardest conditions, this score improves selective accuracy over confidence-only, with mean gains of 7.2--33.4 points in incorrect-only (`IC') and 3.6--14.4 points in incorrect-first conflicting (`ICC') conditions across 75%, 50%, and 25% coverage. These results show that conflicting biomedical evidence is both an uncertainty and robustness problem and motivate evaluation and abstention methods that explicitly account for evidence disagreement.

📋 한 줄 요약

**[의료 NLP / RAG 신뢰성]** 생물의학 검색증강 LLM(RAG)이 모순되는 근거에 부딪힐 때 정확도와 일관성이 크게 흔들린다는 점을 HealthContradict 벤치마크로 정량화하고, 신뢰도와 모순 검출을 결합한 abstention 점수가 어려운 조건에서 선택적 정확도를 크게 끌어올린다는 점을 보고.

🎯 핵심 기여도

생물의학 RAG 평가가 도움이 되는 컨텍스트에 치우쳐 있다는 문제를 지적하고, 모순적·불완전 근거 하에서의 신뢰성 평가 프레임을 제시.
HealthContradict를 활용해 동일한 두 문서를 순서만 바꿔 제시하는 통제 비교에서 모든 모델의 정확도가 떨어지고 예측의 11.4~25.2%가 뒤집힘을 정량 입증.
모델 신뢰도와 근거 모순 탐지기를 결합한 conflict-aware abstention 점수를 제안.
6개 오픈 가중치 LLM에 대한 5개 통제 조건 비교를 통해 근거 불일치가 불확실성·견고성 양쪽 문제임을 실증.

💡 핵심 아이디어

정답률만 보는 평가는 RAG가 모순 근거를 만났을 때의 취약성을 가린다. 신뢰도(확신도)와 별개로 "근거들 사이에 모순이 있는가"를 명시적으로 측정해 abstention 결정에 반영하면, 가장 어려운 조건에서 선택적 정확도를 안정적으로 확보할 수 있다.

🔬 기술적 접근법

**모델/방법론**: 6개 오픈 가중치 LLM을 (i) no context, (ii) correct-only, (iii) incorrect-only, (iv) correct→incorrect, (v) incorrect→correct 다섯 조건에서 평가.
**핵심 기법**: HealthContradict 데이터로 순서 효과 측정, 모순 탐지기 + confidence를 결합한 abstention 점수 산출, 75%/50%/25% 커버리지 기준 선택적 정확도(selective accuracy)로 평가.

📊 주요 결과

같은 두 문서의 순서만 뒤바뀌어도 모든 모델 정확도 하락, 예측의 11.4~25.2%가 뒤집힘.
incorrect-only(IC) 조건에서 평균 7.2~33.4점 selective accuracy 향상.
incorrect-first conflicting(ICC) 조건에서 3.6~14.4점 향상.

💭 의의 및 한계

**의의**: 의료 RAG의 안전한 배포를 위해 모순 인지 abstention이 정확도 평가와 분리되어야 함을 보여줌. **한계**: 평가가 HealthContradict 단일 데이터·6개 오픈 가중치 LLM에 한정되어 폐쇄형 거대 모델과 다른 임상 도메인으로의 일반화는 미검증.

🚀 실용적 활용

임상 의사결정 지원 시스템에서 모순 근거를 만났을 때의 응답 보류 정책 설계.
의료 RAG 검색기 평가의 표준 스트레스 테스트로 활용.
일반 RAG 시스템의 신뢰성 모니터링 지표로 conflict-aware abstention 통합.