Prompting language influences diagnostic reasoning and accuracy of large language models

Large language models (LLMs) are increasingly explored for clinical decision support, yet most evaluations are conducted in English, leaving their reliability in other languages uncertain. Here we evaluate the impact of prompting language on diagnostic reasoning and final diagnosis accuracy by comparing English and French performance across five LLMs (o3, DeepSeek-R1, GPT-4-Turbo, Llama-3.1-405B-Instruct, and BioMistral-7B). A total of 180 clinical vignettes covering 16 medical specialties were assessed by two physicians using an 18-point scale evaluating both diagnosis accuracy and reasoning quality. Four of the five models performed better in English (mean difference 0.37-0.91, adjusted p < 0.05), with the gap spanning multiple aspects of reasoning, including differential diagnosis, logical structure, and internal validity. o3 was the only model showing no overall language effect. These findings demonstrate that prompting language remains a critical determinant of LLM clinical performance, with implications for equitable linguistico-cultural deployment worldwide.

📋 한 줄 요약

**[임상 LLM / 다국어 평가]** 5개 LLM의 영어·프랑스어 임상 진단 추론을 비교해 프롬프트 언어가 진단 정확도와 추론 품질에 일관된 영향을 미침을 보고.

🎯 핵심 기여도

LLM의 임상 의사결정 지원 활용이 늘고 있지만 대부분의 평가가 영어로만 이뤄져 다른 언어에서의 신뢰성이 불분명하다는 문제 정의.
5개 LLM(o3, DeepSeek-R1, GPT-4-Turbo, Llama-3.1-405B-Instruct, BioMistral-7B)을 영어·프랑스어 양 언어로 평가.
16개 의학 전문분야를 포괄하는 180개 임상 비네트 사용, 두 명의 의사가 18점 척도로 진단 정확도와 추론 품질을 모두 평가.
다섯 모델 중 네 모델에서 영어 성능이 더 높음을 통계적으로 입증(평균 차 0.37–0.91, 보정 p < 0.05).

💡 핵심 아이디어

"같은 모델, 같은 환자, 다른 언어"가 다른 임상 판단을 낳는다. 언어 자체가 LLM 임상 신뢰성의 결정 변수임을 인정해야 한다.

🔬 기술적 접근법

**모델/방법론**: 180개 임상 비네트(16 전문분야) × 5개 LLM × 2개 언어 × 2명 의사 평가.
**핵심 기법**: 진단 정확도와 추론 품질을 모두 포함하는 18점 척도 사용, 감별 진단·논리 구조·내부 타당성 등 추론 측면을 세분화해 평가, 모델 간·언어 간 차이를 통계 보정으로 비교.

📊 주요 결과

5개 모델 중 4개가 영어에서 우월(평균 차 0.37–0.91, adjusted p < 0.05).
격차는 감별 진단, 논리 구조, 내부 타당성 등 추론의 여러 측면에 걸쳐 나타남.
o3 모델만이 전반적인 언어 효과를 보이지 않음.
격차는 단순 정확도뿐 아니라 추론 품질에도 일관되게 나타남.

💭 의의 및 한계

**의의**: 글로벌 임상 배포에서 언어가 안전·형평성의 핵심 축임을 정량 데이터로 입증, 다언어·다문화 평가의 의무화 근거 제공. **한계**: 영어·프랑스어 두 언어와 16개 전문분야로 한정, 더 다양한 언어·문화·임상 환경으로의 확장은 후속 과제.

🚀 실용적 활용

임상 LLM 도입 전 다언어 검증 의무화 가이드라인.
비영어권 의료 AI 배포의 안전 평가 체크리스트.
다언어 임상 평가 비네트 데이터 표준 개발.