Evaluating the Utility of Personal Health Records in Personalized Health AI

Patient-managed Personal Health Records (PHRs) promises to empower patients to better understand their health; but information in the record is complex, potentially hindering insights. In this study, we assess the potential of large language models (LLMs, Gemini 3.0 Flash) to provide helpful answers to user health queries, when provided clinical data from PHRs as context. A total of 2,257 user queries were drawn from 3 different distributions to represent patient questions: shorter web search queries, longer questions derived from templates of chatbot conversations, and questions patients asked to their healthcare team (patient calls). Queries were matched with de-identified PHRs (from a pool of 1,945). Gemini responses were generated (1) without PHR context; (2) with a basic summary of demographics, conditions, and medications; (3) with full, extensive clinical notes. For evaluation, we leveraged an existing rating framework (SHARP), and developed a new framework for specific error modes when interpreting PHRs. Evaluation was performed using autoraters for the full set, and with clinician ratings for a subset (n=95), with both sets of raters knowing the full PHR context. We see significant improvements in the helpfulness of answers to all question types with PHR data (p < 0.001, paired t-test). We also observe potential gains in safety, accuracy, relevance and personalization of answers. Our PHR evaluation framework further identifies gaps in LLM understanding of particular aspects of complex PHRs, such as temporal disorientation, and rare but meaningful confabulations. These results suggest potential for PHR data to help people with a wide range of user needs; and provide a framework for monitoring for gaps in LLM answers based on PHR context. This study motivates further work to assess and realize potential benefits to users from understanding their health records.

한 줄 요약

**[개인 건강 기록 / LLM 평가]** 환자가 관리하는 Personal Health Record(PHR)를 컨텍스트로 제공할 때 LLM 답변의 유용성·안전성·정확성이 어떻게 변하는지 2,257건 쿼리·1,945 PHR로 정량 평가.

핵심 기여도

"PHR이 환자에게 인사이트를 준다"는 약속과 "정보가 복잡해 이해를 가로막는다"는 현실 사이의 격차를 정의하고, LLM이 그 격차를 메울 수 있는지를 체계적으로 검증.
짧은 웹 검색 쿼리, 챗봇 템플릿 기반 긴 질문, 환자가 의료진에 직접 한 질문(patient calls) 세 가지 분포에서 총 2,257개 사용자 쿼리 구축하고 익명화 PHR 1,945개와 매칭.
(1) PHR 없음, (2) demographics·조건·약물 요약, (3) 전체 임상 노트의 3가지 컨텍스트 조건으로 Gemini 3.0 Flash 응답 생성·평가.
기존 SHARP 평가 프레임워크 확장 + PHR 해석 시 특유의 오류 유형(temporal disorientation, rare confabulation 등)을 진단하는 새 평가 프레임워크 개발, autorater + 임상의 평가(n=95) 병행.

핵심 아이디어

"환자 맞춤형 LLM 답변"의 진정한 효용은 평균 점수 향상이 아니라, PHR 컨텍스트가 답변의 helpfulness·safety·accuracy·relevance·personalization을 어떻게 바꾸고 어디서 실패하는지를 분리해서 보는 데에 있다는 평가 철학.

기술적 접근법

**모델/방법론**: Gemini 3.0 Flash을 LLM 응답자로, PHR 컨텍스트 3단계와 사용자 쿼리 3분포를 cross-product로 평가.
**핵심 기법**: SHARP 기반 평가 + PHR 특화 오류 유형 분류(temporal disorientation, confabulation 등), autorater 대규모 평가 + 95건 임상의 평가 검증.

주요 결과

모든 질문 유형에서 PHR 데이터를 컨텍스트로 줄 때 답변 유용성이 통계적으로 유의하게 향상 (p<0.001, paired t-test).
safety, accuracy, relevance, personalization 측면에서도 잠재적 개선 관찰.
LLM이 복잡 PHR의 특정 측면(시간적 disorientation, 드물지만 의미 있는 confabulation)을 이해하는 데 갭이 있음을 PHR 평가 프레임워크가 식별.

의의 및 한계

**의의**: 환자 직접 사용 LLM 시나리오의 효용을 PHR이라는 실제 자료와 결합해 정량 입증, 동시에 그 위험 신호를 모니터링할 수 있는 평가 프레임워크를 제공. **한계**: 평가가 Gemini 3.0 Flash 단일 모델·익명화 PHR 풀에 기반하며, 다양한 인구집단·다국어 환경 일반화는 후속 과제.

실용적 활용

환자용 헬스 AI 챗봇 개발 시 PHR 통합 정책 설계와 효용 측정.
임상 정보 시스템에서 LLM 사용을 monitoring하기 위한 PHR 특화 오류 카테고리 활용.
환자가 자신의 건강 기록을 이해하도록 돕는 디지털 도구의 효과성 평가.