LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory

Recent large language model (LLM)-driven chat assistant systems have integrated memory components to track user-assistant chat histories, enabling more accurate and personalized responses. However, their long-term memory capabilities in sustained interactions remain underexplored. We introduce LongMemEval, a comprehensive benchmark designed to evaluate five core long-term memory abilities of chat assistants: information extraction, multi-session reasoning, temporal reasoning, knowledge updates, and abstention. With 500 meticulously curated questions embedded within freely scalable user-assistant chat histories, LongMemEval presents a significant challenge to existing long-term memory systems, with commercial chat assistants and long-context LLMs showing a 30% accuracy drop on memorizing information across sustained interactions. We then present a unified framework that breaks down the long-term memory design into three stages: indexing, retrieval, and reading. Built upon key experimental insights, we propose several memory design optimizations including session decomposition for value granularity, fact-augmented key expansion for indexing, and time-aware query expansion for refining the search scope. Extensive experiments show that these optimizations greatly improve both memory recall and downstream question answering on LongMemEval. Overall, our study provides valuable resources and guidance for advancing the long-term memory capabilities of LLM-based chat assistants, paving the way toward more personalized and reliable conversational AI. Our benchmark and code are publicly available at https://github.com/xiaowu0162/LongMemEval.

한 줄 요약

LongMemEval은 대화형 챗봇의 장기 기억 능력을 평가하는 벤치마크로, 500개의 질문과 세 가지 단계의 메모리 설계 최적화를 제시한다.

핵심 기여도

LongMemEval이라는 새로운 벤치마크를 제안하여, 정보 추출, 다세션 추론, 시간 추론, 지식 업데이트, 추기(아bstention) 5가지 핵심 메모리 능력을 평가.
상용 챗봇과 장문맥락 LLM이 지속적인 상호작용에서 30%의 정확도 하락을 보임.
세 가지 단계(Indexing, Retrieval, Reading)로 메모리 설계를 분해하고, 세션 분해, 사실 기반 키 확장, 시간 인식 쿼리 확장을 포함한 최적화 제안.
최적화 적용 시 메모리 회복 및 질문 답변 성능이 크게 향상됨.

핵심 아이디어

기존 챗봇은 사용자-보조 시스템 간 대화 기록을 추적하여 맞춤형 응답을 제공하기 위해 메모리 모듈을 통합하고 있지만, 장기적인 상호작용에서의 메모리 능력은 충분히 평가되지 않았다. LongMemEval은 이 문제를 해결하기 위해 500개의 질문을 포함한 자유롭게 확장 가능한 대화 기록을 통해 챗봇의 장기 메모리 능력을 체계적으로 평가한다. 이 연구는 메모리 설계를 세 단계(Indexing, Retrieval, Reading)로 분해하고, 각 단계에서 실험적으로 효과적인 최적화를 제안함으로써 메모리 회복 및 질문 답변 성능을 향상시킨다. 특히, 세션 분해는 값의 세분화를 가능하게 하며, 사실 기반 키 확장은 메모리 회복률을 9.4% 높이고 질문 정확도를 5.4% 개선한다.

기술적 접근법

**LongMemEval**: 500개의 수작업 질문, 5개의 메모리 능력 평가 (정보 추출, 다세션 추론, 시간 추론, 지식 업데이트, 추기).
**두 가지 표준 설정**: LongMemEval S (약 115k 토큰), LongMemEval M (약 1.5M 토큰, 500세션).
**메모리 설계 최적화**:
세션 분해 (session decomposition): round 단위로 메모리 저장, 다세션 추론 정확도 향상.
사실 기반 키 확장 (fact-augmented key expansion): 메모리 회복률 9.4% 증가, 질문 정확도 5.4% 향상.
시간 인식 쿼리 확장 (time-aware query expansion): 시간 추론 메모리 회복률 6.8~11.3% 향상.
Chain-of-Note 및 구조화된 데이터 포맷 적용: 질문 정확도 10%포인트 향상.

주요 결과

LongMemEval S에서 장문맥락 LLM의 정확도는 30~60% 하락.
상용 시스템은 LongMemEval S보다 훨씬 간단한 설정에서도 30~70% 정확도만 달성.
사실 기반 키 확장 적용 시 메모리 회복률 9.4% 증가, 질문 정확도 5.4% 향상.
시간 인식 쿼리 확장 적용 시 시간 추론 메모리 회복률 6.8~11.3% 향상.
Chain-of-Note 및 구조화된 데이터 포맷 적용 시 질문 정확도 10%포인트 향상.

의의 및 한계

LongMemEval은 챗봇의 장기 메모리 능력을 체계적으로 평가하는 데 중요한 기준을 제공하며, 메모리 설계 최적화를 통해 성능 향상을 실현할 수 있음을 보여준다. 특히, 다세션 추론, 시간 추론, 지식 업데이트 등 복잡한 메모리 작업을 포함한 평가가 기존 벤치마크보다 훨씬 포괄적이다. 그러나 LongMemEval은 수작업 질문 기반으로, 자동 생성 질문과의 비교는 명시되지 않았으며, 실제 산업 환경에서의 적용 가능성도 추가 연구가 필요하다.

실용적 활용

LongMemEval은 심리 상담, 비서 서비스, 맞춤형 고객 지원 등 장기적인 사용자-챗봇 상호작용이 필요한 산업에 적용 가능하다. 또한, 메모리 설계 최적화는 대규모 LLM 기반 챗봇의 개인화 및 신뢰성 향상에 기여할 수 있다.