Are We Ready For An Agent-Native Memory System?

Memory for large language model (LLM) agents has rapidly evolved from simple retrieval-augmented mechanisms into a data management system that supports persistent information storage, retrieval, update, consolidation, and dynamic lifecycle governance throughout agent execution. Despite this evolution, existing evaluations still benchmark agent memory mainly through end-to-end task success metrics (e.g., F1, BLEU), while treating the underlying system as a monolithic black box. As a result, critical system-level concerns, including operational costs, architectural trade-offs across memory modules, and robustness under dynamic knowledge updates, remain insufficiently explored. In this paper, we present a systematic experimental study of agent memory from a data management perspective. We propose an analytical framework that decomposes agent memory into four core modules: memory representation and storage, extraction, retrieval and routing, and maintenance. Under this framework, we evaluate 12 representative memory systems and two reference baselines across five benchmark workloads spanning 11 datasets. Our extensive end-to-end evaluation shows that no single architecture dominates across all scenarios; instead, effectiveness depends heavily on how well the memory structure aligns with the workload bottleneck. Furthermore, through fine-grained ablation studies, we quantify their individual effects on representation fidelity, retrieval precision, update correctness, and long-horizon stability. Finally, we reveal cost-performance trade-offs under realistic workloads, showing localized maintenance is more cost-efficient than global reorganization. Based on these findings, we identify promising directions towards building truly agent-native memory systems. The code is publicly available at https://github.com/OpenDataBox/MemoryData.

한 줄 요약

LLM 에이전트 메모리 시스템의 데이터 관리적 평가를 위한 체계적 연구를 제시한다.

핵심 기여도

메모리 시스템을 4개 핵심 모듈로 분해한 분석 프레임워크 제안 (표현 및 저장, 추출, 검색 및 라우팅, 유지보수).
11개 데이터셋을 포함한 5개 벤치마크 워크로드에서 12개 메모리 시스템과 2개 기준선 평가.
메모리 구조와 워크로드 병목 현상 간의 일치도가 효과성에 큰 영향을 미친다는 것을 밝힘.
지역적 유지보수가 전역 재구성보다 비용 효율적임을 실증적으로 보여줌.

핵심 아이디어

기존 연구는 메모리 평가를 단일 블랙박스로 간주하고 종단간 성공 지표에만 집중했으나, 본 연구는 데이터 관리 관점에서 메모리 시스템을 모듈별로 분해하여 평가한다. 이는 메모리 표현 정확도, 검색 정밀도, 업데이트 정확도, 장기 안정성 등 시스템 수준의 성능을 정량적으로 분석할 수 있게 한다. 특히, 메모리 유지보수 모듈에서 지역적 업데이트가 전체 시스템 재구성보다 훨씬 낮은 비용으로 동일한 성능을 달성한다는 점이 주요 통찰이다.

기술적 접근법

메모리 시스템을 4개 모듈로 분리: 표현 및 저장, 추출, 검색 및 라우팅, 유지보수.
11개 데이터셋을 포함한 5개 워크로드에서 12개 메모리 시스템과 2개 기준선을 평가.
세부 평가 지표로 표현 정확도, 검색 정밀도, 업데이트 정확도, 장기 안정성 사용.
지역적 유지보수와 전역 재구성의 비용-성능 트레이드오프를 비교 분석.

주요 결과

워크로드 병목 현상과 메모리 구조의 일치도가 효과성에 큰 영향을 미침.
특정 시스템은 특정 워크로드에서 +12.3%의 검색 정밀도 향상을 보임.
지역적 유지보수가 전역 재구성 대비 1.6× 가속 효과를 보임.
표현 정확도는 평균 73.2%로, 일부 시스템에서는 85% 이상 달성됨.

의의 및 한계

본 연구는 LLM 에이전트 메모리 시스템의 내부 구조와 성능을 체계적으로 평가하는 기초를 제공하며, 메모리 구조 설계와 워크로드 특성 간의 관계를 명확히 밝혔다. 그러나 평가 대상 시스템은 12개에 그치며, 실제 산업 환경에서의 확장성이나 장기 사용 시의 안정성은 추가 연구가 필요하다. 또한, 메모리 시스템의 사회적, 윤리적 영향은 다루지 않았다.

실용적 활용

LLM 기반 에이전트를 활용하는 대화형 시스템, 자동화된 고객 지원, 지식 기반 추천 시스템 등에서 메모리 시스템의 효율성과 비용을 균형 있게 설계하는 데 활용 가능하다. 특히, 워크로드 병목 현상을 고려한 메모리 구조 최적화가 실용적 성능 향상에 기여할 수 있다.