Is Complex Agentic Memory Always Needed? Naive RAG Is Stronger Than We Thought

LLM memory is widely used in long-term conversation understanding. Agentic memory systems often use mutation, structural organization, learned retrieval strategies, or other complex operations. Is this complexity always necessary? We study Raw-RAG, a naive RAG baseline using dense retrieval and reranking over raw history to supply evidence to a reader LLM. Across LoCoMo, LongMemEval, MEME, and MemoryAgentBench, Raw-RAG ranks first among the compared memory systems in six of seven benchmark-model settings, outperforming the strongest compared agentic memory system by 0.13-5.53 points. We investigate why raw-history retrieval remains competitive. Evidence analysis shows that its higher coverage of necessary evidence can offset lower utilization. Useful evidence includes both answer values and the relations and dependency paths needed to derive them. Even complete access to transformed memory stores leaves an accuracy gap relative to raw evidence, highlighting the importance of preserving raw information. These findings challenge the necessity of complex agentic memory for the evaluated conversation tasks and establish naive RAG as an essential baseline.

한 줄 요약

Naive RAG 기반 Raw-RAG가 복잡한 Agentic Memory 시스템을 앞서며, 대화 태스크에서 뛰어난 성능을 보인다.

핵심 기여도

Raw-RAG는 LoCoMo, LongMemEval, MEME, MemoryAgentBench 4개 벤치마크에서 7개 설정 중 6개에서 1위를 기록함.
Agentic Memory 시스템 대비 0.13–5.53 포인트 높은 성능을 보임.
Raw-RAG는 단순한 dense retrieval과 cross-encoder reranking만 사용함.
Raw 정보의 보존이 변환된 메모리 저장소보다 정확도에 더 유리함을 밝힘.

핵심 아이디어

기존 Agentic Memory 시스템은 mutation, structural organization, learned retrieval strategy 등을 통해 복잡한 메모리 관리를 수행한다. 그러나 본 연구는 Raw-RAG라는 단순한 RAG 기반 접근법이 이 복잡성을 필요로 하지 않을 수 있음을 제시한다. Raw-RAG는 raw history에 대해 dense retrieval과 reranking만을 사용하여 reader LLM에 증거를 제공한다. 연구는 이 단순한 접근법이 기존 복잡한 메모리 시스템을 앞서는 이유를 분석한다. 특히, Raw-RAG가 필요한 증거를 더 넓게 포함함으로써, 낮은 활용률을 보완할 수 있음을 밝힌다. 이는 raw 정보가 변환된 메모리 저장소보다 더 정확한 판단을 가능하게 함을 시사한다.

기술적 접근법

**모델**: Raw-RAG는 reader LLM에 증거를 제공하기 위해 dense retrieval과 cross-encoder reranking만 사용함.
**데이터**: LoCoMo, LongMemEval, MEME, MemoryAgentBench 4개 벤치마크 사용.
**하이퍼파라미터**: 256-token window, 32-token overlap, 128개 dense 후보, 15개 reranked chunk.
**평가 설정**: 각 대화 히스토리가 하나의 메모리 저장소로 공유되며, 질문별로 session date, speaker role 등을 보존함.
**추가 설정**: GPT-4o-mini를 사용한 정답 생성, phase visibility, timestamp filtering 등을 포함.

주요 결과

**LoCoMo**: Raw-RAG가 67.36%에서 69.42%로 정확도 향상.
**MEME**: DeepSeek-V4-Flash 기반으로 cascade 82.32%, invalidation 91.54% 달성.
**MemoryAgentBench**: Raw-RAG가 7개 설정 중 6개에서 1위.
**LongMemEval**: Raw-RAG가 agentic memory 시스템 대비 0.13–5.53 포인트 높은 성능.
**정확도 격차**: 변환된 메모리 저장소 접근도 raw 증거 접근 대비 정확도 격차를 줄이지 못함.

의의 및 한계

본 연구는 복잡한 Agentic Memory 시스템의 필요성을 재검토하며, Raw-RAG가 기존 시스템을 앞서는 것을 통해 단순한 RAG 기반 접근법의 가치를 강조한다. 특히, raw 정보의 보존이 정확도에 중요한 역할을 함을 밝히며, 기존 연구에서의 retrieval 단위, depth, reranking 부재가 성능 격차의 원인일 수 있음을 지적한다. 그러나 Raw-RAG는 mutation이 없는 경우에도 정확도가 향상된다는 점에서, 일부 상황에서는 복잡한 메모리 관리가 여전히 필요할 수 있다. 또한, reader LLM의 능력 차이가 성능에 큰 영향을 미친다는 점도 한계로 작용할 수 있다.

실용적 활용

Raw-RAG는 대화형 AI, 고객 지원 시스템, 개인화된 추천 시스템 등에서 복잡한 메모리 관리 없이도 높은 정확도를 달성할 수 있는 기반으로 활용 가능하다. 특히, 단순한 구조와 높은 성능을 바탕으로 연구 초기 단계의 baseline으로 사용할 수 있으며, 복잡한 메모리 시스템 개발 시 비교 기준으로도 유용하다.