Memory Tax: Dissecting the Net Value of Agent Memory

Memory is increasingly used in long-horizon agents, yet the net value of building memory over direct retrieval from raw history remains largely unclear. Through a large-scale evaluation across multiple benchmarks and model backbones, we find many dedicated memory systems underperform naive RAG in many cases, indicating a negative net value. Taking RAG as a reference, we dissect the net value of memory into the gains and losses over direct retrieval, termed memory benefit and memory tax. These gains and losses arise because memory process changes how the raw information is organized and accessed. We view such changes as the double-edged deviations from the raw history. They are originally designed and introduced to benefit the task, for example by reorganizing facts or distilling preferences, but some may also remove or obscure evidence, giving rise to memory tax. Since memory benefit reflects the expected gains of its design, we then focus more on the overlooked memory tax, study how it arises from the system and evaluation side, and generalize the concept to more application scenarios of memory. We hope the notion of memory tax can provide a new lens and shift more attention from standalone performance to the net value of memory, informing more reliable memory designs and evaluations. We will open-source the code and results to the community. Project Page: https://hexuan21.github.io/MemoryTax/

한 줄 요약

장기 기억 시스템의 순 가치를 RAG 기준으로 분석하여 "메모리 택스" 개념을 제시하고, 여러 벤치마크에서 음의 순 가치를 보이는 사례를 밝힘.

핵심 기여도

RAG 기준으로 평가 시, 여러 메모리 시스템이 성능 하락(음의 순 가치)을 보임.
메모리 순 가치를 "메모리 베네핏"과 "메모리 택스"로 분리하여 분석.
메모리 택스는 정보의 신뢰성(faithfulness), 접근성(accessibility), 안정성(robustness)에서 유래함.
메모리 택스 개념을 경험적 메모리(experiential memory), 월드모델 메모리(world-model memory) 등으로 일반화.

핵심 아이디어

기존 연구는 메모리 시스템을 다른 메모리와 비교하는 데 집중했으나, 본 연구는 RAG(원시 히스토리 직접 검색)를 기준으로 메모리의 순 가치를 평가함. 이는 메모리가 단순히 정보를 보존하는 것이 아니라, 정보의 구조와 접근 방식을 변경함으로써 발생하는 이점과 손실을 동시에 고려해야 함을 강조함. 메모리는 "원시 히스토리에서의 이중 편차(double-edged deviations)"로 이해되어야 하며, 이는 설계 의도와 무관하게 부정적인 영향(택스)을 초래할 수 있음. 예를 들어, 사실 재구성이나 선호도 추출은 이점을 제공하지만, 증거의 손실이나 모호화는 택스를 유발함.

기술적 접근법

**기준 모델**: Naive RAG (Raw history 직접 검색)
**평가 벤치마크**: PersonaMem-v2, MINT-Eval, WorldMemArena, LoCoMo, ES-MemEval 등
**평가 프로토콜**: 이진 LLM judge (Appendix A.3)를 사용한 정답 대비 예측 평가
**멀티모달 처리**: 이미지 기반 메모리 벤치마크(Mem-Gallery, WorldMemArena)는 VLM(Qwen3.6-27B)을 사용해 200-token 캡션으로 변환 후 텍스트 기반 RAG 평가
**하이퍼파라미터**: RAG 설정에 대한 다양한 아블레이션 실험 수행 (Appendix B.1~B.3)

주요 결과

**PersonaMem-v2, MINT-Eval, WorldMemArena** 등에서 **Naive RAG가 여러 메모리 시스템을 상회**.
**LoCoMo** 벤치마크에서 **카테고리 5(공격적 질문) 제외**한 4개 카테고리 평가.
**ES-MemEval**에서는 QA 태스크만 평가 (다른 태스크는 결정론적 정답 없음).
**RAG 기준 대비 +0% 이상 성능 개선**을 보이는 메모리 시스템은 **소수**.
**메모리 택스가 메모리 베네핏을 상회하는 경우**가 다수 발생, 순 가치가 음수.

의의 및 한계

**의의**: 메모리의 순 가치를 분석하는 새로운 관점("메모리 택스")을 제시함. 기존 연구는 메모리의 단독 성능에 집중했으나, 본 연구는 이점과 손실의 균형을 평가함.
**한계**: RAG 기준이 모든 상황에서 최적일 수는 없으며, 복잡한 상호작용 환경에서는 메모리의 필요성이 높을 수 있음. 또한, 일부 벤치마크는 "검색 친화적" 설계로 인해 메모리의 이점이 제한적일 수 있음.
**추가 분석 필요**: 메모리 택스의 원인을 모델 백본 변화, 정보 압축 방식 등에 따라 구체화해야 함.

실용적 활용

**대화형 에이전트**나 **개인화 서비스**에서 메모리 설계 시, 단순히 정보 저장량보다는 정보의 신뢰성과 접근성을 고려해야 함.
**메모리 택스 개념**은 메모리 시스템의 설계와 평가 시, 이점과 손실을 균형 있게 고려하는 데 활용 가능.
**RAG 기반 비교**는 메모리 시스템의 실제 추가 가치를 평가하는 간단한 방법으로 활용 가능.