Personalize-then-Store: Benchmarking and Learning Personalized Memory for Long-horizon Agents

Existing large language model (LLM) based memory systems apply universal, static policies that overlook a fundamental reality: the contexts that are worth storing in memory are different across users. This misalignment wastes limited memory budget on transient interactions while failing to preserve critical context for long horizon tasks. To address this gap, we investigate an underexplored question: can LLM based memory systems learn personalized memory policies? We introduce PerMemBench, the first benchmark for evaluating personalized memory systems, featuring multi year, multi domain interaction histories across diverse user personas. We further present the first empirical study of memory personalization, proposing session level storage gating, a lightweight framework that selectively bypasses memory operations for transient sessions. Our study confirms that personalization yields substantial retention gains under perfect gating, yet reveals that accurate gating remains an open and critical challenge.

📋 한 줄 요약

**[LLM Memory / Personalization]** PerMemBench이 multi-year·multi-domain·diverse persona의 첫 personalized memory 벤치마크 — session-level storage gating으로 transient session bypass 시 perfect gating 하에 substantial retention gain, 정확한 gating은 open challenge.

🎯 핵심 기여도

기존 LLM 기반 memory 시스템이 universal·static policy를 적용하지만, 사용자마다 memory에 저장할 가치 있는 context가 다르다는 fundamental reality를 overlook 함을 진단.
이 misalignment가 transient interaction에 limited memory budget을 낭비하고 long horizon task의 critical context 보존에는 실패하게 함.
이 격차 해소 위해 underexplored 질문 조사 — LLM 기반 memory 시스템이 personalized memory policy를 학습 가능한가?
PerMemBench 도입 — personalized memory 시스템 평가의 첫 벤치마크. Multi-year·multi-domain interaction history를 diverse user persona에 걸쳐 feature. Memory personalization의 첫 empirical study — session-level storage gating 제안 (transient session에 대해 memory operation을 selectively bypass하는 lightweight framework).

💡 핵심 아이디어

LLM memory 시스템의 한정 budget을 사용자별로 다른 "저장 가치 있는 context"에 맞춰 분배해야 하며, session-level storage gating으로 transient session을 bypass하는 personalization은 perfect gating 하에 substantial retention gain을 제공하지만 정확한 gating 자체가 critical open challenge다.

🔬 기술적 접근법

**방법론**: PerMemBench 벤치마크 + session-level storage gating.
**핵심 기법**: (1) Multi-year·multi-domain interaction history를 diverse user persona로 큐레이션, (2) Personalized memory policy 학습 가능성을 첫 체계 평가, (3) Session-level storage gating — transient session 대해 memory operation 선택적 bypass, (4) Universal·static memory policy 대비 personalization gain 측정, (5) Perfect gating vs realistic gating의 격차 진단.

📊 주요 결과

PerMemBench: multi-year·multi-domain 페르소나 기반 첫 personalized memory 벤치마크.
Personalization이 perfect gating 하에 substantial retention gain 산출.
정확한 gating이 open·critical challenge로 남음.

💭 의의 및 한계

**의의**: Memory 시스템의 universal-static 가정 반박, personalization이라는 새 차원 도입, perfect gating의 substantial gain으로 잠재력 정량화, 첫 벤치마크로 분야의 evaluation 인프라 제공. **한계**: 정확한 gating 알고리즘 미해결, "perfect gating" 가정의 실용 적용 격차, multi-year·multi-domain 데이터 큐레이션의 일반화, abstract에 구체 수치 미포함.

🚀 실용적 활용

LLM 챗봇·assistant의 long-horizon memory.
사용자별 맞춤형 컨텍스트 관리.
Memory budget 최적화 전략.