GateMem: Benchmarking Memory Governance in Multi-Principal Shared-Memory Agents

Memory benchmarks for LLM agents largely assume single-user settings, leaving shared assistants for hospitals, workplaces, campuses, and households understudied. In these deployments, multiple principals write to a common memory pool and query it under different roles, scopes, and relationships, so memory quality requires governance as well as recall. We introduce GateMem, a benchmark for multi-principal shared-memory agents. GateMem jointly evaluates utility for legitimate long-horizon requests with state updates, access control across contextual authorization boundaries, and agent-facing active forgetting after explicit deletion requests. It spans medical, office, education, and household domains, with long-form multi-party episodes, incremental memory injection, hidden checkpoints, structured judging, and leak-target annotations. Across diverse baselines and backbone models, no method simultaneously achieves strong utility, robust access control, and reliable forgetting. Long-context prompting often yields the best governance score at high token cost, while retrieval-based and external-memory methods reduce cost yet still leak unauthorized or deleted information. These results show current memory agents remain far from reliable shared institutional deployment.

한 줄 요약

GateMem은 다중 주체가 공유 메모리를 사용하는 대형 언어 모델 에이전트의 메모리 거버넌스를 평가하는 벤치마크이다.

핵심 기여도

GateMem이라는 새로운 벤치마크를 제안하여 다중 주체 공유 메모리 에이전트의 거버넌스를 평가.
유틸리티, 접근 제어, 삭제 후 잊기(Active Forgetting)를 동시에 평가하는 다중 지표 평가 프레임워크 구축.
의료, 사무, 교육, 가정 4개 도메인에서 긴 텍스트를 포함한 다당 사례를 사용.
다양한 베이스라인과 백본 모델에서 메모리 거버넌스의 한계를 실증적으로 분석.

핵심 아이디어

기존 메모리 벤치마크는 단일 사용자 중심이며, 복수 주체가 공유 메모리를 사용하는 상황은 연구 부족. GateMem은 공유 메모리에서 각 주체의 권한, 역할, 관계에 따라 메모리에 접근하고 업데이트하는 능력을 평가한다. 특히, 삭제 요청 후 정보가 제거되는지(Active Forgetting)를 평가하는 점이 핵심이다. 이는 기존 연구에서 다루지 않았던 메모리 거버넌스의 신뢰성 문제를 직접적으로 다룬다.

기술적 접근법

GateMem은 4개 도메인(의료, 사무, 교육, 가정)에서 긴 텍스트를 포함한 다당 에피소드를 사용.
메모리 주입, 히든 체크포인트, 구조화된 평가, 유출 타겟 주석 등 다양한 평가 기법을 포함.
평가 항목: 유틸리티(장기 요청 처리), 접근 제어(권한 경계), Active Forgetting(삭제 후 정보 유출 방지).
다양한 백본 모델과 기존 메모리 기반 접근법(검색 기반, 외부 메모리)을 비교 평가.

주요 결과

어떤 방법도 높은 유틸리티, 강력한 접근 제어, 신뢰성 있는 잊기(Active Forgetting)를 동시에 달성하지 못함.
장문 프롬프팅(Long-context prompting)은 거버넌스 점수가 높지만 토큰 비용이 큼.
검색 기반 및 외부 메모리 방법은 비용을 줄이지만, 비인가 정보 또는 삭제 정보가 유출되는 문제가 있음.
GateMem 데이터셋에서 Active Forgetting 성능은 대부분의 모델에서 70% 미만으로 나타남.

의의 및 한계

GateMem은 공유 메모리 에이전트의 신뢰성과 거버넌스를 평가하는 첫 번째 벤치마크로, 의료, 교육 등 기관 내 공동 사용 시나리오에서의 적용 가능성을 탐색한다. 그러나 현재 모델은 삭제 정보를 완전히 제거하지 못하는 한계가 있으며, 이는 메모리 기반 에이전트의 실용적 배포를 저해한다. 또한, GateMem은 특정 도메인에만 국한되지 않지만, 각 도메인의 문화적, 법적 특성 반영은 추가 연구가 필요하다.

실용적 활용

GateMem은 병원, 교육 기관, 사무실 등 다중 주체가 공유 메모리를 사용하는 시스템에서 에이전트 신뢰도를 평가하는 데 활용 가능하다. 특히, 개인정보 보호 및 접근 제어가 중요한 환경에서 메모리 거버넌스를 개선하는 데 기초 자료로 사용될 수 있다.