LycheeMemory V2: Efficient Long-Term Memory for LLM Agents via Semantic Segment-Level Consolidation

Long-horizon LLM agents must preserve information from past interactions to support future tasks. Existing memory systems typically rely on eager consolidation, invoking LLMs after each interaction to extract, summarize, or update memories. This design makes memory construction increasingly costly as conversations grow. Coarse summarization can reduce construction cost but risks discarding fine-grained contextual evidence, whereas larger retrieval contexts or multi-hop LLM reasoning shift the overhead to query time. We present LycheeMemory V2, an efficient long-term memory framework that replaces turn-level consolidation with semantic segment-level consolidation. Instead of consolidating every interaction, LycheeMemory batches multiple exchanges into segments and encodes each finalized segment into context-independent typed memory records. Segment-level batching lowers LLM encoding frequency, while semantic boundary detection helps preserve coherent event-level and temporal evidence compared with fixed-window batching. The resulting records are organized with lightweight structured indexes for query-planned evidence retrieval. Experiments using GPT-4.1-Mini show that LycheeMemory achieves state-of-the-art performance, reaching 89.22% on LoCoMo and 92.20% on LongMemEval-S. Compared with A-Mem, it reduces construction tokens by 86.0% on LoCoMo and 75.9% on LongMemEval-S without increasing query-time token usage. More broadly, our results suggest that the accuracy--cost trade-off of long-term agent memory depends not only on what information is retained, but also on the granularity at which it is consolidated.

한 줄 요약

LycheeMemory V2는 세그먼트 단위의 의미 기반 메모리 통합을 통해 LLM 에이전트의 장기 메모리 효율성을 획기적으로 개선한 시스템이다.

핵심 기여도

**세그먼트 단위 통합**(semantic segment-level consolidation)을 도입하여 턴 단위 통합 대신 LLM 인코딩 빈도를 줄임.
**LoCoMo** 데이터셋에서 89.22%, **LongMemEval-S**에서 92.20%의 정확도 달성.
**A-Mem** 대비 **LoCoMo**에서 86.0%, **LongMemEval-S**에서 75.9%의 생성 토큰 감소.
**구조화된 인덱스**(entity, topic, temporal, event-frame, entity-topic)를 사용한 다중 경로 추론 설계.

핵심 아이디어

기존 메모리 시스템은 턴 단위로 LLM을 호출하여 메모리 생성을 수행하지만, 이는 대화가 길어질수록 비용이 급증한다. LycheeMemory V2는 대화 흐름에 따라 의미적 경계를 감지하여 여러 턴을 하나의 **세그먼트**(segment)로 묶고, 이를 단일 LLM 호출로 통합한다. 이는 **LLM 인코딩 빈도를 줄이며 생성 비용을 절감**한다. 또한, **의미적 경계**(semantic boundary)를 기반으로 세그먼트를 구성함으로써 고정된 윈도우 방식보다 더 일관된 사건과 시간 정보를 보존한다. 생성된 메모리는 **context-independent typed memory records** 형태로 저장되며, **entity aliases, reference relations** 등을 포함해 세그먼트 간 일관성을 유지한다.

기술적 접근법

**Semantic segment-level consolidation**: 턴 단위 대신 의미적 경계를 기준으로 여러 턴을 하나의 세그먼트로 묶음.
**Typed memory records**: 각 세그먼트는 자연어 문장, 메모리 타입, 엔티티, 주제, 시간 범위, 원본 대화 참조 등을 포함한 구조화된 기록으로 저장됨.
**Structured indexes**: entity, topic, temporal, event-frame, entity-topic 인덱스를 사용해 쿼리 시 다중 경로 추론을 가능하게 함.
**Query-planned multi-route recall**: 사용자 질문을 분해하여 semantic memory, structured indexes, temporal indexes, raw turns에서 증거를 검색하고, reranking, fusion, diversity-aware selection을 수행.
**LLM 모델**: GPT-4.1-Mini 사용.
**하이퍼파라미터**: 세그먼트 경계 결정을 위한 threshold 값 조정 실험 수행 (Figure 5 참조).

주요 결과

**LoCoMo** 데이터셋에서 89.22% 정확도 달성 (A-Mem 대비 +20점 이상).
**LongMemEval-S**에서 92.20% 정확도 달성.
**A-Mem 대비 생성 토큰 감소**: LoCoMo에서 86.0%, LongMemEval-S에서 75.9%.
**쿼리 시간 토큰 사용량 증가 없이** 정확도 향상.
**A-Mem 대비 7.2× 적은 생성 토큰**으로 동일 또는 더 높은 성능 달성.

의의 및 한계

LycheeMemory V2는 장기 메모리 시스템의 **정확도-비용 트레이드오프**(accuracy–cost trade-off)를 개선하는 새로운 접근법을 제시한다. 기존 시스템은 메모리 생성 비용을 줄이기 위해 과도한 요약을 사용했지만, 이는 세부적인 증거를 잃게 했다. LycheeMemory는 **의미적 세그먼트 단위 통합**을 통해 이 문제를 해결하며, 구조화된 인덱스와 다중 경로 추론을 통해 쿼리 시간 비용도 통제한다. 그러나 현재는 **텍스트 기반 대화 QA**에만 적용되었으며, **멀티모달 메모리**나 **사용자 선호도 모델링** 등으로 확장하는 것이 필요하다. 또한, **세그먼트 경계 결정의 threshold 값**에 따라 성능이 변동할 수 있다는 한계도 존재한다.

실용적 활용

LycheeMemory V2는 **개인 비서, 고객 지원, 튜터링, 작업 지향 대화** 등 장기 대화를 요구하는 LLM 에이전트에 적합하다. 특히, **사용자 선호도 추적**, **시간 기반 추론**, **다중 세션 관리**가 필요한 상황에서 효율적인 메모리 관리가 요구되는 산업 분야에서 활용 가능하다.