VoiceMem: Streaming Dual-Brain Memory for Real-Time Interaction

Conversational systems, such as duplex speech language models (SLMs), still lack a streaming, accurate, and empathetic memory system as their soul. We introduce VoiceMem, a simple memory architecture with a parallel informational left brain, an emotional right brain, and streaming memory I/O mechanisms. We further build a complete pipeline for memory-aware SLM training, long-horizon evaluation, and decoupled deployment with interchangeable memory backends. Experiments and real-world deployment show three advantages: i) Accuracy: under top-5 retrieval, the left brain outperforms classical systems such as Mem0 at top-200 by nearly 30 points; ii) Emotional & Personal: the right brain, with short- and long-horizon affective attribution and dual-node persona modeling, achieves state-of-the-art performance across three persona benchmarks and improves the aggregate score by 4.29 points over the previous best system; and iii) Real-Time & Cheap: VoiceMem completes retrieval in 134 ms, well within standard VAD latency, adding no extra conversational delay while maintaining high accuracy and low cost. These results show that VoiceMem provides a practical memory foundation for real-time, personalized, and emotionally aware speech interaction.

한 줄 요약

VoiceMem은 실시간 음성 대화 시스템에 정보와 감정 메모리를 결합한 스트리밍 듀얼 브레인 메모리 프레임워크이다.

핵심 기여도

**정확도 향상**: top-5 검색에서 Mem0 대비 약 30점 개선 (LoCoMo 기준 91.2, 430 메모리 토큰, 134ms 검색 시간).
**감정 및 개인화 성능**: 세 개의 퍼스она 벤치마크에서 이전 최고 시스템 대비 1.89점 개선.
**실시간 및 저비용**: 134ms 검색 시간으로 표준 VAD 지연 내 수행, 추가 대화 지연 없이 정확도 유지.
**모듈성 및 확장성**: 인터체인지 가능한 메모리 백엔드를 지원하는 독립적 프레임워크 구축.

핵심 아이디어

VoiceMem은 정보와 감정을 병렬적으로 처리하는 듀얼 브레인 아키텍처를 제안한다. **왼쪽 브레인(left brain)** 은 정보를 관리하는 **schema–entity 구조**를 사용하며, **schema emergence 메커니즘**을 통해 장기적으로 정밀도를 유지하면서 메모리 스키마 수를 조절한다. **오른쪽 브레인(right brain)** 은 독립 노드와 **cross-entity 노드**를 통해 감정과 퍼스она를 모델링하며, **단기 및 장기 감정 속성 부여**를 통해 복잡한 인간 감정을 반영한다. **4단계 스트리밍 메모리 쿼리**는 VAD 지연 내에서 검색을 완료하여 실시간 성능을 보장한다.

기술적 접근법

**왼쪽 브레인**: schema–entity 구조로 메모리 항목 관리 및 랭킹 단계의 정보 밀도 증가.
**오른쪽 브레인**: 감정 및 퍼스она를 위한 독립 노드와 cross-entity 노드, 단기/장기 감정 속성 부여.
**4단계 스트리밍 쿼리**: 실시간 검색을 위해 VAD 지연 내 수행.
**SLM-verified blackbox OPD**: 모델 잊음을 방지하기 위한 학습 루프 (memory-world construction, online correction, post-verification).
**ChatMem-400k**: 학습용 데이터셋, ChatMem-Bench: 4차원 (정보, 퍼스она, 감정 속성, 부언어/환경) 평가 벤치마크.
**graph-on-graph 프레임워크**: 상위 레이어는 관리 및 스트리밍, 하위 레이어는 독립적 (Mem0 사용).

주요 결과

**LoCoMo 데이터셋**: top-5 검색에서 91.2 (430 메모리 토큰, 134ms) → EverMemOS 대비 +8.1점, Mem0 대비 +28.1점.
**ChatMem-Bench**: 퍼스나 메모리에서 이전 최고 시스템 대비 +1.89점.
**Memora**: 장기 음성 메모리에서 +27.4점.
**인덱스 이식성**: 3개 백엔드에서 15.8–29.5점 개선.

의의 및 한계

VoiceMem은 실시간 음성 대화 시스템에 정확하고 감정적으로 민감한 메모리를 제공하며, 기존 시스템 대비 훨씬 낮은 지연과 토큰 수로 높은 성능을 달성한다. 특히, **schema emergence**와 **cross-entity 노드**는 정보와 감정의 복합성을 효과적으로 모델링한다. 그러나, **인덱스의 이식성은 백엔드 품질에 의존**하며, 일부 데이터셋에서는 개선 폭이 제한적일 수 있다. 또한, **감정 모델링의 복잡성**은 추가적인 연구가 필요하다.

실용적 활용

VoiceMem은 실시간 음성 비서, 감정 인식 기반 고객 서비스, 개인화된 교육 음성 시스템 등에 적용 가능하다. 특히, **저비용·저지연**의 메모리 기반 대화를 요구하는 산업에서 유용하며, **SLM 기반 대화 모델**과의 통합이 용이하다.