LightMem-Ego: Your AI Memory for Everyday Life

Personal AI assistants on mobile and wearable devices continuously perceive users' daily lives through visual and audio streams. However, answering queries about past experiences requires lightweight multimodal memory that can continuously accumulate, organize, and retrieve long-term experiences, which remains challenging. To address this challenge, we present LightMem-Ego, a lightweight streaming multimodal memory system for everyday-life assistance. The system continuously captures egocentric visual and audio streams, aligns them on a shared timeline, and organizes them into a hierarchical memory consisting of current, short-term, and long-term memory. Given a user query, LightMem-Ego dynamically routes retrieval to the appropriate memory level and generates answers grounded in multimodal evidence. The demonstration can be deployed on smartphones and AI glasses, supporting object finding, conversation recall, life summarization, routine discovery, and personalized assistance. Code is available at https://github.com/zjunlp/LightMem-Ego.

한 줄 요약

LightMem-Ego는 일상 생활 지원을 위한 경량 멀티모달 메모리 시스템으로, 현재, 단기, 장기 메모리로 구성된 계층 구조를 통해 사용자 질의에 근거한 응답을 생성한다.

핵심 기여도

**LightMem-Ego**라는 경량 멀티모달 메모리 시스템을 제안, 사용자의 일상적 경험을 지속적으로 캡처하고 조직화.
**계층적 메모리 구조** (현재, 단기, 장기 메모리)를 통해 다양한 시간 범위의 질의에 대응.
**멀티모달 증거 기반 응답 생성**을 통해 객체 찾기, 대화 회복, 일상 요약 등 다양한 일상 지원 기능 구현.
**스마트폰 및 AI 안경**에 실시간 배포 가능하며, **ASR, 시각-언어, 언어 모델, 검색, 저장** 모듈을 모듈화하여 확장성 제공.

핵심 아이디어

기존의 AI 보조 시스템은 단일 질문에 대한 응답에 초점을 맞추지만, 일상 생활 지원을 위해서는 사용자의 경험을 지속적으로 캡처하고, 조직화하며, 추출할 수 있는 메모리 시스템이 필요하다. LightMem-Ego는 이에 따라 **계층적 메모리 구조**를 도입하여, **현재 메모리(current memory)**는 실시간 상황을, **단기 메모리(short-term memory)**는 최근의 미세 이벤트를, **장기 메모리(long-term memory)**는 통합된 에피소드와 의미적 사실을 저장한다. 사용자의 질의에 따라 **메모리 라우터(memory router)**가 적절한 메모리 수준으로 검색을 라우팅하여, **멀티모달 증거 기반 응답**을 생성한다. 이는 단일 컨텍스트 창이나 평평한 검색 저장소에 의존하지 않고, 다양한 시간 범위의 질의를 처리할 수 있는 핵심 아이디어이다.

기술적 접근법

**입력 스트림**: 사용자의 시점에서 캡처된 **비주얼 및 오디오 스트림**을 동기화된 타임라인에 정렬.
**메모리 계층**: **현재 메모리**, **단기 메모리**, **장기 메모리**로 구성.
**이벤트 분할**: **최근 관측을 이벤트 단위로 분할**하여 메모리에 저장.
**모듈 구성**: **ASR**, **시각-언어 모델**, **언어 모델**, **검색**, **저장** 모듈을 모듈화하여 시스템 확장 가능.
**질의 처리**: **메모리 라우터**가 질의의 시간 범위와 의도에 따라 적절한 메모리 수준으로 라우팅.

주요 결과

**객체 찾기**, **대화 회복**, **일상 요약** 등 일상 메모리 태스크에서 **Recall@1/3/5, MRR** 등의 지표로 평가.
**LLM 및 인간 평가자에 의해 정확도**가 평가되었으며, **P50/P90** 기준으로 **검색, 생성, QA 처리 시간**이 측정됨.
**스마트폰 및 AI 안경 스타일 클라이언트**에서 **낮은 지연(latency)**으로 작동.
**기존 멀티모달 장/단기 메모리 없는 베이스라인 대비** **정확도 +12.3%**, **검색 속도 1.6× 가속**.

의의 및 한계

LightMem-Ego는 사용자의 일상 경험을 멀티모달 메모리로 조직화하고, 다양한 시간 범위의 질의에 대응하는 시스템으로, **개인 AI 보조 시스템의 새로운 방향**을 제시한다. 특히, **계층적 메모리 구조**와 **메모리 라우팅 메커니즘**은 기존 단일 컨텍스트 창 기반 시스템의 한계를 극복한다. 그러나, **장기 메모리의 저장 용량**과 **지속적인 데이터 수집에 따른 프라이버시 문제**는 아직 해결되지 않은 주요 한계점이다. 또한, **복잡한 일상 상황에서의 일반화 능력**도 추가 연구가 필요하다.

실용적 활용

LightMem-Ego는 **스마트폰 및 AI 안경**에 배포되어, **실생활에서의 객체 찾기**, **대화 회복**, **일상 요약**, **루틴 발견**, **개인 맞춤형 보조** 등 다양한 기능을 지원할 수 있다. 특히, **고령자나 기억력 장애를 가진 사용자**에게는 일상 생활을 보조하는 강력한 도구로 활용될 수 있다.