ReflectWorld-MM: An Entity-Oriented Multimodal Memory System for Open-Ended Video Streams

Building assistants that can continually watch the world, remember what they see, and reason over their accumulated experience is a long-standing goal, and recently multimodal agents equipped with long-term memory over video streams have attracted increasing interest. Unfortunately, existing systems either keep their memory inside the model context or in a flat feature store, and organize it around frames rather than around the persistent entities a stream is really about, which confines them to bounded videos and weakens their ability to track who and what reappears over time. In this paper, we propose ReflectWorld-MM, an entity-oriented multimodal memory system for open-ended video streams. It consists of three parts. The first is a perception front-end that turns an audiovisual stream into entity-resolved observations under a bounded short-term memory. The second is a hierarchical long-term memory, grounded in human memory theory, that couples a multi-scale episodic memory, an evolving entity-centric semantic memory, and a procedural memory. The third is a complete realization, built for real-world operation, that ingests arbitrary streams and plugs into off-the-shelf assistants. Across six long-video and lifelong-memory benchmarks, ReflectWorld-MM achieves the best accuracy on all six, outperforming strong memory agents and a frontier model.

한 줄 요약

ReflectWorld-MM은 개방형 동영상 스트림을 위한 엔티티 중심 다중 모달 메모리 시스템으로, 6개의 장시간 동영상 벤치마크에서 최고 정확도를 달성했다.

핵심 기여도

엔티티 중심 다중 모달 메모리 시스템 ReflectWorld-MM을 제안.
장기 기억을 에피소드, 의미, 절차적 메모리로 분리한 계층적 구조를 제시.
M3-bench-robot에서 스키마 메모리 제거 시 정확도가 37.4 → 33.6로 감소함을 실험적으로 검증.
6개의 장시간 동영상 및 생애 기억 벤치마크에서 기존 메모리 에이전트와 최첨단 모델을 모두 초과.

핵심 아이디어

기존 시스템은 동영상 스트림의 메모리를 프레임 단위로 저장하거나 모델 내부에 암묵적으로 유지하는 방식을 사용해, 장기적으로 엔티티를 추적하는 능력이 제한적이었다. ReflectWorld-MM은 인간 기억 이론을 기반으로, 장기 메모리를 **에피소드**, **의미**, **절차적 메모리**로 구분하고, **엔티티 중심**으로 조직한다. 이는 장기적으로 누가 언제 나타났는지, 상황이 어떻게 변화했는지를 추적하는 데 핵심적이다.

특히, **perception front-end**에서 과거 정보(working memory, scene context, entity history)를 현재 스트림 해석에 통합함으로써, 단순히 추출 후 저장하는 방식이 아닌, **과거가 현재 인식에 참여하는** 새로운 접근법을 제시한다. 이는 장시간 스트림에서 일관된 엔티티 인식과 문맥 이해를 가능하게 한다.

기술적 접근법

ReflectWorld-MM은 세 가지 주요 구성 요소로 이루어진다:
1. **Perception Front-End**: 원시 스트림을 엔티티-해결 관찰로 변환.

Vision–Language 모델의 프롬프트에 **working memory**, **scene context**, **entity history**를 포함.
High-level 에이전트가 **scene understanding**을 프롬프트에 주입.

2. **Hierarchical Long-Term Memory**:

**Multi-scale episodic memory**: 엔티티, 트레이스, 스키마 수준에서 관찰 연결.
**Evolving entity-centric semantic memory**: 시간에 따라 엔티티 지식이 업데이트.
**Procedural memory**: 사용자 규칙 및 즉각적 응답을 위한 저장.

3. **Externalized Memory Service**:

데이터베이스 기반 서비스로, 임의의 동영상 소스와 오프-더-셰이프 에이전트와 연동.
Per-segment 비용이 제한되며, 인덱싱된 메모리 제공.

주요 결과

ReflectWorld-MM은 **6개의 장시간 동영상 및 생애 기억 벤치마크**에서 **모두 최고 정확도**를 달성.
**M3-bench-robot**에서 스키마 메모리 제거 시 정확도가 **37.4 → 33.6** 감소.
**EgoLife-QA**에서도 엔티티 연관성 및 의미 메모리 제거 시 정확도 하락.
**Answer-efficiency** 측면에서도 우수: 대부분의 답변이 **소스 동영상 재생 없이 구성된 메모리**에서 도출됨.

의의 및 한계

ReflectWorld-MM은 인간 기억 이론을 기반으로 한 첫 번째 **엔티티 중심 다중 모달 메모리 시스템**으로, 장기 동영상 스트림에서 지속적인 인식과 추론을 가능하게 한다. 특히, **에피소드-의미-절차적 메모리의 통합**은 기존 연구에서 결여되었던 학술적 기여로, 실용적으로는 **임의의 동영상 소스와 에이전트 시스템 연동**을 가능하게 한다.

그러나, 현재 시스템은 **엔티티 인식의 정확도에 의존**하며, 엔티티가 불확실하거나 오인식될 경우 메모리 구성에 오류가 발생할 수 있다. 또한, **모든 스트림을 외부 메모리에 저장**하는 방식은 저장 공간과 처리 속도에 제한이 있을 수 있다.

실용적 활용

ReflectWorld-MM은 **웨어러블 장치**, **가정용 로봇**, **스마트폰** 등에서 지속적인 환경 관찰과 기억 기반 추론이 필요한 시스템에 적용 가능하다. 특히, **실시간 감시**, **개인 맞춤형 서비스**, **지능형 가상 보조자** 등에서 장기 기억 기반의 인지 능력을 구현할 수 있다.