Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding

Streaming video understanding requires multimodal large language models (MLLMs) to process continuous visual inputs and respond to user queries under strict causality and bounded memory. Existing approaches typically compress historical observations into an external memory bank and retrieve query-relevant evidence as additional visual context. Though effective, this store-and-retrieve paradigm keeps historical evidence as external visual context, preventing it from being internalized into a compact, evolving latent memory that can continuously guide streaming reasoning. To bridge this gap, we introduce LatentStream, a progressive latent working memory framework that shifts streaming memory from store-and-retrieve to retrieve-and-internalize. Specifically, LatentStream comprises three coordinated components. First, Query-agnostic Hierarchical Streaming Memory organizes visual history into short-, mid-, and long-term levels under a fixed memory budget through Jenks-guided adaptive consolidation. Once a query arrives, Hierarchical Latent Memory Evolution equips groups of latent memory tokens with progressively expanding memory receptive fields, enabling them to iteratively retrieve historical evidence from their corresponding scopes and internalize it into a compact, fixed-length latent memory. Finally, Progressive Confidence-guided Latent Memory Optimization constructs a hierarchical progression reward from group-wise predictive entropy and jointly refines the latent memory tokens and retrieved evidence, encouraging increasingly confident streaming reasoning. Extensive experiments demonstrate that LatentStream achieves new state-of-the-art results on existing online and offline video benchmarks.

한 줄 요약

LatentStream은 스트리밍 영상 이해를 위해 내재적 잠재 메모리 진화를 통해 기존의 저장-검색 패러다임을 극복하는 프레임워크로, 다양한 벤치마크에서 최신 성능을 달성한다.

핵심 기여도

Query-agnostic Hierarchical Streaming Memory (HSM)를 도입하여 단기, 중기, 장기 메모리로 시각 정보를 구조화하고, Jenks-guided adaptive consolidation을 통해 정보를 효율적으로 압축.
Hierarchical Latent Memory Evolution (HME)를 통해 잠재 메모리 토큰이 점진적으로 확장된 메모리 수용 범위에서 과거 정보를 검색하고 내재화.
Progressive Confidence-guided Latent Memory Optimization (PMO)를 통해 그룹별 예측 엔트로피를 기반으로 신뢰도 향상 목표를 정의, 잠재 메모리와 검색된 증거를 동시에 최적화.
OVO-Bench에서 64.2%, StreamingBench에서 76.9%의 최신 성능 달성.

핵심 아이디어

기존 스트리밍 영상 이해 모델은 외부 메모리에서 과거 정보를 검색하여 추가적인 시각 컨텍스트로 제공하지만, 이를 모델 내부의 잠재 공간에 내재화하지 못하여 효율성과 연속성에 한계가 있었다. LatentStream은 이 문제를 해결하기 위해 ‘retrieve-and-internalize’ 패러다임을 제안한다. 이는 외부 메모리에서 검색된 정보를 단순히 추가하는 것이 아니라, 잠재 메모리 토큰(LMT)을 통해 점진적으로 내재화하고, 이를 기반으로 다음 단계의 검색과 추론을 지속적으로 유도하는 방식이다. 특히, HME를 통해 LMT가 단계적으로 확장된 수용 범위에서 과거 정보를 검색하고, PMO를 통해 그룹별 예측 엔트로피를 기반으로 신뢰도 향상을 유도함으로써, 모델이 점점 더 정확하고 안정적인 추론을 수행하도록 유도한다.

기술적 접근법

**Query-agnostic Hierarchical Streaming Memory (HSM)**: 시각 토큰을 단기(8프레임), 중기(64프레임), 장기(전체 2048 토큰) 메모리로 구분. Jenks-guided adaptive consolidation을 통해 시간적·공간적 중복을 줄이며 정보를 효율적으로 압축.
**Hierarchical Latent Memory Evolution (HME)**: LMT 3개 그룹(단기, 중기, 장기)이 점진적으로 확장된 수용 범위에서 과거 정보를 검색하고, 이를 내재화. 각 그룹은 2개의 LMT를 사용하며, 4회 반복(iteration) 동안 8개의 시각 후보 패치를 주입.
**Progressive Confidence-guided Latent Memory Optimization (PMO)**: 그룹별 예측 엔트로피(ℰ)를 기반으로 계층적 신뢰도 향상 보상(ℰₛ > ℰₘ > ℰₗ)을 정의. LMT와 검색된 시각 토큰 임베딩을 테스트 타임 최적화.
**하이퍼파라미터**: 학습률 1×10⁻³, 가우시안 퍼트urbation 스케일 10%, 최대 4회 반복.

주요 결과

**OVO-Bench**: 64.2% (기존 기반 모델 대비 +10.2%)
**StreamingBench**: 76.9%
**VideoMME**: 66.6%
**MLVU**: 74.0%
**LongVideoBench**: 62.1%
HSM, PMO, HME의 각 성분이 독립적으로 성능을 개선하며, 전체 모델은 기존 기반 모델 대비 최대 10.2% 개선.

의의 및 한계

LatentStream은 외부 메모리에 의존하는 기존 스트리밍 영상 이해 모델의 한계를 극복하고, 모델 내부의 잠재 공간에 과거 정보를 내재화함으로써 더 효율적이고 연속적인 추론이 가능하도록 한다. 특히, HME와 PMO를 통해 검색-내재화의 반복적 상호작용을 구현하여, 스트리밍 환경에서의 추론 신뢰도를 향상시키는 데 기여한다. 그러나, LatentStream은 테스트 타임 최적화를 통해 LMT를 조정하지만, 모델 파라미터는 수정하지 않아, 학습 단계에서의 적응성은 제한된다. 또한, 장기 메모리의 압축 전략(Jenks-guided)이 특정 유형의 영상에서는 정보 손실을 유발할 수 있다.

실용적 활용

LatentStream은 실시간 영상 분석이 필요한 산업, 예를 들어 자율주행, 스마트 글래스, 로봇 시스템 등에 적용 가능하다. 특히, 연속적인 영상 스트림에서 과거 정보를 효율적으로 관리하고, 신뢰도 높은 추론을 지속적으로 수행해야 하는 상황에서 유용하다.