Light-Omni: Reflex over Reasoning in Agentic Video Understanding with Long-Term Memory

Agentic video understanding equips models with long-term memory to autonomously process and respond to continuous, long-horizon multimodal streams. However, advanced video agents often rely on ``detective-style'' iterative reasoning for action control (e.g., $\mathtt{search}$) and evidence aggregation, incurring prohibitive costs and latency. We argue that such heavy reasoning primarily compensates for the lack of global context and semantic misalignment in retrieval. This paper introduces Light-Omni, a multimodal agent framework for reflexive and lightweight video understanding. It achieves this through dual contextual states that instantly build the required context in a single forward pass. First, we maintain a global state, a finite-sized multimodal script continuously consolidated from episodic memory, serving as the global context for Light-Omni. Through hierarchical merging, it preserves recent details while summarizing past events. Second, conditioned on this global context, we generate a parametric latent state that directly drives autonomous actions and produces retrieval embeddings, with minimal latency. Benefiting from this coupled design, Light-Omni achieves semantically aligned retrieval and reflexive responses while avoiding iterative reasoning. Extensive experiments validate the effectiveness of Light-Omni across multiple video benchmarks. Notably, it outperforms M3-Agent with an average 2.4% accuracy gain, a 12.1$\times$ speedup, and a 2.6$\times$ improvement in GPU memory efficiency. Furthermore, it serves as a memory system to enhance both the performance and efficiency of existing MLLMs. Project page: https://clare-nie.github.io/Light-Omni.

한 줄 요약

Light-Omni는 장기 기억을 활용한 비디오 이해를 위해 반사적이고 경량화된 이중 컨텍스트 상태를 도입한 다중모달 에이전트 프레임워크이다.

핵심 기여도

이중 컨텍스트 상태(Global State + Latent State)를 도입하여 반사적 응답과 정확한 검색을 동시에 달성.
M3-Agent 대비 2.4% 정확도 향상, 12.1× 속도 향상, 2.6× GPU 메모리 효율 개선.
기존 MLLMs에 통합 가능한 일반적인 메모리 시스템으로 활용 가능.
Qwen2.5-Omni-7B 대비 9.5% 정확도 향상, 20.5× 속도 향상, 3.3× GPU 메모리 절감.

핵심 아이디어

기존 비디오 에이전트는 반복적 추론을 통해 행동 제어와 증거 수집을 수행하지만, 이는 높은 비용과 지연을 유발한다. 이는 주로 글로벌 컨텍스트 부족과 검색 시 의미적 불일치에서 비롯된다고 주장된다. Light-Omni는 이 문제를 해결하기 위해 단일 순방향 패스에서 필요한 컨텍스트를 즉시 구축하는 이중 컨텍스트 상태를 도입한다.

첫 번째는 **Global State**로, 에피소드 메모리에서 지속적으로 통합된 유한 크기의 다중모달 스크립트이다. 계층적 병합을 통해 최근 세부사항을 유지하면서 과거 사건을 요약한다. 두 번째는 **Latent State**로, 글로벌 컨텍스트를 조건으로 하여 자율적 행동을 직접 제어하고, 검색 임베딩을 생성한다. 이는 반복적 추론 없이 의미적으로 정렬된 검색과 반사적 응답을 가능하게 한다.

기술적 접근법

**Global State (𝒮g)**: 에피소드 메모리에서 지속적으로 통합된 다중모달 스크립트.
계층적 병합을 통해 최근 (visual, auditory, interactive) 관찰과 장기 컨텍스트를 유지.
**Latent State (𝒮l)**: 글로벌 컨텍스트를 조건으로 하여 행동 제어 및 검색 임베딩을 생성.
task-specific heads (예: speech, search)를 통해 반사적 행동을 수행.
**Backbone 모델**: Qwen2.5-Omni-7B 사용.
**임베딩**: Qwen3-Embedding-0.6B를 기본 dense retriever로 사용.
**하이퍼파라미터**: λ = 2 (Eq. 4).
**검색 수**: 12개의 semantic, 4개의 episodic 메모리 항목.

주요 결과

**VideoMME-long**에서 Global State (𝒮g)는 Vanilla 대비 2.99%, Uniform 대비 1.99% 정확도 향상 (66.10%).
**LVBench**에서 Latent State (𝒮l)는 Text emb. 대비 5.81% 향상, Latent emb. 대비 3.42% 향상 (49.90%).
M3-Agent 대비 2.4% 정확도 향상, 12.1× 속도 향상, 2.6× GPU 메모리 절감.
Qwen2.5-Omni-7B 대비 9.5% 정확도 향상, 20.5× 속도 향상, 3.3× GPU 메모리 절감.

의의 및 한계

Light-Omni는 반복적 추론 없이 반사적 행동과 정확한 검색을 가능하게 하여, 장기 비디오 스트림 처리의 효율성을 크게 향상시킨다. 이는 기존 MLLMs의 메모리 한계를 보완하고, 실시간 응답이 필요한 상황에서 유용하다. 특히, 이중 컨텍스트 상태는 의미적 간극을 줄이고, 노이즈가 있는 입력에서도 안정적인 검색을 가능하게 한다.

그러나, 이 연구는 특정 비디오 벤치마크에서만 평가되었으며, 다른 다중모달 태스크에서의 일반화 가능성은 명시되지 않았다. 또한, Global State의 계층적 병합 방식이 복잡한 장기 템포럴 의존성을 효과적으로 포착하지만, 병합 전략의 최적화 여지가 남아 있다.

실용적 활용

Light-Omni는 장기 비디오 분석, 실시간 멀티모달 대화 시스템, 또는 메모리 기반 에이전트 개발에 활용될 수 있다. 특히, 기존 MLLMs의 메모리 시스템으로 통합되어, 비디오 이해 및 대화 응답의 효율성과 정확도를 동시에 향상시킬 수 있다.