MA-LMM: Memory-Augmented Large Multimodal Model for Long-Term Video Understanding

With the success of large language models (LLMs), integrating the vision model into LLMs to build vision-language foundation models has gained much more interest recently. However, existing LLM-based large multimodal models (e.g., Video-LLaMA, VideoChat) can only take in a limited number of frames for short video understanding. In this study, we mainly focus on designing an efficient and effective model for long-term video understanding. Instead of trying to process more frames simultaneously like most existing work, we propose to process videos in an online manner and store past video information in a memory bank. This allows our model to reference historical video content for long-term analysis without exceeding LLMs' context length constraints or GPU memory limits. Our memory bank can be seamlessly integrated into current multimodal LLMs in an off-the-shelf manner. We conduct extensive experiments on various video understanding tasks, such as long-video understanding, video question answering, and video captioning, and our model can achieve state-of-the-art performances across multiple datasets.

한 줄 요약

MA-LMM은 장기 동영상 이해를 위해 메모리 은행을 도입한 오프라인 방식의 대규모 멀티모달 모델이다.

핵심 기여도

장기 동영상 이해를 위해 **메모리 은행**(memory bank)을 도입하여 기존 LLM의 컨텍스트 길이와 GPU 메모리 제약을 해결.
**MA-LMM**은 기존 멀티모달 모델에 **오프더셰프**(off-the-shelf) 방식으로 통합 가능.
**LVU, Breakfast, COIN** 데이터셋에서 각각 14.7%, 18.4%, 20.9% 성능 향상.
**메모리 은행 압축**(MBC) 알고리즘을 통해 장기 동영상의 시간적 중복을 2.8~4.5% 개선.

핵심 아이디어

기존 멀티모달 모델은 동영상의 프레임 수가 제한되어 장기 동영상 처리에 어려움이 있다. MA-LMM은 이 문제를 해결하기 위해 **온라인 처리**(online processing) 방식을 도입하여 프레임을 순차적으로 처리하고, 과거 정보를 **메모리 은행**에 저장한다. 이 메모리는 Q-Former의 **key-value** 역할을 하며, **auto-regressive 방식**으로 과거 정보를 집계하여 시간적 맥락을 유지한다.

기존 방법은 프레임을 동시에 처리하거나 평균 풀링을 사용해 시간 정보를 잃는 반면, MA-LMM은 **시간적 중복**(temporal redundancy)을 줄이면서 모든 정보를 보존하는 **메모리 은행 압축**(MBC) 알고리즘을 제안한다. 이는 **10~20개의 메모리 길이**만으로도 성능이 포화되는 현상을 통해 그 효과가 입증된다.

기술적 접근법

**모델 구성**: 시각 인코더, Q-Former, LLM으로 구성.
**메모리 은행**: 과거 프레임의 시각 특징을 저장하고, Q-Former의 **key-value**로 활용.
**온라인 처리**: 프레임을 순차적으로 처리하여 GPU 메모리 사용량을 줄임.
**메모리 은행 압축**(MBC): 유사한 인접 프레임 특징을 선택 및 평균화하여 **시간적 중복** 제거.
**하이퍼파라미터**: 100개 프레임 입력 시, Q-Former는 32개 텍스트 토큰을 생성. MBC는 메모리 길이를 10~20개로 유지.

주요 결과

**LVU** 데이터셋에서 14.7% 성능 향상 (기존 대비).
**Breakfast** 데이터셋에서 18.4% 성능 향상.
**COIN** 데이터셋에서 20.9% 성능 향상.
**MBC**는 FIFO 대비 1.7~4.5% 정확도 개선.
**ActivityNet** 및 **LVU**에서 각각 7.3% 및 9.2% 성능 향상 (오프더셰프 평가).

의의 및 한계

MA-LMM은 기존 멀티모달 모델에 **오프더셰프 방식**으로 장기 시간 모델링 기능을 추가할 수 있는 **플러그 앤 플레이**(plug-and-play) 모듈을 제공한다. 이는 GPU 메모리 사용량을 줄이고, LLM의 컨텍스트 길이 제약을 해결하며, 다양한 동영상 이해 작업에서 **최고 성능**(SOTA)을 달성한다.

하지만, 메모리 은행의 길이가 너무 짧으면 정보 손실이 발생할 수 있으며, 특정 데이터셋에서만의 성능 향상이 나타나는 경우도 있다. 또한, **Vicuna-7B**가 **FlanT5-XL**보다 약간 우수한 성능을 보이는 점은 언어 모델 선택에 따른 성능 차이를 시사한다.

실용적 활용

MA-LMM은 영화, 드라마, 라이브 스트리밍 등 **장기 동영상 분석**에 적합하며, **동영상 질문 답변**, **캡셔닝**, **행동 인식** 등 다양한 멀티모달 작업에 적용 가능하다. 특히, GPU 메모리가 제한된 환경에서 **효율적인 장기 시간 모델링**이 필요한 산업 분야에 유용하다.