mPLUG-Owl3: Towards Long Image-Sequence Understanding in Multi-Modal Large Language Models

Multi-modal Large Language Models (MLLMs) have demonstrated remarkable capabilities in executing instructions for a variety of single-image tasks. Despite this progress, significant challenges remain in modeling long image sequences. In this work, we introduce the versatile multi-modal large language model, mPLUG-Owl3, which enhances the capability for long image-sequence understanding in scenarios that incorporate retrieved image-text knowledge, interleaved image-text, and lengthy videos. Specifically, we propose novel hyper attention blocks to efficiently integrate vision and language into a common language-guided semantic space, thereby facilitating the processing of extended multi-image scenarios. Extensive experimental results suggest that mPLUG-Owl3 achieves state-of-the-art performance among models with a similar size on single-image, multi-image, and video benchmarks. Moreover, we propose a challenging long visual sequence evaluation named Distractor Resistance to assess the ability of models to maintain focus amidst distractions. Finally, with the proposed architecture, mPLUG-Owl3 demonstrates outstanding performance on ultra-long visual sequence inputs. We hope that mPLUG-Owl3 can contribute to the development of more efficient and powerful multimodal large language models.

한 줄 요약

mPLUG-Owl3는 초장 이미지 시퀀스를 처리하는 다중 모달 대형 언어 모델로, Hyper Attention을 도입해 시각-언어 통합 성능을 향상시킨다.

핵심 기여도

Hyper Attention 블록을 도입하여 시각-언어 세마틱스를 효율적으로 정렬.
Distractor Resistance라는 새로운 평가셋을 제안, 초장 이미지 시퀀스에서의 집중력 평가 가능.
20개 벤치마크에서 동일 크기 모델 중 14개에서 최고 성능 달성.
기존 모델 대비 추론 지연과 메모리 사용량 증가 문제를 완화.

핵심 아이디어

기존 모델은 이미지 시퀀스를 처리할 때 시각 정보의 세부 정보를 잃거나, 추론 효율성이 낮아지는 문제가 있었다. 예를 들어, LLAVA-Next-Interleave와 Mantis는 시각 피처를 텍스트 시퀀스에 직접 삽입하여 추론 지연과 메모리 사용량이 급증했고, Flamingo는 Perceiver와 cross-attention을 사용해 계산 비용을 줄였지만 세부 시각 정보를 잃는 문제가 있었다. mPLUG-Owl3는 이러한 문제를 해결하기 위해 Hyper Attention이라는 새로운 블록을 도입했다. 이는 트랜스포머 블록 내에서 self-attention과 병렬로 cross-attention을 수행하며, 텍스트 세마틱에 기반해 긴 시각 시퀀스에서 필요한 정보를 선택적으로 추출한다. 이는 언어 모델이 부족한 시각 정보를 보완할 수 있도록 해준다.

기술적 접근법

**Hyper Attention 블록**: 트랜스포머 블록 내에서 self-attention과 병렬로 cross-attention을 수행.
**Qwen1.5 7B** 언어 모델을 사용.
**LLaVA-1.5**의 학습 방법과 동일한 데이터셋을 사용해 아블레이션 연구 수행.
**GQA, TextVQA (OCR 포함)** 데이터셋을 사용해 단일 이미지 이해 능력 평가.
**MvBench, VideoMME, NLVR2, Mantis-Eval**에서 zero-shot 평가를 통해 다중 이미지 및 비디오 이해 능력 평가.

주요 결과

**20개 벤치마크**에서 동일 크기 모델 중 **14개에서 최고 성능** 달성.
**Distractor Resistance** 평가에서 초장 시각 시퀀스 처리 능력 우수.
**추론 효율성** 측면에서 기존 모델 대비 **메모리 사용량과 지연 감소** 관찰.
**NLVR2**에서 **92.1% 정확도**, **Mantis-Eval**에서 **89.3% 정확도** 달성.

의의 및 한계

mPLUG-Owl3는 시각-언어 통합을 효율적으로 수행하는 새로운 Hyper Attention 구조를 제안하며, 초장 이미지 시퀀스 처리 능력을 강화한 점에서 학술적·실용적 가치가 있다. 특히, Distractor Resistance 평가셋은 모델의 집중력 평가에 기여하며, 향후 연구의 기준이 될 수 있다. 다만, 초장 시퀀스 처리에 대한 구체적인 최대 길이나, 다양한 언어/문화적 배경에서의 일반화 능력은 명시되지 않았으며, 추가 실험과 검증이 필요하다.

실용적 활용

mPLUG-Owl3는 멀티미디어 콘텐츠 분석, 비디오 요약, 멀티모달 RAG 시스템, 멀티이미지 QA 등 다양한 산업 및 연구 분야에서 활용 가능하다. 특히, 긴 시각 시퀀스를 처리해야 하는 의료 영상 분석, 보안 감시, 자동차 운전 지원 시스템 등에서 실용적 가치가 높다.