OmniPack: Unified Token Compression for Efficient Omni-modal Large Language Models

Omni-modal large language models (Omni-LLMs) have achieved remarkable performance on audio-visual understanding tasks, but processing long and highly redundant visual and audio token sequences incurs substantial computational overhead, demanding aggressive token compression for efficient deployment. Existing methods often degrade at low token budgets: pre-LLM compression may discard structurally important and globally distributed evidence, whereas inner-LLM compression often underexploits query-conditioned audio-visual collaboration. To address these limitations, we propose OmniPack, a training-free framework that coordinates structural compression before the LLM with task-relevant semantic refinement within the LLM. Before the LLM, OmniPack removes structural redundancy through modality-specific importance, global coverage, and similarity-aware merging. After sufficient multimodal interaction, it further consolidates diverse, task-relevant representations through textual guidance and audio-visual collaboration. Extensive experiments on five benchmarks with three Omni-LLM backbones demonstrate that OmniPack consistently achieves the best performance-efficiency trade-off across diverse retention ratios, outperforming all existing methods. Notably, on Qwen2.5-Omni-7B, OmniPack preserves 98.0% of the original performance while reducing FLOPs to 16.7%, and still retains 92.9% of the original performance with only 6.8% of the original FLOPs.

한 줄 요약

OmniPack은 Omni-LLM에서 구조적 압축과 세미나틱 정제를 결합한 훈련 없이도 높은 효율성과 성능을 유지하는 토큰 압축 프레임워크이다.

핵심 기여도

기존 방법의 한계를 분석: pre-LLM 압축은 전역적 증거를 무시하고, inner-LLM 압축은 query-conditioned 협업을 활용하지 못함.
OmniPack: pre-LLM 압축에서 모달리티별 중요도, 전역 커버리지, 유사도 기반 병합을 적용.
inner-LLM 압축에서 텍스트 가이드와 오디오-비주얼 협업을 통한 세미나틱 정제.
Qwen2.5-Omni-7B에서 6.8% 토큰 비율로 92.9% 성능 유지, FLOPs 16.7%로 98.0% 성능 유지.

핵심 아이디어

기존 Omni-LLM 압축 방법은 토큰 예산이 낮아질수록 성능 저하가 심각한데, 이는 두 가지 주요 문제에서 기인한다. 첫째, pre-LLM 압축은 오디오-비주얼의 장거리 시공간 구조를 충분히 모델링하지 못해 전역적으로 분산된 증거를 무시한다. 둘째, inner-LLM 압축은 텍스트 가이드만 사용하며, 오디오-비주얼 간의 협업을 명시적으로 모델링하지 못한다. OmniPack은 이 두 단계를 분리하여 각각의 장점을 결합한다. pre-LLM 단계에서는 모달리티별 중요도, 전역 커버리지, 유사도 기반 병합을 통해 구조적 중복을 제거하고, inner-LLM 단계에서는 텍스트 가이드와 오디오-비주얼 협업을 통해 세미나틱 정제를 수행한다.

기술적 접근법

**pre-LLM 압축**: 모달리티별 중요도, 전역 커버리지, 유사도 기반 병합을 사용.
**inner-LLM 압축**: 텍스트 가이드와 오디오-비주얼 협업을 통해 세미나틱 정제.
**프레임워크 특징**: 훈련 없이도 적용 가능하며, 두 단계를 병렬적으로 조율.
**하이퍼파라미터**: 토큰 보존 비율 7.5%에서 FLOPs 10.0× 감소, prefill 속도 4.5× 향상.

주요 결과

Qwen2.5-Omni-7B에서 6.8% 토큰 비율로 92.9% 성능 유지, FLOPs 16.7%로 98.0% 성능 유지.
다중 Omni-LLM 백본과 5개 벤치마크에서 일관된 성능-효율성 균형 달성.
기존 방법 대비 7.5% 토큰 비율에서 4.5× prefill 속도 향상.

의의 및 한계

OmniPack은 Omni-LLM의 효율적 배포를 위한 새로운 프레임워크로, 구조적 압축과 세미나틱 정제를 결합함으로써 기존 방법의 한계를 극복한다. 특히, 훈련 없이도 적용 가능하며, 다양한 Omni-LLM과 벤치마크에서 일관된 성능을 보인다. 그러나, 토큰 비율이 매우 낮아질 경우 일부 세부 정보 손실이 발생할 수 있으며, 모달리티 간의 복잡한 상호작용을 완전히 포착하지 못할 가능성도 있다.

실용적 활용

OmniPack은 오디오-비주얼 이해를 요구하는 산업 분야, 예를 들어 스마트 홈, 자율주행, 멀티모달 챗봇 등에서 Omni-LLM의 실시간 처리를 가능하게 한다. 또한, 훈련 없이도 적용 가능하므로, 다양한 모델 아키텍처에 유연하게 활용할 수 있다.