An AI4AI Framework for Visual Token Pruning

Visual-token pruning can substantially reduce the inference cost of multimodal large language models (MLLMs), yet existing methods largely rely on fixed, handcrafted heuristics and costly expert trial and error. As pruning objectives, budgets, and model architectures diversify, manually navigating the expanding design space becomes increasingly difficult. This paper aims to build an AI4AI framework for visual-token pruning by addressing a natural question: Can large language models automatically design effective visual-token reduction algorithms? Although LLMs possess broad algorithmic knowledge and strong reasoning capabilities, translating such general knowledge into effective solutions for a specialized task remains nontrivial. We argue that the key lies in designing an appropriate search-state representation that connects the internal knowledge of LLMs with the structural requirements and constraints of visual-token pruning. Based on this insight, we propose AutoPrune, a training-free framework for LLM-driven visual-token pruning policy design. At its core, AutoPrune introduces a Token Pruning Domain-Specific Language (TPDSL) comprising 131 reusable atoms for budget control, token scoring, selection constraints, and token reassembly. A key property of TPDSL is that it represents each search state as a residual modification of a strong base policy. This residual formulation narrows the search space and directs the LLM's attention toward the policy components that are most consequential for performance. Experiments on 14 multimodal benchmarks and three MLLM backbones demonstrate the effectiveness, efficiency, and transferability of AutoPrune. Even when removing 94.4% of visual tokens, AutoPrune preserves more than 99% of full-token performance while reducing FLOPs by 9.9x and prefill latency by 6.4x.

한 줄 요약

AutoPrune는 LLM 기반의 시각 토큰 정제 정책을 설계하는 AI4AI 프레임워크로, 94.4%의 토큰 제거에도 99% 이상의 성능을 유지한다.

핵심 기여도

AutoPrune는 131개의 재사용 가능한 TPDSL 원자로 구성된 도메인 전용 언어를 도입하여 토큰 정제 정책을 설계함.
기존 정책을 기반으로 잔차 수정(residual modification)을 통해 탐색 공간을 좁히고, LLM의 주의를 성능에 중요한 요소에 집중시킴.
14개의 multimodal 벤치마크와 3개의 MLLM 백본에서 평가하여, 9.9× FLOPs 감소와 6.4× prefill latency 감소를 달성함.
토큰 예산과 MLLM 아키텍처 간의 이전(cross-budget, cross-backbone transfer)이 가능함.

핵심 아이디어

기존 시각 토큰 정제는 수작업 기반의 휴리스틱에 의존하며, 다양한 목표와 예산에 따라 수동 설계가 어려운 문제였다. AutoPrune는 LLM이 직접 효과적인 정제 알고리즘을 설계할 수 있는지라는 질문에서 출발한다. LLM은 알고리즘 지식이 풍부하지만, 이를 특정 작업에 적용하는 것은 쉽지 않다. 이에 AutoPrune은 LLM의 내재 지식과 토큰 정제의 구조적 요구사항을 연결할 수 있는 적절한 탐색 상태 표현(search-state representation)을 설계하는 것이 핵심이다.

AutoPrune은 기존 강력한 정책에 잔차 수정을 적용하는 방식으로, 탐색 공간을 줄이고 LLM의 주의를 성능에 중요한 요소에 집중시킨다. TPDSL은 예산 제어, 토큰 점수, 선택 제약, 토큰 재조립 등 131개의 재사용 가능한 원자(atom)로 구성되어 있으며, 이는 정책 수정을 구조화된 형태로 표현한다.

기술적 접근법

AutoPrune은 TPDSL이라는 도메인 전용 언어를 사용하여 토큰 정제 정책을 표현함. TPDSL은 131개의 재사용 가능한 원자(atom)로 구성됨.
탐색 상태는 기존 강력한 정책에 대한 잔차 수정(residual modification)으로 표현됨.
LLM은 잔차 수정을 생성하고, 평가자(evaluator)가 정책의 성능과 진단 피드백을 통해 반복적으로 검증함.
선택된 TPDSL 잔차는 토큰 점수와 기존 선택과의 교환을 제한된 예산 내에서 수행함.
AutoPrune은 훈련 없이 작동하며, MLLM의 파인튜닝이 필요하지 않음.

주요 결과

LLaVA-1.5-7B과 LLaVA-NeXT-7B에서 94.4%의 토큰 제거에도 불구하고 99% 이상의 전체 토큰 성능을 유지함.
LLaVA-NeXT-7B에서 320개 토큰 설정에서 FLOPs는 9.9×, prefill latency는 6.4× 감소함.
14개 multimodal 벤치마크와 3개 MLLM 백본에서 평가하여, 기존 수작업 정책 대비 평균 2.3~3.2 포인트의 성능 개선을 달성함.
32개 토큰 설정에서 63.2의 집계 점수를 달성하며, 99.7%의 전체 토큰 성능을 보존함.
160개 토큰 설정에서 99.9%의 성능을 유지하며, 백본 간 이전 성능도 높음.

의의 및 한계

AutoPrune은 LLM 기반의 알고리즘 설계를 시각 토큰 정제에 효과적으로 적용할 수 있음을 보여준다. 기존 수작업 정책 대비 더 높은 성능-효율성의 균형을 달성하며, 다양한 토큰 예산과 MLLM 아키텍처 간의 이전이 가능하다는 점에서 실용적 가치가 크다. 특히, TPDSL을 통해 구조화된 잔차 수정을 표현함으로써, LLM의 일반적인 알고리즘 지식을 특정 작업에 적용할 수 있는 새로운 접근법을 제시한다.

그러나 AutoPrune은 TPDSL의 표현력과 평가자의 신뢰성에 의존한다는 한계가 있다. TPDSL이 충분히 다양한 정책을 표현하지 못하거나, 평가자가 정확한 피드백을 제공하지 못하면 성능이 저하될 수 있다. 향후 연구에서는 더 풍부한 탐색 상태 표현과 적응형 평가 전략을 탐구할 필요가 있다.

실용적 활용

AutoPrune는 MLLM 기반의 이미지-텍스트 분석, 비디오 요약, 시각 질의 응답 등 다양한 multimodal 작업에서 토큰 정제를 자동화할 수 있다. 특히, 추론 비용을 줄이면서도 성능을 유지해야 하는 클라우드, 모바일, 임베디드 시스템 등에서 유용하게 활용될 수 있다. 연구자들이 다양한 토큰 예산과 MLLM 아키텍처에 맞춘 정제 정책을 빠르게 설계할 수 있도록 도와주는 AI4AI 프레임워크로도 활용 가능하다.