EarlyTom: Early Token Compression Completes Fast Video Understanding

Video large language models (Video-LLMs) have demonstrated strong capabilities in video understanding tasks. However, their practical deployment is still hindered by the inefficiency introduced by processing massive amounts of visual tokens. Although recent approaches achieve extremely low token retention ratios while maintaining accuracy comparable to full-token baselines, most of them perform compression only at the late stage of prefilling, leaving the efficiency of the vision encoder unoptimized. In this paper, we first show that vision encoding contributes a large portion to the time-to-first-token (TTFT). Therefore, instead of compressing visual tokens only after the vision encoder, performing compression inside the encoder still leaves substantial room for exploration. Based on this insight, we propose EarlyTom, a training-free token compression framework that performs early-stage visual token compression inside the vision encoder, enabling significantly better TTFT reduction and higher throughput. In addition, we introduce a decoupled spatial token selection strategy that improves the overall compression effectiveness. EarlyTom reduces TTFT by up to 2.65x and FLOPs by up to 61% on a single NVIDIA A100 GPU for the LLaVA-OneVision-7B model, while maintaining accuracy comparable to the full-token baseline. These improvements substantially enhance the practicality of deploying Video-LLMs in real-world production scenarios.

📋 한 줄 요약

**[Video-LLM / Token Compression]** EarlyTom이 vision encoder 내부에서 early-stage visual token 압축 — TTFT 2.65×·FLOPs 61% 절감, decoupled spatial token selection으로 LLaVA-OneVision-7B에서 full-token 정확도 유지.

🎯 핵심 기여도

Video-LLM이 비디오 이해에서 강한 능력 보이지만 대량 visual token 처리로 인한 비효율로 배포 어려움 문제 지적.
최근 접근들이 매우 낮은 token 유지율로 full-token baseline과 comparable 정확도 달성하지만 대부분 prefilling 후반에서만 압축 — vision encoder 효율 미최적화 진단.
Vision encoding이 time-to-first-token(TTFT)에 큰 부분 기여함 첫 입증. Vision encoder 이후만 압축이 아닌 encoder 내부 압축의 substantial 탐색 여지 식별.
EarlyTom 제안 — training-free token compression 프레임워크로 vision encoder 내부에서 early-stage visual token 압축, significantly 더 나은 TTFT 절감·더 높은 throughput. Decoupled spatial token selection 전략으로 전체 압축 효과 향상.

💡 핵심 아이디어

Video-LLM 효율의 핵심 병목은 vision encoder 자체에 있으며, encoder 후가 아닌 내부에서 early-stage compression을 수행하면 TTFT를 본질적으로 단축할 수 있고, decoupled spatial token selection이 압축률·정확도 균형을 더 잘 잡는다.

🔬 기술적 접근법

**방법론**: EarlyTom — vision encoder 내부 early-stage token 압축.
**핵심 기법**: (1) Training-free 프레임워크, (2) Vision encoder 내부 early stage에서 visual token 압축, (3) Encoder 후가 아닌 encoder 내부 압축이라 vision encoding 자체 가속, (4) Decoupled spatial token selection으로 압축 효과 향상, (5) LLaVA-OneVision-7B 등 비디오 LLM에 plug-in 가능.

📊 주요 결과

LLaVA-OneVision-7B, NVIDIA A100 단일: TTFT 최대 2.65× 단축, FLOPs 최대 61% 절감.
Full-token baseline과 comparable 정확도 유지.
Encoder 내부 압축으로 vision encoding 자체 가속.
실세계 production 배포 실용성 substantial 향상.

💭 의의 및 한계

**의의**: Video-LLM 효율 병목의 정확한 위치(encoder 자체) 식별, encoder 내부 early-stage 압축이라는 새 카테고리, training-free·plug-in으로 즉시 채택 가능, TTFT/FLOPs 동시 감소로 production 가치. **한계**: LLaVA-OneVision 중심으로 다른 비디오 LLM 일반화 추가 검증, 매우 긴 비디오·복잡 쿼리에서의 압축 한계, decoupled selection의 hyperparameter 튜닝.

🚀 실용적 활용

비디오 LLM의 production 배포 가속.
실시간 비디오 QA·이해 시스템.
효율적 multimodal 추론 일반.