VisionWeave: Weaving Elastic Visual Representations as a Native Capability of MLLMs

Multimodal large language models have become the dominant paradigm for visual understanding, but incur substantial costs by encoding inputs into dense, fixed-size patch tokens. However, visual information is unevenly distributed: some regions require fine-grained detail, while others admit compact representations. Downsampling sacrifices this detail, while existing token pruning and adaptive approaches remain limited in content-adaptive granularity, task generalization, and integration with modern MLLMs and serving infrastructure. Overcoming these limitations calls for foundation models that learn, end to end, where-and at what granularity-to allocate visual representations, a native capability we term elastic visual representation weaving. We introduce VisionWeave, establishing this capability in frontier-level MLLMs through large-scale training. It combines two components: a gated spatial pooler constructs coarse-grained representations alongside native fine-grained representations within a shared MRoPE coordinate, while a granularity router learns their content-adaptive allocation. Through self-distillation alone, we validate this capability on Qwen3.5-4B and scale to Qwen3.8-27B with over 30K A100 GPU-hours. Based on Qwen3.8-27B, VisionWeave adaptively adjusts token savings to visual content, saving 43.0% tokens on average while retaining 98.9% native performance across eight benchmarks, versus only 88% performance preserved for token pruning baselines with a fixed 50% savings target. Extensive evaluations confirm robust efficiency-quality trade-offs across diverse tasks, resolutions and video frames. When deployed on SGLang serving engine, our method achieves a 2.3x throughput gain while reducing mean TTFT by 54.4% and mean TPOT by 60.6%. Together, we believe these results position elastic visual weaving as a promising capability for next-generation multimodal models.

한 줄 요약

VisionWeave는 MLLM 내부에서 시각 정보의 내용에 따라 탄성적으로 토큰을 할당하는 기능을 구현하여, 43.0%의 토큰 절감과 98.9%의 성능 유지라는 뛰어난 효율-품질 균형을 달성한 시스템이다.

핵심 기여도

**Elastic Visual Representation Weaving**이라는 새로운 개념 도입: MLLM 내부에서 시각 정보의 내용에 따라 토큰을 탄성적으로 할당하는 기능.
**Gated Spatial Pooler**와 **Granularity Router** 모듈을 결합하여, MRoPE 좌표 내에서 고해상도 및 저해상도 표현을 통합.
Qwen3.8-27B 기반으로 43.0%의 토큰 절감을 달성하면서 98.9%의 원본 성능 유지.
SGLang 서빙 엔진에서 2.3×의 처리량 향상과 54.4%의 TTFT 감소, 60.6%의 TPOT 감소를 기록.

핵심 아이디어

기존 MLLM은 고정 크기의 패치 토큰으로 이미지를 인코딩하여 높은 계산 비용이 발생한다. VisionWeave는 시각 정보의 분포가 불균일하다는 점을 고려하여, 필요한 부분은 고해상도로, 불필요한 부분은 저해상도로 표현하는 **Elastic Visual Representation Weaving**이라는 새로운 개념을 제안한다. 이는 MLLM 내부에서 **Gated Spatial Pooler**를 통해 고해상도 표현과 저해상도 표현을 생성하고, **Granularity Router**를 통해 각 공간 블록에 적절한 표현의 해상도를 할당함으로써 실현된다. 이는 기존 토큰 트리밍 방법과 달리, 시각 정보의 내용에 따라 자율적으로 토큰 절감을 수행하며, 서빙 인프라와의 호환성을 확보한다.

기술적 접근법

**Gated Spatial Pooler**: ViT 피처를 기반으로 고해상도 표현과 저해상도 표현을 생성.
**Granularity Router**: ViT 중간 피처를 분석하여 각 공간 블록에 적절한 해상도를 할당.
**Self-Distillation**을 통해 Qwen3.5-4B에서 Qwen3.8-27B로 확장.
**MRoPE 좌표** 내에서 고/저해상도 표현을 통합하여 시각-언어 일관성을 유지.
**SGLang 서빙 엔진**과의 호환성을 고려한 설계.

주요 결과

**Qwen3.8-27B 기반**에서 8개 벤치마크에서 평균 43.0%의 토큰 절감, 98.9%의 원본 성능 유지.
**FastV**와 **VisionZip** 대비 50% 절감 목표에서도 각각 88.2%와 87.5%의 성능만 유지.
**SGLang 서빙 엔진**에서 2.3×의 처리량 향상, **TTFT 감소 54.4%**, **TPOT 감소 60.6%**.
다양한 해상도와 비디오 프레임 수에서도 효율-품질 균형이 일관되게 유지됨.

의의 및 한계

VisionWeave는 MLLM에서 시각 정보의 표현 해상도를 내용에 따라 자율적으로 조절하는 기능을 구현함으로써, 기존 토큰 트리밍 및 다운샘플링 방법의 한계를 극복한다. 특히, **SGLang 서빙 엔진**과의 호환성을 통해 실용적인 성능 향상을 실현했으며, **MRoPE 좌표** 내에서의 표현 통합은 시각-언어 일관성을 유지하는 데 기여한다. 그러나, **Self-Distillation**만을 사용한 학습 전략은 복잡한 시각-언어 상호작용을 포착하는 데 한계가 있을 수 있으며, **비디오 처리**에서의 확장성도 추가 연구가 필요하다.

실용적 활용

VisionWeave는 고해상도 이미지나 장시간 비디오 처리가 필요한 **AI 어시스턴트**, **문서 분석 시스템**, **시각 QA 플랫폼** 등에 적용 가능하다. 특히, **SGLang 서빙 엔진**과의 호환성은 클라우드 기반의 실시간 시각 이해 서비스 개발에 기여할 수 있다.