Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs

Diffusion vision-language models (DVLMs) process their entire input at every denoising step. Since visual tokens make up 89-97% of this input on the benchmarks we study, most of the decoding computation is spent repeatedly processing the same image. Visual token pruning methods partially relieve this burden by removing part of the visual tokens, but they lose the removed information and still process the remaining image at every step. To measure how often the image is actually needed, we compare LLaDA-V's predictions with and without the image at every decoding step and find that removing the image changes a token being unmasked at only 22.8% of steps on average and at as few as 7.9%. We therefore propose LOWN, a decoding method that decides at every step whether to process the image and how many tokens to unmask. LOWN predicts the masked tokens without the image and processes the image only when this prediction disagrees with the last image-conditioned prediction. Agreement certifies the earlier prediction for reuse, and the number of certified tokens sets how many are unmasked in that step. We further observe that the need for the image differs across benchmarks, so LOWN's adaptive decision is needed rather than a fixed schedule. Without training or a tuned threshold, LOWN retains 99.6% of LLaDA-V's score on ten benchmarks at 35.3% of the decoding FLOPs on average. LOWN also generalizes across LLaDA-based DVLMs, composes orthogonally with visual token pruning, and runs under key-value caching for further efficiency gains. Code and project page are available at https://hyeon9698.github.io/LOWN/

한 줄 요약

LOWN은 이미지 처리를 필요한 경우에만 수행하는 시각 라우팅 방식으로, LLaDA-V 기반 모델에서 99.6% 성능 유지에 35.3%의 FLOPs만 사용한다.

핵심 기여도

LLaDA-V의 FULL 및 TEXT-ONLY forward 비교를 통해 7.9~43.8%의 단계에서만 이미지가 필요하다는 것을 밝힘.
LOWN은 훈련 없이 이미지 처리 여부와 토큰 해제 수를 결정하는 알고리즘으로, 0.35× FLOPs로 99.6% 성능 유지.
LLaDA-V, LaViDa, VidLaDA에 일반화 가능하며, 키-밸류 캐싱 및 시각 토큰 제거와 직교적으로 조합 가능.

핵심 아이디어

기존 DVLM은 모든 디코딩 단계에서 이미지를 처리하지만, 실제로 필요한 경우는 드물다. LLaDA-V의 디코딩 과정에서 TEXT-ONLY forward와 FULL forward가 83.4%의 경우 동일한 최상위 토큰을 예측하는 것을 통해, 이미지 처리가 불필요한 경우가 많다는 것을 확인했다. LOWN은 이 관찰을 바탕으로, 이미지 조건에 따른 최신 예측(FULL forward)을 기준으로 TEXT-ONLY forward와 비교하여 일치 여부를 판단한다. 일치하면 기존 예측을 재사용하고, 불일치 시에만 새로운 FULL forward를 실행한다. 이 방식은 훈련 없이도 이미지 처리를 필요한 경우에만 수행함으로써 계산 효율성을 높인다.

기술적 접근법

**FULL forward**: 이미지, 프롬프트, 부분 해제된 텍스트를 기반으로 최상위 토큰과 신뢰도를 예측.
**TEXT-ONLY forward**: 이미지 없이 텍스트만을 기반으로 예측.
**LOWN 알고리즘**:

1. FULL forward의 예측을 anchor로 저장.
2. TEXT-ONLY forward로 anchor와 비교.
3. 일치 시 anchor 재사용, 불일치 시 새로운 FULL forward 실행.
4. 일치 수에 따라 해제할 토큰 수 결정.

**하이퍼파라미터**: 훈련 없이 사용, 임계값 없이 동작.
**조합 가능성**: 키-밸류 캐싱, 시각 토큰 제거와 병행 가능.

주요 결과

LLaDA-V 기반 모델에서 10개 벤치마크 평균 0.353× FLOPs로 99.6% 성능 유지.
ScienceQA, CapArena, ChartQA, DeCapBench 등 7개 벤치마크에서 기존 성능을 초과.
키-밸류 캐싱과 조합 시 5.6–7.0× 빠른 디코딩 속도 달성.
시각 토큰 제거와 병행 시 1.8–2.5× 추가 FLOPs 절감.

의의 및 한계

LOWN은 이미지 처리가 필요하지 않은 단계를 자동으로 식별하여, DVLM의 디코딩 효율성을 크게 향상시킨다. 기존 시각 토큰 제거와는 달리, 정보 손실 없이 이미지 처리를 선택적으로 수행함으로써 정확도를 유지한다. 특히, 훈련 없이 동작하며, 임계값 조정 없이도 다양한 벤치마크와 모델 구조에 일반화 가능하다는 점에서 실용적이다. 다만, 이미지가 필요한 단계가 특정 벤치마크에서 최대 43.8%에 달하기 때문에, 모든 상황에서 동일한 효율성을 기대하기는 어렵다. 또한, 시각 정보의 일관성에 따라 예측 신뢰도가 달라질 수 있어, 일부 복잡한 시각-언어 작업에서는 주의가 필요하다.

실용적 활용

LOWN은 이미지-텍스트 생성, 문서 이해, 차트 해석 등 다양한 시각-언어 작업에 적용 가능하다. 특히, 대규모 모델의 실시간 추론이 필요한 산업 현장(예: 콘텐츠 생성, 문서 자동화)에서 계산 비용을 줄이며 성능을 유지할 수 있다. 또한, 키-밸류 캐싱과 조합하면 실시간 대화형 시스템에서도 활용 가능하다.