multimodal-models model-routing latent-router counterfactual-prediction mmr-bench vl-routerbench capsule-communication performance-cost-routing
Abstract
Multimodal large language models (MLLMs) have heterogeneous strengths across OCR, chart understanding, spatial reasoning, visual question answering, cost, and latency. Effective MLLM routing therefore requires more than estimating query difficulty: a router must match the multimodal requirements of the current image-question input with the capabilities of each candidate model. We propose LatentRouter, a router that formulates MLLM routing as counterfactual multimodal utility prediction. Given an image-question query, LatentRouter extracts learned multimodal routing capsules, represents each candidate MLLM with a model capability token, and performs latent communication between these states to estimate how each model would perform if selected. A distributional outcome head predicts model-specific counterfactual quality, while a bounded capsule correction refines close decisions without allowing residual signals to dominate the prediction. The resulting utility-based policy supports performance-oriented and performance-cost routing, and handles changing candidate pools through shared per-model scoring with availability masking. Experiments on MMR-Bench and VL-RouterBench show that LatentRouter outperforms fixed-model, feature-level, and learned-router baselines. Additional analyses show that the gains are strongest on multimodal task groups where model choice depends on visual, layout-sensitive, or reasoning-oriented requirements, and that latent communication is the main contributor to the improvement. The code is available at: https://github.com/LabRAI/LatentRouter.
한국어 요약
📋 한 줄 요약
**[MLLM 라우팅 / 멀티모달]** 멀티모달 LLM 라우팅을 반사실(counterfactual) 다중모달 유틸리티 예측으로 정식화하고 latent 통신을 통해 답변을 보기 전에 모델을 선택하는 LatentRouter 제안.
🎯 핵심 기여도
- MLLM 라우팅이 단순 난이도 추정이 아니라 image-question의 멀티모달 요구와 모델 capability를 매칭하는 문제임을 명확히.
- multimodal routing capsule + model capability token + latent communication으로 모델별 가상 성능을 예측하는 LatentRouter 설계.
- distributional outcome head로 모델별 반사실 품질을 분포적으로 예측, bounded capsule correction이 근접 결정만 미세 조정.
- 성능 지향·성능-비용 정책 모두 지원하고 후보 풀 변동에 강건한 availability masking 구조 채택.
💡 핵심 아이디어
"이 질의에 어떤 모델이 어떤 답을 낼지" 직접 예측하지 말고, 멀티모달 요구를 capsule로 추출하고 모델 capability token과 latent 공간에서 통신시켜 모델별 반사실 유틸리티를 추정한 뒤, 그 분포에서 최적을 고른다는 접근.
🔬 기술적 접근법
- **모델/방법론**: image-question에서 multimodal routing capsule을 추출, 각 후보 MLLM을 capability token으로 표현, latent communication으로 후보별 가상 성능을 추정.
- **핵심 기법**: distributional outcome head로 모델별 quality 분포를 예측, 잔여 신호 지배를 막는 bounded capsule correction, availability masking으로 후보 풀 변동에 적응, 공유 per-model scoring으로 신규 모델 추가에 강건.
📊 주요 결과
- MMR-Bench, VL-RouterBench에서 fixed-model·feature-level·learned-router 베이스라인 모두 능가.
- 시각적·레이아웃 민감·추론 중심 태스크에서 성능 향상 폭이 가장 큼.
- ablation에서 latent communication이 주된 성능 동인.
💭 의의 및 한계
**의의**: 멀티모달 모델의 capability heterogeneity가 커진 시대에 모델 선택을 명시적·반사실적으로 다루는 일반 라우팅 프레임워크 제시. **한계**: 후보 모델 정의·라벨링 데이터 수집 비용, 모델 풀이 급변하는 환경에서의 지속 학습 비용은 미해결 운영 이슈.
🚀 실용적 활용
- 비용·성능을 균형 잡는 다중 MLLM 라우팅 게이트웨이.
- OCR·차트·VQA 등 강점이 다른 모델 풀의 자동 라우팅.
- 새 모델 추가 시 재학습 부담이 적은 production MLLM 서비스 인프라.