LLMRouter: Unified Infrastructure for Developing, Evaluating, and Deploying LLM Routers

No single large language model (LLM) is optimal across all queries and budget constraints, making model routing essential for cost-effective deployment. Existing routers adopt diverse formulations and implementations, making fair comparison and extension difficult. We present a unified formulation of LLM routing as a sequential decision process characterized by five components: context encoders, model encoders, scoring functions, decision rules, and learning signals, covering single-turn, multi-turn, and personalized routing. Based on this formulation, we develop an automated pipeline for constructing routing supervision and evaluating routers jointly on response quality and inference cost. The resulting benchmark, xRouteBench, spans generic LLM, memory-augmented, vision, time-series, and personalized routing tasks. We further introduce LLMRouter, an open-source modular infrastructure with more than 16 representative routers. Our empirical study shows that learned routers outperform the strongest fixed-model baseline by 14.6% relatively, lightweight routers become more competitive under tight cost constraints, and user-conditioned routing consistently improves personalization.

한 줄 요약

LLMRouter는 다양한 LLM 라우팅 정책을 개발·평가·배포하는 통합 인프라로, 16개 이상의 라우터와 xRouteBench 벤치마크를 제공하며 14.6%의 상대 성능 향상을 보인다.

핵심 기여도

LLM 라우팅을 **5가지 구성 요소**(context encoder, model encoder, scoring function, decision rule, learning signal)로 통합된 순차적 결정 과정으로 정의.
**xRouteBench** 벤치마크를 제시: 일반 LLM, 메모리 증강, 비전, 시계열, 개인화 라우팅을 포함.
**LLMRouter** 오픈소스 인프라를 개발: 16개 이상의 대표 라우터를 포함하며, 새로운 라우터는 routing method와 loss function만 구현하면 된다.
학습된 라우터가 최고 성능의 고정 모델 기반 라우터 대비 **14.6% 상대 개선**을 보임.

핵심 아이디어

기존 LLM 라우팅 연구는 서로 다른 형식과 구현 방식을 사용하여 공정한 비교와 확장이 어려웠다. 본 연구는 라우팅을 **5가지 구성 요소**로 분해하여 **통합된 순차적 결정 과정**으로 모델링함으로써, 다양한 라우팅 방식(단일 턴, 다중 턴, 개인화)을 하나의 프레임워크로 통합했다. 이는 기존 라우터를 **3가지 패밀리**(single-turn, multi-turn, personalized)로 분류하고, 새로운 라우터를 쉽게 추가할 수 있는 **모듈화된 인프라**를 구축하는 데 기여한다. 특히, **context encoder**와 **model encoder**를 통해 라우팅 결정에 필요한 정보를 추출하고, **scoring function**과 **decision rule**을 통해 최적 모델을 선택하는 방식은 기존 연구와 차별화된다.

기술적 접근법

**LLMRouter**는 라우팅 정책을 개발·평가·배포하는 통합 인프라로, **context encoder, model encoder, scoring function, decision rule, learning signal** 5가지 구성 요소로 정의.
**xRouteBench**는 18개 후보 모델을 포함한 다양한 벤치마크로, **task-specific metrics**와 **token-level cost** 기반 평가를 자동화.
라우터는 **routing method**와 **loss function**만 구현하면 추가 가능하며, **OpenClaw** 또는 **ComfyUI**를 통해 배포 가능.
학습 라우터는 **response quality**와 **inference cost**를 동시에 고려한 **joint evaluation pipeline**을 통해 평가.

주요 결과

**xRouteBench**에서 학습된 라우터는 최고 성능의 고정 모델 기반 라우터 대비 **14.6% 상대 개선**을 기록.
**비용 제약이 높은 상황**에서는 가벼운 라우터가 경쟁력이 높아짐.
**사용자 조건에 따른 라우팅**(user-conditioned routing)은 **개인화 성능**에서 지속적인 개선을 보임.
**다중 턴 라우팅**은 항상 단일 턴 라우팅보다 우수하지 않으며, 기반 모델의 능력에 따라 결과가 달라짐.

의의 및 한계

LLMRouter는 LLM 라우팅 연구의 **표준화와 재사용성**을 높이는 데 기여하며, 다양한 라우팅 방식을 **공정한 비교**를 통해 평가할 수 있는 **자동화된 파이프라인**을 제공한다. 또한, **16개 이상의 라우터**와 **다양한 벤치마크**를 포함한 오픈소스 인프라는 연구 및 실용화에 유용하다. 그러나, **사용자 컨텍스트 모델링의 질**이 개인화 성능에 큰 영향을 미치며, **라우터 선택은 작업과 비용 예산에 따라 달라져야 한다**는 한계가 있다. 또한, **다중 턴 라우팅의 효과는 기반 모델의 능력에 크게 의존**한다는 점도 주목할 만하다.

실용적 활용

LLMRouter는 **대규모 언어 모델을 효율적으로 배포하는 클라우드 서비스**, **개인화된 챗봇**, **다중 에이전트 시스템** 등에 적용 가능하다. 특히, **비용 효율성과 개인화 수요가 높은 산업**(예: 고객 지원, 교육, 콘텐츠 추천)에서 유용하며, **연구자들이 다양한 라우팅 정책을 비교·개발**하는 데도 활용할 수 있다.