ELDR: Expert-Locality-Aware Decode Routing for PD-Disaggregated MoE Serving

In prefill-decode (PD) disaggregated LLM serving, each request is assigned to a decode worker after prefill. Existing decode routers balance only load; for mixture-of-experts (MoE) models this is incomplete: equally loaded workers can differ in latency, since each decode step loads the weights of every distinct expert its batch activates. We present ELDR, an expert-locality-aware decode router for PD-disaggregated MoE serving. From a request's prefill expert activations, ELDR builds an expert signature predicting the experts it will activate during generation. Offline, balanced K-means partitions signature space across decode workers; online, locality-band routing sends each request to the least-loaded worker among those best matching its signature. A signature cache, co-indexed with the KV cache at KV-block granularity, keeps signatures exact under prefix caching. Implemented in vLLM and evaluated on deployments of up to 40 GPUs, ELDR reduces median TPOT by 5.9-13.9% over the strongest of four load-balancing baselines across three MoE models and two workloads, with model outputs unchanged.

한 줄 요약

ELDR은 PD-Disaggregated MoE 서빙에서 전문가 지역성을 고려한 디코딩 라우팅 기법으로, TPOT을 5.9–13.9% 개선한다.

핵심 기여도

ELDR은 prefill 단계의 expert activation을 기반으로 expert signature를 생성하여 decode 단계의 expert locality를 예측한다.
Offline K-means 클러스터링과 online locality-band routing을 결합해, 전문가 지역성과 로드 밸런싱을 동시에 고려한다.
KV-block 단위로 인덱싱된 expert-signature cache를 도입해 prefix caching과 호환되도록 설계한다.
Qwen3-30B-A3B, GPT-OSS-120B, Gemma-4-26B-A4B 모델에서 TPOT을 5.9–13.9% 개선한다.

핵심 아이디어

기존 디코딩 라우팅은 로드 밸런싱만 고려하며, MoE 모델의 expert locality는 무시된다. MoE 모델에서 디코딩 단계의 latency는 활성화된 expert들의 집합 크기(union)에 따라 달라지는데, 이는 로드 밸런싱만으로는 예측할 수 없다. ELDR은 prefill 단계에서 활성화된 expert 정보를 expert signature로 압축하고, 이를 기반으로 decode 단계에서 유사한 expert 집합을 가진 요청을 동일한 worker에 할당한다. 이는 expert locality를 활용해 per-step expert union을 줄여 latency를 낮춘다. 또한, expert signature는 prefill과 decode 사이의 expert activation 상관관계(0.70–0.92)를 기반으로 정확도를 보장한다.

기술적 접근법

**Expert Signature**: prefill 단계의 expert activation을 압축한 벡터로, decode 단계의 expert overlap을 예측한다.
**Offline K-means**: signature 공간을 decode worker별로 클러스터링하여 지역성을 반영한 worker 분할을 수행.
**Locality-band routing**: 요청의 signature와 가장 유사한 worker 집합 중 가장 적은 로드를 가진 worker를 선택.
**Signature Cache**: KV cache와 동일한 block 단위로 관리되며, prefix caching 시 signature 재계산 없이 복원 가능.
**vLLM 구현**: 기존 PD-disaggregated 스택 상에 ELDR 레이어를 추가하며, 모델, 게이트, 배치 방식은 변경되지 않음.

주요 결과

Qwen3-30B-A3B, GPT-OSS-120B, Gemma-4-26B-A4B 모델에서 ELDR은 task workload에서 median TPOT를 7.0–13.9%, language workload에서 5.9–10.0% 개선.
기존 로드 밸런싱 기반 라우팅 대비, expert locality를 고려한 routing이 latency를 5.9–13.9% 줄임.
signature cache는 KV cache의 1% 미만을 차지하며, prefix caching과 호환됨.

의의 및 한계

ELDR은 PD-Disaggregated MoE 서빙에서 전문가 지역성을 첫 번째로 고려한 라우팅 기법으로, 기존 로드 밸런싱 기반 접근의 한계를 극복한다. 특히, expert locality를 prefill 단계에서 예측 가능하게 하여, 디코딩 단계의 latency를 줄이는 데 기여한다. 또한, 기존 서빙 스택과의 호환성을 유지하면서 성능을 개선한 점이 실용적이다. 다만, ELDR은 expert activation 패턴이 일관되지 않은 요청에 대해서는 효과가 제한될 수 있으며, 다양한 workload와 모델에서의 일반화 가능성은 추가 실험을 통해 검증이 필요하다.

실용적 활용

ELDR은 대규모 MoE 모델을 활용한 클라우드 기반 LLM 서빙 환경에서 유용하게 적용될 수 있다. 특히, task-specific 또는 다국어 워크로드에서 expert locality가 뚜렷한 경우, ELDR은 서버 자원을 효율적으로 활용하면서도 사용자 경험을 개선할 수 있다.