Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE

As model parameters scale up, sparsely activated Mixture-of-Experts (MoE) approaches have become essential for model scaling. However, mainstream models currently adopt hierarchical architectures, where experts in different layers, although topologically independent, exhibit substantial similarity and redundancy in their stored content. Compared to the hierarchically arranged Local Expert in existing mainstream models, we hypothesize that inter-layer shared Meta Expert hold greater potential. To this end, we conduct a multi-dimensional empirical comparison between Local and Meta Experts, and find that models incorporating Meta Experts exhibit lower parameter redundancy, together with lower cross-entropy loss and higher downstream task accuracy. With the activated quantity and the expert granularity held fixed, our model matches the performance of Vanilla MoE using only 70--80\% of the experts, substantially improving the model's scaling potential. Beyond removing inter-layer redundancy among experts and improving information storage efficiency, our theoretical analysis further shows that, compared with Local Experts, Meta Experts provide hidden states with more flexible residual pathways, thereby improving information retrieval efficiency.

한 줄 요약

Meta Expert를 도입한 MoE 모델이 파라미터 효율성과 성능을 동시에 향상시킨다.

핵심 기여도

Meta Expert를 도입하여 70–80%의 전문가 수만으로 Vanilla MoE와 동등한 성능 달성
Meta Expert는 Local Expert 대비 낮은 cross-entropy loss와 높은 downstream task 정확도 보임
이론적 분석을 통해 Meta Expert가 더 유연한 residual pathway를 제공함을 밝힘
파라미터 저장 및 정보 검색 효율성 향상

핵심 아이디어

기존 MoE 모델은 각 레이어별로 독립적인 Local Expert를 사용하지만, 이는 파라미터 중복과 저장 비효율을 초래한다. 본 연구는 레이어 간 공유되는 Meta Expert를 도입하여 이 문제를 해결한다. Meta Expert는 여러 레이어에서 공유되며, 동일한 전문가 수량과 활성화 비율을 유지하면서도 파라미터 중복을 줄이고 정보 저장 및 검색 경로를 확장한다. 이는 기존 Local Expert가 단방향 residual pathway만 제공하는 것에 비해, Meta Expert는 forward와 backward 방향 모두에서 정보 접근성을 향상시킨다는 점에서 차별화된다.

기술적 접근법

**모듈명**: Meta Expert, Local Expert
**활성화 전략**: MoE의 sparse activation 유지 (각 토큰은 제한된 수의 전문가만 활성화)
**비교 실험**: Meta/Local Expert의 비율, 활성화 비율, 공유 풀의 위상 구조 비교
**수치**: 70–80%의 전문가 수량으로 Vanilla MoE와 동등한 성능 달성
**이론적 분석**: forward residual connection 외에도 activation 수준에서 backward residual connection 제공

주요 결과

**cross-entropy loss**: Meta Expert 모델이 Local Expert 대비 낮음
**downstream task 정확도**: Meta Expert 모델이 Local Expert 대비 높음
**파라미터 효율성**: 70–80%의 전문가 수량으로 Vanilla MoE와 동등한 성능 달성
**활성화 수량 및 전문가 granularity 고정 시**: Meta Expert 모델이 Vanilla MoE와 동일한 성능 유지

의의 및 한계

Meta Expert는 파라미터 저장 및 정보 검색 효율성을 동시에 향상시키며, 이는 MoE 모델의 확장 가능성을 높인다. 특히, 기존 Local Expert가 레이어 간 중복을 유발하는 반면, Meta Expert는 이를 제거함으로써 더 유연한 정보 경로를 제공한다. 그러나 본 연구는 특정 모델 구조와 데이터셋에서의 결과를 기반으로 하므로, 다른 아키텍처나 더 큰 모델에서의 일반화 가능성은 추가 연구가 필요하다. 또한, Meta Expert의 부분적 계층 구조가 성능에 미치는 영향은 미약하지만, 이에 대한 명확한 해석은 여전히 제한적이다.

실용적 활용

Meta Expert는 대규모 MoE 모델에서 파라미터 저장 공간과 계산 효율성을 동시에 향상시키므로, 클라우드 인프라, 모바일 기기, 실시간 추론 시스템 등에서 유용하게 활용될 수 있다. 특히, 대형 언어 모델의 추론 비용을 줄이고, 더 많은 전문가를 포함하면서도 동일한 성능을 유지하는 데 적합하다.