Abstract
Large language models are typically deployed as monolithic systems, requiring the full model even when applications need only a narrow subset of capabilities, e.g., code, math, or domain-specific knowledge. Mixture-of-Experts (MoEs) seemingly offer a potential alternative by activating only a subset of experts per input, but in practice, restricting inference to a subset of experts for a given domain leads to severe performance degradation. This limits their practicality in memory-constrained settings, especially as models grow larger and sparser. We introduce EMO, an MoE designed for modularity-the independent use and composition of expert subsets-without requiring human-defined priors. Our key idea is to encourage tokens from similar domains to rely on similar experts. Since tokens within a document often share a domain, EMO restricts them to select experts from a shared pool, while allowing different documents to use different pools. This simple constraint enables coherent expert groupings to emerge during pretraining using document boundaries alone. We pretrain a 1B-active, 14B-total EMO on 1T tokens. As a full model, it matches standard MoE performance. Crucially, it enables selective expert use: retaining only 25% (12.5%) of experts incurs just a 1% (3%) absolute drop, whereas standard MoEs break under the same setting. We further find that expert subsets in EMO specialize at semantic levels (e.g., domains such as math or code), in contrast to the low-level syntactic specialization observed in standard MoEs. Altogether, our results demonstrate a path toward modular, memory-efficient deployment of large, sparse models and open new opportunities for composable architectures.
한국어 요약
📋 한 줄 요약
**[LLM/MoE]** 문서 단위로 같은 전문가 풀을 공유하도록 강제하여 사전학습만으로 전문가의 도메인별 모듈성을 자연 발현시키는 새로운 Mixture-of-Experts 아키텍처 EMO를 제안한다.
🎯 핵심 기여도
- 인간이 정의한 사전 정보 없이 도메인 단위 모듈성을 사전학습 단계에서 창발적으로 형성하는 EMO 구조 제안
- 같은 문서 내 토큰들이 공유 풀에서만 전문가를 선택하도록 제약하는 단순하지만 효과적인 라우팅 규칙 설계
- 1B-active / 14B-total 규모로 1T 토큰 사전학습 수행 후, 전체 모델 성능은 표준 MoE와 동등함을 확인
- 25%의 전문가만 유지해도 성능 저하가 1% 절대값에 그쳐 메모리 효율적 모듈 배포 가능성 입증
💡 핵심 아이디어
한 문서 내의 토큰들은 도메인이 비슷하다는 직관에서 출발한다. 문서 경계를 활용해 같은 문서의 토큰을 동일한 전문가 풀로 묶고, 다른 문서는 다른 풀을 쓰게 함으로써 별도의 라벨 없이도 전문가 그룹이 의미적으로 응집된다.
🔬 기술적 접근법
- **모델/방법론**: 1B activated, 14B total 파라미터 규모의 Mixture-of-Experts 트랜스포머
- **핵심 기법**: 문서 경계 기반의 공유 전문가 풀 제약, 1T 토큰 사전학습, 모듈성 평가를 위한 부분 전문가 사용 시나리오 검증
📊 주요 결과
- 전체 모델 사용 시 표준 MoE와 동등한 성능 달성
- 전문가 25%만 사용 시 1% 절대값, 12.5%만 사용 시 3% 절대값 성능 저하에 그침 (표준 MoE는 동일 조건에서 큰 폭 붕괴)
- 표준 MoE의 저수준 구문 특화와 달리, 수학·코드 등 의미 수준에서 전문가 특화가 발견됨
💭 의의 및 한계
**의의**: 메모리 제약 환경에서 대형 희소 모델을 도메인 단위로 잘라 배포할 수 있는 모듈 MoE 설계 가이드를 제시한다. **한계**: 모듈성이 문서 경계 가정에 의존하기 때문에 문서가 다중 도메인을 섞는 코퍼스에서는 효과가 제한될 수 있다.
🚀 실용적 활용
- 도메인 특화(코드/수학/법률)된 경량 LLM의 모듈식 배포
- 메모리 제한 환경에서의 sparse 모델 부분 로딩
- 새로운 합성형 아키텍처(전문가 조합 재사용) 연구의 토대