Scaling Laws for Fine-Grained Mixture of Experts

Mixture of Experts (MoE) models have emerged as a primary solution for reducing the computational cost of Large Language Models. In this work, we analyze their scaling properties, incorporating an expanded range of variables. Specifically, we introduce a new hyperparameter, granularity, whose adjustment enables precise control over the size of the experts. Building on this, we establish scaling laws for fine-grained MoE, taking into account the number of training tokens, model size, and granularity. Leveraging these laws, we derive the optimal training configuration for a given computational budget. Our findings not only show that MoE models consistently outperform dense Transformers but also highlight that the efficiency gap between dense and MoE models widens as we scale up the model size and training budget. Furthermore, we demonstrate that the common practice of setting the size of experts in MoE to mirror the feed-forward layer is not optimal at almost any computational budget.

한 줄 요약

MoE 모델의 효율성을 높이기 위해 새로운 하이퍼파라미터 'granularity'를 도입하고, 이를 기반으로 새로운 스케일링 법칙을 제안한다.

핵심 기여도

새로운 하이퍼파라미터 'granularity'를 도입하여 MoE 모델 내 전문가의 크기를 정밀하게 제어 가능하게 함.
MoE 모델의 스케일링 법칙을 확장하여, 학습 토큰 수, 모델 크기, granularity를 고려한 최적화된 학습 설정을 도출.
기존의 전문가 크기를 feed-forward 레이어와 동일하게 설정하는 관행이 거의 모든 컴퓨팅 예산에서 비효율적임을 밝힘.
10²⁰ FLOPs 예산에서 MoE 모델이 동일 품질을 달성하면서 20× 더 적은 컴퓨팅 자원을 사용함을 보임.

핵심 아이디어

기존 MoE 연구는 전문가 크기와 학습 시간을 고정한 상태에서 분석했지만, 본 연구는 이를 유동적으로 조정함으로써 더 효율적인 모델 설계가 가능하다는 점을 강조한다. 핵심 아이디어는 'granularity'라는 새로운 하이퍼파라미터를 도입하여 전문가의 크기를 정밀하게 조절함으로써, MoE 모델의 효율성을 극대화하는 것이다. 이는 기존의 feed-forward 레이어 크기와 동일한 전문가 크기 설정이 거의 모든 예산에서 비효율적임을 입증하며, 이에 따라 새로운 스케일링 법칙을 도출한다. 연구는 G=1(기본 granularity)이 넓은 범위의 FLOPs에서 비효율적임을 밝히고, G 값을 높이면 성능과 효율성이 동시에 향상된다는 통찰을 제시한다.

기술적 접근법

새로운 하이퍼파라미터 'granularity (G)'를 도입하여 MoE 모델 내 전문가의 크기를 조절.
스케일링 법칙을 확장하여, 학습 토큰 수, 모델 파라미터 수, granularity를 포함한 3가지 변수를 고려.
학습 시간을 고정하지 않고, 예산에 따라 유동적으로 조정하는 방식을 채택.
10²⁰ FLOPs 예산에서 MoE 모델이 20× 적은 컴퓨팅 자원으로 동일 품질을 달성함을 실험적으로 검증.
G=1이 넓은 범위의 FLOPs에서 비효율적임을 밝히고, G 값을 증가시키면 효율성이 향상됨을 입증.

주요 결과

10²⁰ FLOPs 예산에서 MoE 모델이 dense Transformer에 비해 20× 더 적은 컴퓨팅 자원으로 동일한 품질을 달성.
10²⁵ FLOPs 예산을 초과하면 컴퓨팅 절감 비율이 40× 이상으로 증가.
기존의 전문가 크기를 feed-forward 레이어와 동일하게 설정하는 방식은 거의 모든 예산에서 비효율적.
G=1(기본 granularity)이 넓은 범위의 FLOPs에서 비효율적임을 밝힘.

의의 및 한계

본 연구는 MoE 모델의 효율성을 극대화하기 위한 새로운 하이퍼파라미터와 스케일링 법칙을 제안함으로써, 대규모 언어 모델의 학습 비용 절감에 기여한다. 특히, 기존 관행이 비효율적임을 입증하고, G 값을 조절함으로써 성능과 효율성을 동시에 향상시킬 수 있음을 보여준다. 그러나 실험은 특정 데이터셋과 모델 구조에 기반했기 때문에, 다른 환경에서 동일한 결과가 나오는지는 추가 연구가 필요하다. 또한, G 값 조절에 따른 모델 복잡도 증가와 추론 시간에 미치는 영향도 고려해야 한다.

실용적 활용

이 연구는 대규모 언어 모델의 학습 비용을 줄이려는 산업 및 연구 기관에 유용한 지침을 제공한다. 특히, 컴퓨팅 예산이 제한된 상황에서 MoE 모델의 효율성을 극대화하기 위한 설계 전략을 제시하며, G 값을 조절하여 최적의 성능과 자원 활용을 달성할 수 있다. 연구는 또한 대규모 언어 모델의 지속 가능한 개발과 운영에 기여할 수 있다.