Mixture-of-Agents Enhances Large Language Model Capabilities

Recent advances in large language models (LLMs) demonstrate substantial capabilities in natural language understanding and generation tasks. With the growing number of LLMs, how to harness the collective expertise of multiple LLMs is an exciting open direction. Toward this goal, we propose a new approach that leverages the collective strengths of multiple LLMs through a Mixture-of-Agents (MoA) methodology. In our approach, we construct a layered MoA architecture wherein each layer comprises multiple LLM agents. Each agent takes all the outputs from agents in the previous layer as auxiliary information in generating its response. MoA models achieves state-of-art performance on AlpacaEval 2.0, MT-Bench and FLASK, surpassing GPT-4 Omni. For example, our MoA using only open-source LLMs is the leader of AlpacaEval 2.0 by a substantial gap, achieving a score of 65.1% compared to 57.5% by GPT-4 Omni.

한 줄 요약

다중 대형 언어 모델(LLM)의 협업을 통해 생성 품질을 향상시키는 Mixture-of-Agents(MoA) 프레임워크를 제안하고, AlpacaEval 2.0에서 65.1%의 성능을 달성한다.

핵심 기여도

**Mixture-of-Agents(MoA)** 프레임워크를 제안하여, 다중 LLM의 집단적 강점을 활용.
**LLM 협업 현상(collaborativeness)** 을 발견: 다른 모델의 출력을 보조 정보로 사용할 때 생성 품질이 향상됨.
**AlpacaEval 2.0**에서 65.1%의 점수를 달성하여 GPT-4 Omni(57.5%)를 크게 앞선다.
**비용 효율성**: GPT-4 Turbo와 유사한 성능을 2× 더 저렴한 비용으로 달성 가능.

핵심 아이디어

기존 연구는 단일 LLM의 성능 향상에 집중했으나, 본 연구는 **다중 LLM 간의 협업**을 통해 품질을 향상시키는 새로운 접근법을 제안한다. 핵심 아이디어는 **LLM들이 서로의 출력을 보조 정보로 활용할 때, 개별 모델보다 더 나은 결과를 생성할 수 있다는 현상**을 기반으로 한다. 이 현상은 **AlpacaEval 2.0에서 6개의 대표 LLM들이 다른 모델의 출력을 보조 정보로 받았을 때, 평균적으로 LC win rate가 향상되는 실험 결과**로 입증되었다.

MoA는 **계층적 구조**를 가지며, 각 계층의 LLM은 이전 계층의 출력을 참고하여 응답을 생성한다. 이는 단순한 앙상블이 아닌, **반복적 협업**을 통해 품질을 점진적으로 개선하는 방식이다. 모델 선택 시에는 **성능**과 **다양성** 두 가지 기준을 고려하여, 각 계층에서 최적의 모델 조합을 구성한다.

기술적 접근법

**MoA 아키텍처**: 계층별로 여러 LLM을 배치하고, 이전 계층의 출력을 보조 정보로 사용.
**모델 선택 기준**:
성능: 각 계층의 평균 win rate를 기준으로 모델 선정.
다양성: 이질적인 모델의 출력이 품질 향상에 기여함.
**실험 환경**: AlpacaEval 2.0, MT-Bench, FLASK에서 평가.
**성능 비교**: GPT-4 Omni 대비 65.1% vs 57.5% (AlpacaEval 2.0).

주요 결과

**AlpacaEval 2.0**: 65.1% (GPT-4 Omni 대비 +7.6%)
**MT-Bench 및 FLASK**: SOTA 성능 달성
**비용 효율성**: GPT-4 Turbo와 유사한 성능을 2× 더 저렴한 비용으로 달성
**모델 종류**: 오픈소스 LLM만 사용하여도 GPT-4o를 앞선다.

의의 및 한계

MoA는 단일 LLM의 한계를 극복하고, **다중 모델 간의 협업을 통해 품질을 향상**시키는 새로운 패러다임을 제시한다. 특히, **LLM의 협업 현상**은 기존 연구에서 다루지 않았던 중요한 통찰이며, 이는 LLM 연구 및 응용 분야에 새로운 가능성을 열어준다.

하지만, MoA는 **다중 모델을 동시에 실행해야 하므로 계산 비용이 증가**할 수 있으며, **모델 선택 과정에서의 최적화가 필수적**이다. 또한, **모델 간의 출력이 충분히 유의미한 정보를 제공하지 못할 경우 협업 효과가 감소**할 수 있다.

실용적 활용

MoA는 **고품질 응답이 필요한 고객 지원, 콘텐츠 생성, 코드 생성 등 다양한 산업 분야**에 적용 가능하다. 특히, **비용 효율적인 방식으로 GPT-4 수준의 성능을 달성**할 수 있어, 기업의 LLM 도입 비용을 절감하는 데 유용하다. 또한, **모델 앙상블 기반의 추천 시스템**이나 **다중 전문가 시스템**에도 활용 가능하다.