Multi-agent Architecture Search via Agentic Supernet

Large Language Model (LLM)-empowered multi-agent systems extend the cognitive boundaries of individual agents through disciplined collaboration and interaction, while constructing these systems often requires labor-intensive manual designs. Despite the availability of methods to automate the design of agentic workflows, they typically seek to identify a static, complex, one-size-fits-all system, which, however, fails to dynamically allocate inference resources based on the difficulty and domain of each query. To address this challenge, we shift away from the pursuit of a monolithic agentic system, instead optimizing the \textbf{agentic supernet}, a probabilistic and continuous distribution of agentic architectures. We introduce MaAS, an automated framework that samples query-dependent agentic systems from the supernet, delivering high-quality solutions and tailored resource allocation (\textit{e.g.}, LLM calls, tool calls, token cost). Comprehensive evaluation across six benchmarks demonstrates that MaAS \textbf{(I)} requires only $6\sim45\%$ of the inference costs of existing handcrafted or automated multi-agent systems, \textbf{(II)} surpasses them by $0.54\%\sim11.82\%$, and \textbf{(III)} enjoys superior cross-dataset and cross-LLM-backbone transferability.

한 줄 요약

MaAS는 다중 에이전트 시스템의 자동 설계를 위한 확률적 아키텍처 분포인 agentic supernet을 최적화하여, 다양한 쿼리에 맞춤형으로 자원을 할당하고 성능을 향상시킨다.

핵심 기여도

**agentic supernet**이라는 새로운 개념 도입: 확률적이고 연속적인 다중 에이전트 아키텍처 분포를 최적화.
**MaAS** 프레임워크 제안: 쿼리에 따라 agentic supernet에서 시스템을 샘플링하여, 토큰 비용을 6~45% 줄이며 성능은 0.54~11.82% 개선.
**GAIA, MATH, GSM8K 등 6개 벤치마크**에서 기존 시스템 대비 훈련/추론 비용을 낮추고, LLM 백본 및 데이터셋 간 이전 성능 향상.

핵심 아이디어

기존 자동 다중 에이전트 설계는 단일, 복잡한 시스템을 최적화하는 데 집중했으나, 이는 쿼리의 난이도와 도메인에 따라 자원을 유연하게 할당하지 못한다는 한계가 있었다. MaAS는 이 문제를 해결하기 위해 **agentic supernet**이라는 개념을 도입한다. 이는 다중 에이전트 아키텍처의 확률적이고 연속적인 분포를 의미하며, **controller 네트워크**를 통해 쿼리에 따라 적절한 아키텍처를 샘플링한다.

이 접근법은 단일 시스템 최적화에서 벗어나, 다양한 아키텍처의 분포를 최적화함으로써 **다양한 쿼리에 맞춤형으로 에이전트 시스템을 구성**할 수 있게 한다. 핵심적으로, **CoT, Multi-agent Debate, ReAct** 등 다양한 에이전트 오퍼레이터를 포함하며, 이들의 확률 분포를 파라미터화하여 학습한다.

기술적 접근법

**agentic supernet**: 다중 에이전트 아키텍처의 확률적, 연속적 분포를 모델링.
**controller 네트워크**: 쿼리에 따라 agentic supernet에서 아키텍처를 샘플링.
**Monte Carlo 샘플링**과 **텍스트 기반 그래디언트 추정**을 사용하여 분포 파라미터와 오퍼레이터를 동시에 업데이트.
**Early-exit 오퍼레이터** ($\mathbb{O}_{\text{exit}}$)와 **비용 제약** ($C(\cdot)$)을 포함한 3개의 핵심 구성 요소를 실험적으로 검증.

주요 결과

**GAIA, MATH, GSM8K 등 6개 벤치마크**에서 기존 시스템 대비 **토큰 비용 6~45% 감소**.
**성능 개선 폭 0.54~11.82%** (기존 시스템 대비).
**MATH 벤치마크**에서 AFlow 대비 **15% 훈련 비용, 25% 추론 비용 절감**.
**LLM 백본 및 데이터셋 간 이전 성능 우수**.

의의 및 한계

MaAS는 다중 에이전트 시스템 설계 패러다임을 **단일 시스템 최적화에서 분포 최적화로 전환**함으로써, 다양한 쿼리에 맞춘 유연한 자원 할당과 성능 향상을 동시에 달성한다. 이는 학술적으로는 **집단 지능의 자동화 및 자율화**를 촉진하며, 실용적으로는 **LLM 기반 서비스의 비용 효율성과 확장성**을 높인다.

그러나, **agentic supernet의 복잡성**은 학습 시간과 계산 자원을 증가시키는 한계가 있으며, **샘플링 기반 접근법**은 일부 경우 일관성 부족을 초래할 수 있다. 또한, **특정 도메인에 최적화된 오퍼레이터**가 포함되지 않은 경우 성능 저하가 발생할 수 있다.

실용적 활용

MaAS는 **코드 생성, 수학 추론, 웹 검색 등 다양한 도메인**에서 **LLM 기반 서비스의 자동화와 자원 최적화**에 활용 가능하다. 특히, **고비용 LLM API 사용을 줄이며, 다양한 난이도의 쿼리에 맞춘 맞춤형 에이전트 시스템 구성**이 필요한 산업 및 연구 환경에서 유용하다.