Scaling Large-Language-Model-based Multi-Agent Collaboration

Recent breakthroughs in large language model-driven autonomous agents have revealed that multi-agent collaboration often surpasses each individual through collective reasoning. Inspired by the neural scaling law--increasing neurons enhances performance, this study explores whether the continuous addition of collaborative agents can yield similar benefits. Technically, we utilize directed acyclic graphs to organize agents into a multi-agent collaboration network (MacNet), upon which their interactive reasoning is topologically orchestrated for autonomous task solving. Extensive evaluations reveal that it effectively supports collaboration among over a thousand agents, with irregular topologies outperforming regular ones. We also identify a collaborative scaling law--the overall performance follows a logistic growth pattern as agents scale, with collaborative emergence occurring earlier than traditional neural emergence. We speculate this may be because scaling agents catalyzes their multidimensional considerations during interactive reflection and refinement, thereby producing more comprehensive artifacts. The code is available at https://github.com/OpenBMB/ChatDev/tree/macnet.

한 줄 요약

MacNet을 통해 1,000개 이상의 대형 언어 모델 기반 에이전트가 협력하는 구조와 성능을 분석하고, 협력적 스케일링 법칙을 제시한다.

핵심 기여도

MacNet이라는 다이내믹한 DAG 기반 협력 네트워크 구조 제안.
1,000개 이상의 에이전트가 협력하는 실험 수행, 정규 토폴로지보다 비정규 토폴로지가 성능 우수.
협력적 스케일링 법칙 발견: 정규화된 솔루션 품질이 로지스틱 성장 패턴을 따름.
협력적 에머전스가 신경망 에머전스보다 훨씬 빠르게 발생함을 관찰.

핵심 아이디어

MacNet은 에이전트 간 상호작용을 DAG(유한 순환 방향 그래프)를 통해 조직화하고, 위상 정렬(topological ordering)을 이용해 순차적인 추론을 유도한다. 이는 각 에이전트가 이전 솔루션을 개선하며, 전체 네트워크에서 최종 결과를 도출하도록 돕는다. 이 구조는 단순한 다수결 방식이 아닌, 기능적 분업과 순차적 개선을 통해 유기적인 협력을 가능하게 한다. 또한, 에이전트 간 대화에서 발생하는 다차원적 고려 요소가 증가함에 따라, 더 포괄적이고 정교한 결과물이 도출된다고 주장한다.

기술적 접근법

**MacNet**: DAG 기반의 에이전트 협력 네트워크.
**위상 정렬**: 에이전트 간 상호작용 순서를 결정.
**Supervisory Instructor & Executive Assistant**: 각 에지와 노드를 관리하는 역할 분담.
**Interaction Mechanism**: 이웃 에이전트가 이전 솔루션을 개선하고, 전체 대화가 아닌 개선된 결과만 전달.
**실험 대상 토폴로지**: chain, tree, graph 3가지, 6가지 변형.
**최대 에이전트 수**: 1,000개 이상.

주요 결과

**Small-world collaboration phenomenon**: 소월드 특성을 가진 토폴로지가 성능 우수.
**Collaborative scaling law**: 정규화된 솔루션 품질이 로지스틱 성장 패턴을 따름.
**Collaborative emergence**: 에이전트 수가 증가함에 따라 협력적 에머전스가 신경망 에머전스보다 훨씬 빠르게 발생.
**성능 비교**: MacNet이 기존 베이스라인 모델보다 일관되게 우수한 성능을 보임.

의의 및 한계

MacNet은 대규모 에이전트 협력의 구조적 기반을 제공하며, 자원 예측과 최적화에 중요한 통찰을 제시한다. 특히, 협력적 스케일링 법칙은 LLM 시스템의 확장성과 효율성을 향상시키는 데 기여할 수 있다. 그러나 실험은 특정 토폴로지와 상호작용 메커니즘에 국한되었으며, 다양한 도메인에서의 일반화 가능성은 추가 연구가 필요하다. 또한, 에이전트 간 대화의 복잡성 증가에 따른 연산 비용 증가도 한계로 지적된다.

실용적 활용

MacNet은 복잡한 문제 해결이 필요한 산업 분야(예: 자동화된 시스템 설계, 다국어 번역, 소프트웨어 개발)에서 대규모 에이전트 협력을 구현하는 데 활용될 수 있다. 또한, 연구 분야에서는 LLM 기반 에이전트의 확장성과 효율성 향상을 위한 기초 모델로 사용될 수 있다.