Automated Design of Agentic Systems

Researchers are investing substantial effort in developing powerful general-purpose agents, wherein Foundation Models are used as modules within agentic systems (e.g. Chain-of-Thought, Self-Reflection, Toolformer). However, the history of machine learning teaches us that hand-designed solutions are eventually replaced by learned solutions. We describe a newly forming research area, Automated Design of Agentic Systems (ADAS), which aims to automatically create powerful agentic system designs, including inventing novel building blocks and/or combining them in new ways. We further demonstrate that there is an unexplored yet promising approach within ADAS where agents can be defined in code and new agents can be automatically discovered by a meta agent programming ever better ones in code. Given that programming languages are Turing Complete, this approach theoretically enables the learning of any possible agentic system: including novel prompts, tool use, workflows, and combinations thereof. We present a simple yet effective algorithm named Meta Agent Search to demonstrate this idea, where a meta agent iteratively programs interesting new agents based on an ever-growing archive of previous discoveries. Through extensive experiments across multiple domains including coding, science, and math, we show that our algorithm can progressively invent agents with novel designs that greatly outperform state-of-the-art hand-designed agents. Importantly, we consistently observe the surprising result that agents invented by Meta Agent Search maintain superior performance even when transferred across domains and models, demonstrating their robustness and generality. Provided we develop it safely, our work illustrates the potential of an exciting new research direction toward automatically designing ever-more powerful agentic systems to benefit humanity.

한 줄 요약

Meta Agent Search를 통해 코드 공간에서 자동으로 설계된 에이전트 시스템이 기존 수작업 에이전트를 크게 초과함.

핵심 기여도

**Meta Agent Search**라는 알고리즘을 제안하여, 코드 공간에서 에이전트를 자동 생성함.
**GSM8K**와 **GSM-Hard** 수학 과제에서 각각 25.9%와 13.2%의 정확도 향상.
**DROP** 읽기 이해 과제에서 F1 점수 13.6/100 개선.
**도메인 이전** 시에도 성능 유지, 일반화 능력 입증.

핵심 아이디어

기존 에이전트 시스템은 수작업으로 설계되며, 이는 시간 소요와 제한적 유연성을 초래한다. 본 연구는 **Automated Design of Agentic Systems (ADAS)**라는 새로운 연구 분야를 제안하며, **Turing Complete** 언어인 Python을 기반으로 에이전트를 코드로 정의하고, **meta agent**가 이를 기반으로 새로운 에이전트를 자동 생성하는 방식을 제시한다. 이는 기존 수작업 방식을 학습 기반으로 대체하는 전략으로, **prompt, tool use, workflow** 등 다양한 구성 요소를 포함한 에이전트를 자동으로 발명할 수 있다는 이론적 가능성을 제시한다. 특히, **Meta Agent Search** 알고리즘은 **이전 발견된 에이전트를 기반으로 새로운 에이전트를 반복적으로 생성**하며, **"interestingness"** 기준을 사용해 탐색을 유도한다.

기술적 접근법

**Meta Agent Search** 알고리즘은 **Foundation Model (FM)**을 기반으로 작동하며, **code space**에서 에이전트를 생성.
**archive**에 이전 발견된 에이전트를 저장하고, 이를 다음 반복에서 활용.
**Turing Complete** 언어를 사용하여, **prompt, tool use, workflows** 등 모든 구성 요소를 코드로 표현 가능.
**GPT-3.5, Claude** 등 다양한 FM을 실험에 사용.
**ARC, DROP, MGSM, GSM8K, GSM-Hard** 등 다중 도메인에서 실험 수행.

주요 결과

**GSM8K** 수학 과제에서 정확도 25.9% 향상 (기존 수작업 대비).
**GSM-Hard** 수학 과제에서 정확도 13.2% 향상.
**DROP** 읽기 이해 과제에서 F1 점수 13.6/100 개선.
**도메인 이전** 시에도 성능 유지, 일반화 능력 입증됨.
**ARC** 논리 퍼즐 과제에서도 기존 에이전트를 초과함.

의의 및 한계

**ADAS**는 기존 수작업 에이전트 설계를 자동화할 수 있는 **새로운 연구 방향**으로, **AI-Generating Algorithms (AI-GA)**의 발전에 기여.
**Meta Agent Search**는 **Foundation Model API만으로 구현 가능**하며, 고가의 하드웨어(예: GPU) 없이도 작동.
그러나 **모델의 정렬 문제**와 **코드 생성 시 파괴적 행동 가능성**이 존재하며, **containerized execution**, **수동 검토**, **경고 메시지 삽입** 등 안전 조치가 필요.
현재는 **단일 단계 QA 과제**에만 적용되었으며, **복잡한 환경**이나 **다중 목표 최적화**는 아직 해결되지 않음.

실용적 활용

**건강, 경제, 과학** 등 다양한 분야에서 **자동 설계된 에이전트**를 통해 **신뢰성 있는 AI 시스템** 개발 가능.
**LangChain, RAG, 검색 엔진** 등 기존 도구와 결합하여 **복잡한 에이전트 시스템**을 효율적으로 설계할 수 있음.
**Self-improving AI** 개발에 기초가 되며, **Constitutional AI** 등 안전 기술과 결합하여 **인간 가치에 맞춘 AI**를 설계하는 데 활용 가능.