AgentGrad: Intervention-guided Prompt Optimization for Multi Agent Systems

Large language model (LLM)-based multi-agent systems (MAS) achieve strong performance by employing specialized multiple agents, yet their performance depends on the prompt design of each agent. For MAS prompt optimization, textual gradient methods that guide prompt updates using natural-language feedback have emerged as a leading paradigm. In this paper, we identify limitations in two stages of existing textual gradient approaches: gradient extraction and gradient aggregation. In gradient extraction, previous works select a target prompt without verifying whether modifying it resolves the failure, and derive gradients without agent-level supervision over the corresponding agent's intermediate output. In gradient aggregation, individual gradients are randomly grouped and concatenated, often mixing unrelated failure modes and producing prompts that fail to generalize. To address these limitations, we propose AgentGrad, a prompt optimization framework for multi-agent systems based on sequential intervention and semantic textual gradient abstraction. For each failure, sequential intervention modifies the behavior of one agent at a time to identify the target agent whose modification resolves the failure. The modified output of the target agent then serves as agent-level supervision for extracting a fine-grained gradient. Semantic textual gradient abstraction clusters semantically similar gradients to prevent mixing unrelated failure modes, and abstracts each cluster into a generalized gradient that captures the shared corrective pattern. Experimental results show that AgentGrad achieves state-of-the-art performance across five MAS benchmarks and reduces wall-clock optimization time by 2.5times on average compared to the next-fastest baseline.

한 줄 요약

AgentGrad는 순차적 개입과 의미론적 텍스트 그라디언트 추상화를 통해 다중 에이전트 시스템의 프롬프트 최적화 성능을 2.5배 빠르게 개선하는 프레임워크다.

핵심 기여도

**Sequential Intervention**을 도입하여, 실패 원인을 해결하는 특정 에이전트를 식별하고, 해당 에이전트의 수정된 출력을 사용해 세부적인 그라디언트를 추출.
**Semantic Textual Gradient Abstraction**을 통해 의미적으로 유사한 그라디언트를 클러스터링하고, 일반화된 그라디언트로 추상화하여 과적합을 방지.
5개의 MAS 벤치마크에서 기존 최고 성능을 달성하며, 벽시계 최적화 시간을 평균 2.5× 감소.
HotpotQA와 PUPA에서 TI(+1.44~+3.84), AS(+1.56~+2.65), STGA(+2.56~+3.55) 각 구성요소의 기여도를 실험적으로 검증.

핵심 아이디어

기존 텍스트 그라디언트 방법은 **그라디언트 추출**과 **그라디언트 집약** 단계에서 한계가 있었다. 예를 들어, 실패 원인을 해결하는 특정 에이전트를 식별하지 않고 무작위로 그라디언트를 결합하면, 무관한 실패 모드가 섞여 일반화가 어려워진다. AgentGrad는 이 문제를 해결하기 위해 **Sequential Intervention**을 도입한다. 이는 하나의 에이전트씩 행동을 수정하며, 실패를 해결하는 에이전트를 식별하고, 그 에이전트의 수정된 출력을 **에이전트 수준의 의사 라벨**로 사용해 세부적인 그라디언트를 추출한다.

또한, **Semantic Textual Gradient Abstraction**은 의미적으로 유사한 그라디언트를 클러스터링하여, 공통된 수정 패턴을 포착한 일반화된 그라디언트를 생성한다. 이는 무작위 그라디언트 결합으로 인한 과적합을 방지하고, 더 나은 일반화를 가능하게 한다.

기술적 접근법

**Sequential Intervention**: 실패 원인을 해결하는 에이전트를 하나씩 수정하며 식별. 예: 힌트 주입(hint injection)을 통해 개입.
**Agent-level supervision**: 수정된 에이전트의 출력을 사용해 세부 그라디언트 추출.
**Semantic Textual Gradient Abstraction**: 의미 유사도 기반 클러스터링 후, 각 클러스터를 하나의 일반화된 그라디언트로 추상화.
**데이터셋**: HotpotQA, HoVer, IFBench, PUPA, MATH.
**모델**: Qwen3-8B, GPT-5-mini.
**비교 대상**: TextGrad, GEPA, MIPROv2.

주요 결과

5개 MAS 벤치마크에서 **기존 최고 성능** 달성.
**벽시계 최적화 시간**을 평균 **2.5× 감소**.
**HotpotQA**: TI(+1.44), AS(+1.56), STGA(+2.56).
**PUPA**: TI(+3.84), AS(+2.65), STGA(+3.55).
GPT-5-mini와 Qwen3-8B 모두에서 성능 개선.

의의 및 한계

AgentGrad는 다중 에이전트 시스템의 프롬프트 최적화에서 **정확성과 효율성**을 동시에 향상시킨다. 특히, **에이전트별 책임 식별**과 **의미 기반 그라디언트 추상화**는 기존 방법의 한계를 극복하는 핵심 기술이다. 그러나, 이 방법은 **에이전트별 개입이 필요한 반복적 과정**이므로, 대규모 에이전트 시스템에서는 계산 비용이 증가할 수 있다. 또한, **에이전트의 수정이 실패를 해결하지 못하는 경우**에는 효과가 제한될 수 있다.

실용적 활용

AgentGrad는 복잡한 다중 에이전트 시스템에서 **자동 프롬프트 최적화**가 필요한 산업 및 연구 분야에 적용 가능하다. 예를 들어, **다단계 추론**, **정보 통합**, **개인 정보 보호** 등 다양한 작업을 수행하는 시스템에서 성능을 향상시키는 데 활용할 수 있다. 특히, **LLM 기반 고객 지원 시스템**이나 **협업형 AI 플랫폼**에서 실용적 가치가 높다.

Abstract

한국어 요약