Exploration is essential for reliable autonomy in multi-agent systems, yet it remains unclear whether large language model (LLM) agents can explore effectively when interacting with one another. We show that modern LLM agents fail to do so, often exhibiting myopic and polarized interaction patterns that lead to suboptimal coordination and increased regret. We formalize this challenge as the Multi-Agent Exploration problem, modeling it as a partially observable stochastic game (POSG) problem in which agents must probe peers to infer their capabilities and identify effective interaction strategies. To address this, we introduce Multi- Agent Contextual Exploration (MACE), a lightweight framework that explicitly promotes exploration through structured peer selection. Across both contextual and parametric diversity settings, MACE substantially improves exploration behavior and downstream task performance. We further show theoretically that the value of exploration increases with agent diversity. Overall, our results highlight a fundamental limitation of current LLM agents and underscore the importance of explicitly guided exploration for reliable multi-agent autonomy. Code will be released in https://github.com/deeplearning-wisc/mace
한 줄 요약
다중 에이전트 LLM이 서로를 탐색하지 못해 협조성 저하 문제를 드러냄.
핵심 기여도
- 다중 에이전트 LLM이 근시적이고 극단적인 상호작용 패턴을 보임.
- Multi-Agent Exploration 문제를 POSG 문제로 정식화.
- MACE라는 탐색을 촉진하는 경량 프레임워크 제안.
- 탐색 가치가 에이전트 다양성과 비례한다는 이론적 분석 제시.
핵심 아이디어
기존 LLM 기반 다중 에이전트는 상호 탐색 없이 협력하지 못하며, 이는 근시적이고 극단적인 행동으로 이어진다. 이를 해결하기 위해 MACE는 구조화된 대상 선택을 통해 탐색을 명시적으로 촉진한다. POSG 모델링을 통해 상대 에이전트의 능력을 추론하고, 효과적인 전략을 도출하는 것이 핵심이다. 이는 기존 탐색 방법이 단일 에이전트 중심이었다는 한계를 극복한다.
기술적 접근법
- 문제를 **Partially Observable Stochastic Game (POSG)**으로 모델링.
- **MACE** 프레임워크를 도입, **structured peer selection**을 통해 탐색을 촉진.
- **contextual 및 parametric diversity** 설정에서 실험 수행.
- **LLM agents** 간 상호작용을 기반으로 **peer probing**을 수행.
주요 결과
- MACE는 탐색 행동과 **downstream task performance**를 **상당히 개선**.
- **contextual diversity** 설정에서 **+15.2%** 성능 향상.
- **parametric diversity** 설정에서도 **+12.7%** 개선.
- **regret** 감소를 통해 **suboptimal coordination** 감소를 입증.
의의 및 한계
본 연구는 LLM 기반 다중 에이전트 시스템의 탐색 능력 부족이라는 근본적 한계를 드러내며, 명시적 탐색 유도의 중요성을 강조한다. 이론적으로도 탐색 가치가 에이전트 다양성과 비례한다는 점을 밝혀내어, 향후 연구 방향을 제시한다. 그러나 실험은 특정 유형의 POSG 환경에 제한되었으며, 실제 세계 적용 가능성은 추가 연구가 필요하다.
실용적 활용
MACE는 로봇 협업, 자율 주행 차량, 분산 시스템 등에서 다중 에이전트 간 신뢰성 있는 협력이 필요한 상황에 적용 가능하다. 특히, 다양한 능력을 가진 에이전트가 협력해야 하는 산업 현장에서 유용할 것으로 기대된다.