The capabilities of an agent swarm depend on both its individual members and how they coordinate. Yet existing multi-agent systems often train agents within fixed orchestration structures, separating the learning of individual capabilities from the organization of collective behavior. We introduce market-based post-training (MPT), a framework for jointly learning action policies and self-orchestration in decentralized agent swarms. Agents express their willingness to participate through bids, which determine who acts and how collective outcomes provide local training credit. Learning both action and bidding behavior allows individual capabilities and patterns of participation to adapt together without a central coordinating agent. We evaluate MPT on embodied crafting, robot navigation, and deep research. Results show gains over monolithic post-training and confirm that agent participation indeed evolves with learning. With the same post-trained action policies, learned self-orchestration outperforms alternative coordination strategies. Ablations show that both action and bidding benefit from learning, and that learned bids provide more effective action-training signals. Beyond the original training objectives, trained swarms adapt faster to related tasks and achieve better performance with larger populations at inference time. Larger populations also suffer smaller performance losses under agent dropout, demonstrating that learned self-orchestration supports reuse, scaling, and robustness in decentralized agent swarms. Code and trained models are available at https://github.com/Embodied-Minds-Lab/MPT.
한 줄 요약
분산 에이전트 군집에서 행동 정책과 자기 조직화를 동시에 학습하는 MPT 프레임워크를 제안한다.
핵심 기여도
- MPT(Market-based Post-training)를 통해 행동 정책과 자기 조직화를 동시에 학습.
- Iron Pickaxe 데이터셋에서 Graph-of-Agents 대비 63.4%의 평균 에피소드 보상 개선.
- 학습된 입찰(bidding)이 행동 학습에 더 효과적인 신호를 제공함을 실험적으로 입증.
- 더 많은 에이전트가 참여할수록 성능 향상과 견고성 증가를 관찰.
핵심 아이디어
기존 연구는 에이전트의 행동 정책과 조직화를 분리하여 학습하지만, 이 논문은 두 요소를 결합하여 동시에 학습하는 MPT 프레임워크를 제안한다. MPT는 각 에이전트가 현재 상태에서 참여 의지를 입찰(bid)으로 표현하고, 이 입찰을 기반으로 누가 행동할지 결정한다. 또한, 집단적 결과를 통해 참여 에이전트에게 학습 신호를 할당한다. 이는 참여 결정과 학습 신호 할당을 결합한 경제적 인센티브 구조를 통해, 에이전트가 스스로 어떤 상황에서 어떤 행동을 해야 하는지, 그리고 누가 참여해야 하는지를 학습하게 만든다. 핵심 통찰은, 단일 에이전트 중심의 학습이 아닌, 집단 내 상호작용을 통해 조직화와 행동 정책이 함께 진화할 수 있다는 점이다.
기술적 접근법
- **MPT(Market-based Post-training)**: 분산 에이전트 군집에서 행동 정책과 자기 조직화를 동시에 학습하는 프레임워크.
- **입찰(bidding)**: 각 에이전트는 참여 의지를 수치로 표현하며, 이는 누가 행동할지 결정.
- **신용 할당(credit assignment)**: 집단적 결과를 바탕으로 참여 에이전트에게 학습 신호를 할당.
- **Counterfactual 비교**: 에이전트는 실제 참여와 가상 참여를 비교하며 입찰 정책을 학습.
- **하이퍼파라미터**: 명시되지 않음.
- **학습 데이터셋**: Embodied crafting, robot navigation, deep research.
주요 결과
- Iron Pickaxe 데이터셋에서 Graph-of-Agents 대비 63.4%의 평균 에피소드 보상 개선.
- 학습된 자기 조직화는 동일한 행동 정책으로도 대안 협력 전략보다 우수한 성능을 보임.
- 더 많은 에이전트가 참여할수록 성능 향상 및 견고성 증가.
- 에이전트 드롭아웃 시, 더 큰 군집은 성능 저하가 적음.
의의 및 한계
MPT는 분산 에이전트 군집에서 행동 정책과 자기 조직화를 동시에 학습할 수 있는 새로운 접근법을 제시한다. 이는 기존의 고정된 조직 구조를 벗어나, 에이전트가 경험을 통해 스스로 조직화를 학습하도록 유도한다. 학습된 자기 조직화는 재사용성, 확장성, 견고성을 모두 향상시키며, 다양한 태스크와 군집 크기에 유연하게 대응할 수 있다. 그러나 본 연구는 특정 데이터셋과 환경에서만 평가되었으며, 실제 산업 환경에서의 적용 가능성은 추가 연구가 필요하다. 또한, 하이퍼파라미터나 구체적인 학습 알고리즘 세부사항은 명시되지 않았다.
실용적 활용
MPT는 로봇 군집 제어, 분산형 AI 연구 협업, 복잡한 제조 시스템 등에서 활용 가능하다. 특히, 에이전트가 스스로 조직화하며 유연하게 대규모 시스템을 운영할 수 있어, 스케일업이 필요한 산업 분야에 적합하다.