Learning to Communicate Locally for Large-Scale Multi-Agent Pathfinding

Multi-agent pathfinding (MAPF) is a widely used abstraction for multi-robot trajectory planning problems, where multiple homogeneous agents move simultaneously within a shared environment. Although solving MAPF optimally is NP-hard, scalable and efficient solvers are critical for real-world applications such as logistics and search-and-rescue. To this end, the research community has proposed various decentralized suboptimal MAPF solvers that leverage machine learning. Such methods frame MAPF (from a single agent perspective) as a Dec-POMDP where at each time step an agent has to decide an action based on the local observation and typically solve the problem via reinforcement learning or imitation learning. We follow the same approach but additionally introduce a learnable communication module tailored to enhance cooperation between agents via efficient feature sharing. We present the Local Communication for Multi-agent Pathfinding (LC-MAPF), a generalizable pre-trained model that applies multi-round communication between neighboring agents to exchange information and improve their coordination. Our experiments show that the introduced method outperforms the existing learning-based MAPF solvers, including IL and RL-based approaches, across diverse metrics in a diverse range of (unseen) test scenarios. Remarkably, the introduced communication mechanism does not compromise LC-MAPF's scalability, a common bottleneck for communication-based MAPF solvers.

📋 한 줄 요약

**[멀티에이전트 / 경로 계획]** 학습 가능한 국소 통신 모듈을 추가해 대규모 분산 다중에이전트 경로찾기(MAPF)에서 학습 기반 방법들을 능가하는 사전 학습 모델 LC-MAPF 제안.

🎯 핵심 기여도

분산형 학습 기반 MAPF 해법들이 Dec-POMDP로 단일 에이전트 관점에서 행동을 결정하는 한계를 진단하고, 협력 강화를 위한 명시적 통신의 필요성 정립.
이웃 에이전트 간 다중 라운드 통신으로 특징을 교환하는 학습형 통신 모듈을 통합한 일반화 가능한 사전 학습 모델 LC-MAPF 설계.
다양한 미관측 시나리오에서 IL·RL 기반 기존 학습형 MAPF 해법을 다양한 지표에서 능가.
통신 모듈이 일반적인 통신 기반 MAPF 해법의 병목인 확장성을 손상시키지 않음을 입증.

💡 핵심 아이디어

완전한 분산 의사결정과 글로벌 좌표가 모두 비현실적인 대규모 MAPF에서 핵심은 "국소 통신"의 효율성이며, 이를 학습 가능한 모듈로 모델링하면 협력과 확장성을 동시에 잡을 수 있다.

🔬 기술적 접근법

**모델/방법론**: 사전 학습 가능한 분산 MAPF 정책 LC-MAPF, 이웃 에이전트 사이 다중 라운드 메시지 교환 모듈 부착.
**핵심 기법**: Dec-POMDP 프레이밍 위에 국소 관측 + multi-round local communication을 입력으로 받는 정책 네트워크, IL·RL 결합 학습 (구체 비율은 본문 참조).

📊 주요 결과

미관측 테스트 시나리오 전반에서 IL·RL 기반 학습형 MAPF 베이스라인을 다양한 지표에서 능가.
통신 도입에도 불구하고 확장성 손실 없음.
다양한 환경 크기·에이전트 밀도에서 일반화 보고.

💭 의의 및 한계

**의의**: 학습형 MAPF의 실용성을 끌어올리며 물류·창고 자동화·다중 로봇 시스템에서의 적용 가능성을 확장. **한계**: 통신 채널이 이상적이라는 가정에 기반, 통신 지연·손실이 큰 실환경에서의 견고성은 추가 검증 필요.

🚀 실용적 활용

창고 자동화 다중 로봇 경로 계획(Amazon 로보틱스류).
무인 항공기 군집 비행 충돌 회피.
자율 차량의 협력 주행 시뮬레이션 환경.