When Cloud Agents Meet Device Agents: Lessons from Hybrid Multi-Agent Systems

The design space of agentic AI inference spans two extremes: frontier large language models (LLMs), typically hosted in the cloud and offering strong performance across a wide range of tasks at substantially high cost, and more cost-efficient small language models (SLMs), which are amenable to on-device inference. Hybrid multi-agent systems (MASs) combining on-device and cloud models offer a promising middle ground, but they also introduce a complex and poorly understood design space in which task accuracy, monetary cost, and edge energy consumption are tightly coupled; in the absence of general design principles, hybrid components, although not the most prevalent choice, are typically introduced through ad hoc decisions tailored to specific domains. In this work, we examine this design space more systematically. We adapt two representative MAS architectures to support hybrid inference and study how individual design choices shift the operating point along the Pareto frontier of power, cost, and performance. Our findings paint a nuanced picture of hybrid MAS design: while SLMs can effectively benefit from LLM assistance, the optimal architecture is highly task-dependent, and greater frontier-level compute does not consistently translate to better performance.

📋 한 줄 요약

**[Hybrid Multi-Agent System / Cloud-Device]** 두 대표 MAS 아키텍처를 hybrid inference로 적응해 power·cost·performance Pareto frontier 체계 분석 — SLM이 LLM 보조로 효과적이나 최적 architecture는 task 의존, frontier compute가 더 좋은 성능을 보장 안 함.

🎯 핵심 기여도

Agentic AI inference의 design space가 두 극단 — frontier LLM(cloud 호스트, 광범위 task에 강한 성능·상당 비용)과 cost-efficient SLM(on-device inference 가능) — 사이 위치함을 정의.
On-device·cloud 모델 결합 hybrid MAS가 promising middle ground 제공하지만, task accuracy·monetary cost·edge energy consumption이 tightly coupled된 complex·poorly understood 설계 공간 도입 — general 디자인 원칙 부재로 hybrid 컴포넌트가 도메인 특화 ad hoc 결정으로 도입되는 현실.
이 design space를 systematically 검토 — 두 대표 MAS 아키텍처를 hybrid inference로 적응, 개별 디자인 선택이 power·cost·performance Pareto frontier상 operating point를 어떻게 shift하는지 연구.
결과가 nuanced — SLM이 LLM 보조로 효과적으로 benefit 받을 수 있지만, 최적 아키텍처는 highly task-dependent, frontier-level compute가 consistent 더 좋은 성능으로 translate되지 않음.

💡 핵심 아이디어

Hybrid MAS 설계 공간의 nuance는 cost·power·performance 사이 trade-off가 task에 따라 크게 달라지는 데서 발생하며, frontier compute가 무조건 우월하지 않다는 사실은 SLM·LLM 결합의 신중한 task-specific 설계가 필요함을 의미한다.

🔬 기술적 접근법

**방법론**: Hybrid MAS 아키텍처의 systematic Pareto 분석.
**핵심 기법**: (1) 두 대표 MAS 아키텍처를 hybrid inference 지원으로 적응, (2) Cloud LLM과 device SLM 결합 다양 디자인 선택 변주, (3) Power·monetary cost·task accuracy 3축 동시 측정, (4) Pareto frontier상 operating point shift 분석, (5) Task-dependent 최적 아키텍처 발견.

📊 주요 결과

SLM이 LLM 보조로 효과적 benefit 가능.
최적 아키텍처는 highly task-dependent.
Frontier-level compute가 consistent 더 좋은 성능으로 translate되지 않음.
Hybrid MAS의 nuanced 디자인 가이드 제시.

💭 의의 및 한계

**의의**: Hybrid agentic system 설계의 design space 체계화, frontier compute의 비례 가정 반박, task-dependent 최적화의 정량 가이드 제공, edge·cloud 통합 시스템의 실용 원칙. **한계**: 두 대표 MAS 아키텍처 중심으로 다른 아키텍처 일반화 추가 검증, task 의존성의 일반 패턴 추출 후속, edge energy 측정의 hardware 의존성.

🚀 실용적 활용

Cloud-edge hybrid agent 시스템 설계.
비용·전력 최적 LLM·SLM 라우팅.
Production agentic AI의 deployment 결정 가이드.