benchmark-evaluation spatial-transcriptomics multi-agent-workflows genomics cross-modality-analysis single-cell-multiome local-repair workflow-coordination
Abstract
Designing multi-agent workflows is especially difficult in open-ended scientific settings where tasks lack curated training sets, reliable scalar evaluation metrics, and standardized interfaces between existing tools and agents. We propose AgentCo-op, a retrieval-based synthesis framework that composes reusable skills, tools, and external agents into executable workflows through typed artifact handoffs, then applies bounded self-guided local repair to implicated components when execution evidence indicates failure. In two open-world genomics case studies, AgentCo-op composes independently developed scientific agents and external tool repositories into auditable workflows without redesigning them or running global topology search. It coordinates specialized agents for spatial transcriptomics and gene-set interpretation to enable collaborative discovery from spatial transcriptomics data, and builds a parallel workflow for cross-modality marker analysis on single-cell multiome data. AgentCo-op can also import a searched workflow as a structural prior and improve it by grounding nodes with retrieved components and applying local repair, showing that synthesis and search are complementary. On six coding, math, and question-answering benchmarks, AgentCo-op achieves the best result on four benchmarks and the best average score under a unified backbone setting, while consistently reducing per-task cost relative to multi-agent baselines. Together, these results suggest that retrieval-based synthesis can extend automated agentic workflow design beyond benchmark-optimized agent graphs to open-world workflows built from existing agents, tools, and typed artifacts.
한국어 요약
한 줄 요약
**[멀티에이전트 워크플로우 / 과학 자동화]** AgentCo-op은 검색 기반 합성으로 기존 에이전트·도구·스킬을 typed artifact handoff로 조합해 실행 가능 워크플로우를 자동 구성하고 실행 증거로 국소 수리, 6 벤치마크 중 4개에서 최고·평균 점수 1위·비용 일관 절감.
핵심 기여도
- 개방형 과학 환경의 멀티에이전트 워크플로우 설계 난점(학습셋·평가 metric·표준 인터페이스 부재) 진단.
- AgentCo-op 프레임워크 제안 — 재사용 가능 스킬·도구·외부 에이전트를 typed artifact handoff로 합성.
- 실행 증거가 실패 시사 시 관련 컴포넌트에 한정된 self-guided local repair.
- 공간 전사체학·gene-set 해석 협업 워크플로우, 단일세포 multiome 병렬 워크플로우 등 genomics 두 사례 시연.
핵심 아이디어
멀티에이전트 워크플로우 자동 설계는 글로벌 토폴로지 탐색 대신 기존 에이전트·도구를 typed artifact로 검색·합성하고 실행 증거로 국소 수리하는 접근이 더 auditable·비용 효율적·개방형 도메인에 적합하다.
기술적 접근법
- **방법론**: Retrieval-based synthesis + bounded local repair.
- **핵심 기법**: (1) 재사용 가능 스킬·도구·외부 에이전트의 검색 라이브러리, (2) Typed artifact handoff로 컴포넌트 조합, (3) 실행 증거 기반 self-guided local repair, (4) Searched 워크플로우를 structural prior로 import해 retrieved 컴포넌트로 grounding, (5) Synthesis와 search의 보완성 활용.
주요 결과
- Genomics 두 사례에서 독립 개발 에이전트·도구를 재설계 없이 auditable 워크플로우로 조합.
- 코딩·수학·QA 6 벤치마크 중 4개에서 best, unified backbone 설정에서 best average score.
- 멀티에이전트 baseline 대비 task당 비용 일관 감소.
- Searched 워크플로우 import + local repair로 search·synthesis 보완성 실증.
의의 및 한계
**의의**: 벤치마크 그래프 너머 실세계 워크플로우 자동화 경로, 기존 자산 재활용으로 비용 효율, typed artifact 인터페이스의 일반 추상. **한계**: 컴포넌트 라이브러리 품질에 의존, genomics·코딩·수학 중심으로 다른 과학 도메인 일반화 추가 검증 필요, 큰 워크플로우에서 typed handoff 표준화 부담.
실용적 활용
- 과학 연구의 자동 분석 파이프라인 구성.
- 멀티에이전트 LLM 시스템 워크플로우 자동 설계.
- 도구·에이전트 마켓플레이스의 자동 통합.