AgentRoom: Concurrent Multi-Agent Coding in a CRDT-Backed Shared Workspace

Concurrent multi-agent coding promises division of labor across modules, robustness through redundancy, and parallel exploration at the natural granularity of multi-file projects. Realtime collaborative editing protocols solve this coordination problem for human teams via Conflict-free Replicated Data Types (CRDTs), but the LLMs underneath generate one token at a time and existing multi-agent coding systems inherit this serial limit: they either sequence agents through phase handoffs or pool independent samples without coordination, and a single agent abandons up to half of hard tasks with a one-file stub-and-exit. AgentRoom is a realtime collaborative editing protocol for concurrent coding agents. Its runtime layer exposes file-level claim, status, and broadcast as MCP tools on a CRDT-merged shared filesystem. Five frontier coding-CLI models ran four backend coding tasks, with cross-language checks in Python DevBench and Rust+axum. For CLI-stable models, AgentRoom with 2 agents abandons fewer tasks than Solo and has less run-to-run variation. At matched-compute, one positive mean LLM-judge contrast puts AgentRoom over parallel-merge. The other contrast, a bundle probe, puts full AgentRoom above each partial case: an ordering rather than a percentage split. Coordination, not parallelism or CRDT-merge, bears the load.

한 줄 요약

AgentRoom은 CRDT 기반 공유 워크스페이스에서 동시 다중 에이전트가 협업하는 실시간 프로토콜로, 파일 수준 클레임과 브로드캐스트를 통해 협업 실패를 억제한다.

핵심 기여도

AgentRoom은 파일 수준 클레임, 상태, 브로드캐스트를 MCP 도구로 노출하여 동시 협업을 가능하게 한다.
CLI-stable 모델에서 2개 에이전트의 AgentRoom은 Solo 대비 13.7배 적은 작업 포기율을 보인다 (p < 10⁻⁵).
LLM-judge 평가에서 AgentRoom은 parallel-merge 대비 +0.213의 평균 품질 우위를 보인다 (p = 0.003).
CRDT-merge가 아닌 명시적 협업 채널이 성능 향상의 주요 요인임을 밝힘.

핵심 아이디어

기존 다중 에이전트 코딩 시스템은 순차적 턴-테이킹 또는 비협업적 병렬 처리를 따르며, 단일 에이전트는 최대 50%의 작업을 포기하는 'stub-and-exit' 패턴을 보인다. AgentRoom은 CRDT-merged 공유 파일 시스템 위에 MCP 도구를 구축하여 명시적 협업을 가능하게 한다. 파일 수준 클레임(`room_claim`)과 상태(`room_state`)를 통해 에이전트가 작업 영역을 협의하고, 브로드캐스트(`room_broadcast`)를 통해 의도를 공유함으로써 협업 실패를 억제한다. 이는 CodeCRDT와 달리 역할 미할당 및 명시적 협의를 기반으로 하며, CRDT의 병합 능력이 아닌 명시적 채널이 핵심이다.

기술적 접근법

**CRDT-merged 공유 파일 시스템** 위에 MCP(Mode Context Protocol) 도구를 구축.
MCP 도구: `room_claim`, `room_release`, `room_state`, `room_broadcast`, `room_read`
5개의 최첨단 코딩 모델 (Claude Sonnet 4.6, Haiku 4.5, GPT-5.4, GPT-5.4-mini, Gemini 3 Flash) 사용.
4개의 백엔드 코딩 작업 수행, Python DevBench과 Rust+axum에서 cross-language 검증.
실험 조건: AgentRoom, Shared-only, Parallel-merge.
벽시계 예산: T1/T2/T3 300초, T4 600초, T5 900초.
평가 지표: LLM-judge 연속 품질 점수, 포기율, CRDT 충돌 수, 브로드캐스트 메시지 수.

주요 결과

CLI-stable 모델에서 AgentRoom(2 에이전트)은 Solo 대비 작업 포기율이 13.7배 낮음 (95% CI [3.9, 48], p < 10⁻⁵).
LLM-judge 평가에서 AgentRoom은 parallel-merge 대비 +0.213의 평균 품질 우위 (p = 0.003).
CRDT-merge 대비 전체 AgentRoom이 부분적 케이스를 초과함 (ordering).
Rust+axum에서 AgentRoom ×2는 Solo 대비 0.740 vs 0.714의 LLM-judge 점수.
DevBench Python 프로젝트에서 AgentRoom ×2는 8/10 성공 vs Solo 7/10.

의의 및 한계

AgentRoom은 명시적 협업 채널을 통해 단일 에이전트의 'stub-and-exit' 실패를 억제하며, CRDT-merge가 아닌 협업 프로토콜이 핵심임을 입증한다. 기존 CodeCRDT와 비교하면, 명시적 클레임과 브로드캐스트가 충돌을 줄이고 협업 품질을 향상시킨다. 그러나 일부 실험 셀은 통계적으로 약한 (underpowered) 상태이며, 모델 종속성과 재현성 문제도 존재한다. 또한, 일부 실험은 제조사 CLI의 제약으로 인해 bit-for-bit 재현 불가능하다.

실용적 활용

AgentRoom은 복잡한 다중 파일 백엔드 개발, 크로스-언어 프로젝트, 실시간 협업 환경에서 적용 가능하다. 특히, 병렬 처리와 CRDT-merge를 넘어서는 명시적 협업 프로토콜이 필요한 산업 개발 환경에서 유용하다.