Agora: Git as Shared Memory for Collective AutoResearch

Autonomous research loops such as AutoResearch show that one coding agent can improve a training setup unattended. Run several of them and each session starts from scratch, so more agents tend to mean more duplicated search rather than more discovery. Agora is a shared memory for such agents: research is recorded as an append-only directed acyclic graph (DAG) stored in Git, so that every claim is a commit anyone can check out and rerun. Each result, insight, hypothesis, verification, and report is an immutable commit whose parent edges say what it builds on; a derived index exposes the frontier, the neglected branches, and the verification status of each claim, and a diversity-aware selection rule keeps the community from collapsing onto one leader. We describe the system and report its first sustained use: a run of nearly 12 days in which 13 language-model workers, with no assigned tasks and no central planner, worked on a weight-transfer problem. Given 141 pretrained donor models and a frozen 119.6M-parameter attention-SSM hybrid whose dimensions match no donor, the workers had to initialize the target without training data or gradient updates. They published 1,703 contributions and drove the evaluator from 3.39 to 1.899 bits per byte, closing 62% of the gap to a trained GPT-2 124M. The winning recipe compresses donor next-token statistics into the target's embedding and output head, then adds a short-range context signal through sparse edits to attention, feed-forward, and state-space blocks. Its 145-commit ancestry spans 15 accounts, and 165 independent reproductions were posted, none of which failed. We describe the single mid-run human intervention that pulled the community out of a monoculture, what the trace does and does not establish, and the controlled comparison that would settle whether shared research state improves discovery per unit of compute.

한 줄 요약

Agora는 Git 기반의 공유 메모리 시스템으로, 자율 연구 에이전트 간 협업을 촉진하고 중복 탐색을 줄인다.

핵심 기여도

Git 기반의 append-only DAG를 사용해 연구 기록을 불변의 커밋으로 저장.
13개의 자율 에이전트가 12일간 무작업 지시로 1,703개의 기여를 생성, 62%의 성능 향상 달성.
165회 재현 실험 중 실패 없이, 최종 레시피는 145개 커밋, 15개 계정의 협업 결과.
단일 중간 개입으로 단일 리더 중심의 단일화 상태를 1일 내 탈출.

핵심 아이디어

Agora는 연구 과정을 Git의 DAG 구조로 저장함으로써, 연구 결과의 불변성과 추적 가능성을 보장한다. 각 커밋은 결과, 가설, 검증, 보고서를 포함하며, 부모-자식 관계로 어떤 기반 위에서 발전했는지를 명확히 나타낸다. 이는 연구 커뮤니티가 중복 탐색을 줄이고, 다양한 접근법을 탐색하도록 유도한다. 특히, diversity-aware selection rule은 단일 리더 중심의 단일화를 방지하며, derived index는 탐색의 전선(frontier)과 무시된 분기(branch)를 시각화한다.

기술적 접근법

**Git 기반 DAG**: 모든 연구 기록은 append-only 방식으로 Git 커밋에 저장.
**Derived Index**: DAG를 기반으로 생성된 인덱스로, 탐색 전선, 무시된 분기, 검증 상태를 추적.
**Diversity-aware Selection Rule**: 단일 리더 중심의 단일화를 방지하는 알고리즘.
**13개 자율 에이전트**: 12일간 141개의 사전 학습된 donor 모델과 119.6M 파라미터의 attention-SSM 하이브리드 모델을 사용해 weight-transfer 문제 해결.
**1,703개의 기여**: 165회 재현 실험, 145개 커밋의 레시피, 15개 계정의 협업.

주요 결과

**Evaluator 성능**: 3.39에서 1.899 bits per byte로 향상, GPT-2 124M 대비 62%의 성능 차이 감소.
**재현 실험**: 165회 중 실패 없음.
**레시피**: donor 모델의 next-token 통계를 타겟의 embedding 및 output head로 압축, attention, feed-forward, state-space 블록에 short-range context 신호 추가.
**단일 개입 효과**: 5일간 단일 레시피 개선 후, 지도 없이 1일 내 탈출.

의의 및 한계

Agora는 연구 커뮤니티의 중복 탐색을 줄이고, 협업과 재현을 촉진함으로써 연구 효율성을 높인다. 특히, Git 기반의 불변 기록과 DAG 구조는 연구의 신뢰성과 추적 가능성을 강화한다. 그러나 본 연구는 Agora의 효과가 탐색 효율성 개선에서 비롯되었는지, 단지 중복을 정리한 것에 불과한지에 대한 인과 관계를 명확히 밝히지 못한다. 또한, Agora 없이 동일한 모델과 컴퓨팅 자원으로 실험한 대조군이 없어, 정확한 효과 평가가 제한적이다.

실용적 활용

Agora는 대규모 자율 연구 에이전트가 협업하는 AI 연구, 특히 무인 학습 환경에서 유용하게 활용될 수 있다. 또한, 연구 과정의 불변 기록과 재현 가능성은 학술 연구의 신뢰성 향상에도 기여할 수 있다.