Repo-To-Skill: Distilling GitHub Repositories Into AI4AI Skills

Autonomous agents are beginning to carry out machine-learning (ML) research end to end. These agents combine a model backbone with a harness for planning, execution, memory, and verification, but this architecture still leaves domain-specific know-how outside the agent. We call this missing layer operational knowledge, the know-how that separates knowing a method from making it work. That knowledge is not absent from the field. It appears in repositories and papers, but in forms written for human readers and too large to load during a task. Once distilled into compact, verified skills, this knowledge can be reused across tasks rather than rediscovered during each run. We present DisCo, a skill-powered research agent that creates skills and uses them during research. Its distillation runs in two complementary forms: task-agnostic, condensing the field's widely used repositories into reusable skills, and task-oriented, producing the skills a concrete task calls for. The former, applied across the open ecosystem, yields the AREX-Skill Library, with 5,000+ verified skills distilled from 1,000 widely used ML repositories and organized into 20 areas and 178 capability families. With the GPT-5.5 backbone, research harness, and downstream execution budget held fixed, the skill-equipped research agent scores 134.3% higher on MLE-bench, 34.4% higher on PaperBench, 9.2% higher on FrontierCS, and 14.0% higher on PassNet than the same agent without skills. These gains come from adding distilled operating context under that fixed setup.

한 줄 요약

DisCo는 GitHub 리포지토리에서 AI 연구에 필요한 운영 지식을 스킬로 추출해 연구 성능을 134.3%까지 향상시키는 연구 에이전트다.

핵심 기여도

운영 지식(operational knowledge)이라는 개념을 도입, 기존 연구 에이전트의 핵심 한계를 명확히 정의.
DisCo라는 연구 에이전트를 제안, 태스크-무관(task-agnostic) 및 태스크-지향(task-oriented) 두 가지 방식으로 스킬을 생성.
AREX-Skill 라이브러리 구축: 1,000개 ML 리포지토리에서 5,000개 이상의 검증된 스킬 추출, 20개 분야, 178개 능력군으로 분류.
GPT-5.5 기반 에이전트에서 MLE-bench에서 134.3% 성능 향상 등 4개 벤치마크에서 스킬 적용 효과 검증.

핵심 아이디어

기존 연구 에이전트는 모델과 헤이서스(harness)만으로 구성되지만, 실제 연구 성공에는 "운영 지식"이 필요하다. 운영 지식은 방법을 아는 것과 그것을 실행에 옮기는 것을 구분하는 전문성으로, ML 연구에서는 API 사용, 파이프라인 설정, 실험 튜닝 등에 해당한다. 이는 리포지토리와 논문에 흩어져 있지만, 에이전트는 이를 활용할 수 없다. DisCo는 이러한 운영 지식을 **SKILL.md** 파일 형태의 스킬로 추출하고, 이를 **AREX-Skill 라이브러리**에 구축해 연구 에이전트가 태스크에 따라 선택적으로 활용할 수 있도록 한다. 스킬은 실행 시 필요한 정보만 제공하며, 수천 개의 스킬을 유지하면서도 컨텍스트 부담 없이 작동한다.

기술적 접근법

**DisCo**: 스킬 생성 및 연구 수행을 동시에 수행하는 에이전트.
**Task-agnostic distillation**: 1,000개 ML 리포지토리에서 5,000개 이상의 스킬 추출, 20개 분야, 178개 능력군으로 분류.
**Task-oriented distillation**: 주어진 태스크에 필요한 스킬을 실시간 생성.
**SKILL.md**: 스킬의 목적, 적용 조건, 실행 방법을 명시.
**AREX-Skill 라이브러리**: 라우터를 통해 요청에 맞는 스킬 그래프를 제공.
**GPT-5.5** 모델과 고정된 연구 헤이서스, 실행 예산을 사용해 성능 비교.

주요 결과

**MLE-bench**: 134.3% 성능 향상 (베이스라인 대비)
**PaperBench**: 34.4% 성능 향상
**FrontierCS**: 9.2% 성능 향상
**PassNet**: 14.0% 성능 향상
스킬 적용 시, GPT-5.5 기반 에이전트의 연구 성능이 모든 벤치마크에서 일관되게 향상됨.

의의 및 한계

DisCo는 연구 에이전트가 단순히 더 강력한 모델이나 헤이서스에 의존하는 대신, 운영 지식을 스킬로 구축함으로써 연구 성능을 극대화할 수 있음을 보여준다. 특히, AREX-Skill 라이브러리는 ML 연구 분야의 운영 지식을 체계적으로 재사용할 수 있는 기반을 제공한다. 그러나 스킬 생성 과정에서 리포지토리의 릴리즈 변경, 실용적 팁 누락, 실행 오류 발생 가능성 등이 존재하며, 이는 검증 과정에서 해결되지만 여전히 한계로 남는다. 또한, 스킬 생성에 소요되는 시간과 리소스는 명시되지 않아, 대규모 확장 시 성능 저하 가능성도 고려해야 한다.

실용적 활용

DisCo와 AREX-Skill 라이브러리는 ML 연구 자동화, 연구 초기 단계의 탐색 효율화, 연구자 간 지식 공유 플랫폼 등에 활용 가능하다. 특히, 연구 초기 단계에서 실험 설계, 도구 선택, 파이프라인 구성 등에 필요한 운영 지식을 빠르게 제공함으로써 연구 생산성을 높일 수 있다.