RSIHub: A Composable Framework for Agent-Evolution Methods

Agent-evolution methods use execution feedback to improve prompts, skills, tools, and orchestration, but their implementations often rebuild the same experimental machinery. We present RSIHub, an open-source framework for building, comparing, and extending these methods on shared infrastructure. Recipes compose reusable operators and declare mutable resources; RSIHub supplies execution, evaluation, recovery, and lineage. Researchers can focus on evolution policy while evaluation stays outside the mutable surface and results remain tied to candidates and evaluation conditions. We instantiate AHE, Hyperagents, A-Evolve, and GEPA without modifying the framework core, keeping method-specific logic in recipes and operators. We evaluate them with MiniSWE and Codex on Terminal Bench 2 and τ^3 Banking under fixed model and evaluator configurations. The largest observed overall pass@1 gain is 13.5 percentage points, while method rankings vary across settings and optimization gains do not always transfer to held-out tasks. RSIHub provides a common protocol for comparing evolution policies, inspectable candidate histories, and reusable components for developing new methods.

한 줄 요약

RSIHub는 에이전트 진화 방법을 비교하고 확장할 수 있는 공통 인프라를 제공하는 오픈소스 프레임워크이다.

핵심 기여도

**Recipe 추상화**: AHE, Hyperagents, A-Evolve, GEPA를 동일한 오퍼레이터 위에서 레시피로 표현.
**공유 인프라 제공**: 실행, 복구, 아티팩트, 평가 기록, 라인어지 관리.
**공정한 평가 환경**: MiniSWE와 Codex를 사용해 Terminal Bench 2와 τ³ Banking에서 평가.
**가장 높은 성능 개선**: 전체 pass@1에서 최대 13.5% 포인트 향상.

핵심 아이디어

기존 에이전트 진화 방법은 실행 피드백을 기반으로 프롬프트, 스킬, 도구, 오케스트레이션을 개선하지만, 각 방법이 독립적인 인프라를 구축해 반복적인 작업이 발생한다. RSIHub는 이러한 반복 작업을 제거하고, **레시피**(recipe)라는 추상화를 도입해 **재사용 가능한 오퍼레이터**(operator)와 **변경 가능한 자원**(mutable resources)을 결합하게 한다. 이로 인해 연구자는 진화 정책에 집중할 수 있고, 평가와 결과는 레시피 내부에서 변경되지 않도록 보호된다.

프레임워크는 **protected runtime**을 통해 실행 및 평가를 격리하고, **Gate 오퍼레이터**를 통해 평가 후 후보가 부모가 될 자격을 판단한다. 이는 평가 조건의 변경이나 기록의 조작을 방지하여 실험의 신뢰성을 높인다.

기술적 접근법

**레시피**(recipe): 각 방법(AHE, Hyperagents 등)을 오퍼레이터와 결합한 구성 요소로 정의.
**오퍼레이터**(operator): 후보 선택, 증거 수집, 후보 수정, 결과 보존 등의 역할 수행.
**프레임워크 핵심**: 실행, 복구, 평가, 라인어지 관리.
**Protected runtime**: 평가와 실행을 격리하고, 결과를 인증된 아카이브에 저장.
**Gate 오퍼레이터**: 평가 후 후보가 부모가 될 수 있는지 결정.
**실험 환경**: MiniSWE와 Codex 모델, Terminal Bench 2와 τ³ Banking 벤치마크 사용.

주요 결과

**pass@1 성능 향상**: 최대 13.5% 포인트 개선.
**방법별 성능 차이**: AHE, Hyperagents, A-Evolve, GEPA의 순위는 환경에 따라 달라짐.
**유지되지 않는 최적화**: 일부 최적화는 테스트 환경에서 이전되지 않음.
**실험 신뢰도**: 평가 조건과 후보 기록이 보호되어 실험 결과의 일관성 유지.

의의 및 한계

RSIHub는 에이전트 진화 연구에서 반복적인 인프라 구축을 줄이고, 공정한 비교와 재사용 가능성을 제공한다. 특히, **인증된 평가 기록**(certified evaluation records)과 **보호된 실행 환경**(protected runtime)은 실험의 신뢰성을 높인다. 그러나, 모든 최적화가 다른 환경으로 이전되지 않는다는 점에서, **환경 의존성**(environment dependency)이 한계로 작용한다. 또한, 레시피 기반 접근은 연구자에게 일정한 학습 곡선을 요구할 수 있다.

실용적 활용

RSIHub는 에이전트 기반 시스템 개발, 프롬프트 최적화, 도구 조합 실험 등에 활용 가능하다. 특히, **A-Evolve**나 **Hyperagents**와 같은 진화 정책을 비교하거나, **MiniSWE**와 **Codex** 모델을 기반으로 한 에이전트 개선에 적합하다. 산업적으로는 **자동화된 에이전트 개선**(agent self-improvement) 시스템 구축에 활용될 수 있다.