CoEvo-RSI: When Harnesses Evolve, Which Models Should Follow?

Model--harness co-evolution has emerged as a prominent paradigm for recursive self-improving (RSI) agents, jointly evolving their execution scaffolds and intrinsic capabilities. We study the persistent yet often overlooked brain--body mismatch problem in this paradigm, where an evolving harness (body) demands behaviors its model (brain) has not learned or restricts capabilities it already possesses. We introduce CoEvo-RSI, a RSI framework that advances model--harness co-evolution through agent-driven, bidirectional historical inheritance. Drawing on a shared evolutionary archive and execution feedback, a meta-agent coordinates harness development from historical designs with model checkpoint selection or merging and subsequent adaptation under the selected harness, aligning inherited capabilities with evolving execution requirements to reduce brain--body mismatch. Using only supervised fine-tuning (SFT) on its own rejection-sampled trajectories, CoEvo-RSI makes Qwen3.5-9B competitive with larger models across diverse vertical applications, including multi-agent failure attribution, role-aware text-to-SQL, and smart-home instruction following. It surpasses DeepSeek-V4-Pro on TraceElephant (+14.16 agent accuracy) and GLM-5.3 on HomeBench VM (+4.90 success rate), underscoring the need for brain--body alignment and the potential of bidirectional historical inheritance to advance agent co-evolution.

한 줄 요약

CoEvo-RSI는 모델-하네스 공진화를 통해 브레인-바디 미스매치를 줄이고, Qwen3.5-9B를 대형 모델과 경쟁하게 만드는 RSI 프레임워크이다.

핵심 기여도

브레인-바디 미스매치 문제를 정식화하고, TIMR이라는 진단 지표를 제안.
CoEvo-RSI 프레임워크를 제안: 공진화 아카이브와 양방향 역사적 유전을 통한 모델-하네스 공진화.
Qwen3.5-9B가 TraceElephant(+14.16%)와 HomeBench VM(+4.90%)에서 DeepSeek-V4-Pro와 GLM-5.3을 능가.
SFT만으로도 대형 모델과 유사한 성능 달성.

핵심 아이디어

기존 연구는 모델 학습과 하네스 최적화를 별도로 진행했으나, CoEvo-RSI는 이 둘을 **공진화**하는 프레임워크로, 브레인(모델)과 바디(하네스)의 **동시적 적응**을 유도한다. 이는 특히 하네스가 모델의 학습된 능력을 제한하거나, 모델이 하네스의 요구사항을 충족하지 못하는 **브레인-바디 미스매치** 문제를 해결하기 위해 필요하다. CoEvo-RSI는 **공진화 아카이브**(evolutionary archive)를 기반으로, 과거의 하네스 설계와 모델 체크포인트를 활용해 **양방향 역사적 유전**(bidirectional historical inheritance)을 실현한다. 예를 들어, 하네스가 JSON을 요구하지만 모델이 XML을 출력하는 경우, 적절한 과거 체크포인트를 선택해 초기화함으로써 인터페이스 불일치를 줄일 수 있다. 이는 **TIMR**(turn-level interface mismatch rate)을 통해 측정하며, 이 지표는 브레인-바디 일치도를 간단히 평가하는 수단이 된다.

기술적 접근법

**CoEvo-RSI**는 공진화 아카이브(𝐀<sub><t</sub>)를 사용하여 과거의 하네스와 모델 체크포인트를 저장하고, 이를 기반으로 **하네스 에디터**와 **모델 유전**이 상호작용.
모델 초기화는 과거 체크포인트 선택 또는 **TIES-Merging**을 통해 이루어짐. TIES는 작은 업데이트 항목을 제거하고, 부호 일치하는 업데이트만 병합.
모델 학습은 **SFT**(supervised fine-tuning)로 진행되며, **ms-swift** 라이브러리와 **AdamW** 최적화, **DeepSpeed ZeRO-3**를 사용. 학습률은 5×10<sup>-6</sup>, 배치 크기 1, 4개의 H100 GPU 사용.
하네스는 **Curator**와 **Harness Editor**가 아카이브에서 과거 설계를 선택하고, 이를 기반으로 새로운 하네스를 개발.

주요 결과

**TraceElephant** 데이터셋에서 CoEvo-RSI는 DeepSeek-V4-Pro 대비 **+14.16%**의 agent accuracy를 달성.
**HomeBench VM** 데이터셋에서 GLM-5.3 대비 **+4.90%**의 success rate를 기록.
**Who&When Pro**에서 Qwen3.5-9B는 Qwen3.8-Max 대비 **+4.40%**의 agent accuracy를 나타냄.
TIMR은 CoEvo-RSI가 모든 라운드에서 0.22% 이하로 유지, 하네스-모델 인터페이스 불일치를 효과적으로 줄임.

의의 및 한계

CoEvo-RSI는 브레인-바디 미스매치 문제를 해결함으로써, 모델과 하네스가 **동시에 진화**할 수 있는 기반을 제공한다. 특히, **SFT만으로도 대형 모델과 유사한 성능**을 내는 점은 실용적 의미가 크다. 또한, **양방향 역사적 유전**은 과거의 성공적인 설계와 모델을 재사용함으로써, 진화의 안정성과 회복력을 높인다. 그러나, CoEvo-RSI는 **단일 도메인에서의 진화만 다루며**, 다중 도메인 간의 일반화 능력은 명시되지 않음. 또한, **아카이브 관리의 복잡성**과 **초기 하네스 설계에 대한 의존도**는 추가 연구가 필요한 부분이다.

실용적 활용

CoEvo-RSI는 **스마트 홈**, **다중 에이전트 시스템**, **정책 제약이 있는 툴 사용**(예: SQL 생성) 등에서 활용 가능하다. 특히, **작은 모델을 대형 모델 수준으로 성능을 향상**시키는 데 유용하며, **자체 진화를 통해 지속적으로 개선**해야 하는 에이전트 개발에 적합하다.