Recursive Harness Self-Improvement

Under model--harness co-evolution, harnesses are not merely inference-time scaffolds but data-generating components whose execution traces can shape future foundation models. This motivates harness-in-the-loop learning: optimizing harnesses for both immediate agent performance and the quality of traces used for future model training. However, continually updating provider-built scaffolds is costly and labor-intensive. We therefore investigate whether optimizing user-constructed harnesses in a task-specific manner can improve execution-trace quality while remaining computationally lightweight and requiring only a few update iterations. To this end, we introduce Recursive Harness Self-Improvement (RHI), which represents the harness as a prompt-level specification of the agent loop and iteratively refines it using pairwise feedback over its own revision history. Across 30 synthetic machine-learning research tasks spanning quantitative finance, robotics, and pharmacy, a few RHI iterations suffice to substantially raise the performance ceiling of low-reasoning-effort agents, exceeding the corresponding maximum-reasoning-effort setting while reducing inference cost by up to 60%. We show that these gains arise primarily from improved task-specific context management through more effective inter-agent information flow rather than longer reasoning traces. Finally, we formalize this behavior as an information-theoretic hypothesis for RHI's implicit optimization objective, suggesting RHI as a practical algorithm for continual learning within the paradigm of model--harness co-evolution.

한 줄 요약

RHI는 사용자 정의 헤이브스를 반복적으로 개선하여 추론 비용을 줄이고 성능을 향상시키는 알고리즘이다.

핵심 기여도

RHI는 헤이브스를 프롬프트 수준에서 표현하고, 이전 버전 간의 비교 피드백을 통해 반복적으로 개선한다.
30개의 합성 머신러닝 연구 태스크에서 RHI는 추론 비용을 최대 60% 줄이며, 최대 추론 노력 설정을 초과하는 성능을 보인다.
성능 향상은 추론 트레이스 길이가 아닌, 에이전트 간 정보 흐름의 개선에서 비롯된다.

핵심 아이디어

기존 헤이브스는 단순히 추론 시 사용되는 구조물이 아니라, 향후 모델 학습에 사용되는 데이터를 생성하는 구성요소로 작용한다. 이에 따라, 헤이브스는 단순한 성능 향상뿐만 아니라 추론 트레이스의 질 향상에도 기여해야 한다. RHI는 이 문제를 해결하기 위해, 헤이브스를 프롬프트 수준에서 표현하고, 이전 버전 간의 비교를 통해 반복적으로 개선하는 방식을 제안한다. 이는 사용자 정의 헤이브스를 최소한의 반복으로도 효과적으로 최적화할 수 있게 한다.

기술적 접근법

RHI는 헤이브스를 프롬프트 수준에서 표현한 뒤, 이전 버전 간의 비교 피드백을 통해 반복적으로 개선한다.
학습 과정에서 정보 이론적 가설을 통해 RHI의 암묵적 최적화 목적을 정식화한다.
합성 머신러닝 연구 태스크 30개(정량 금융, 로봇, 약학 분야 포함)에서 실험을 수행.

주요 결과

RHI는 30개 합성 태스크에서 최소한의 반복으로도 성능 상한선을 크게 높인다.
최대 추론 노력 설정을 초과하는 성능을 보이며, 추론 비용은 최대 60% 감소.
성능 향상은 추론 트레이스 길이가 아닌, 에이전트 간 정보 흐름의 개선에서 비롯됨.

의의 및 한계

RHI는 모델-헤이브스 공동 진화 패러다임 내에서 지속 학습을 실현할 수 있는 실용적 알고리즘으로, 사용자 정의 헤이브스의 반복적 개선을 통해 추론 비용을 줄이고 성능을 향상시킨다. 그러나 RHI는 특정 태스크에 맞춘 사용자 정의 헤이브스를 전제로 하므로, 일반적인 헤이브스 구조에 적용하는 데에는 한계가 있을 수 있다.

실용적 활용

RHI는 정량 금융, 로봇, 약학 등 복잡한 머신러닝 연구 태스크에서 사용자 정의 헤이브스를 최적화할 수 있는 도구로 활용될 수 있다. 특히, 반복적 개선이 필요한 실시간 시스템에서 유용할 수 있다.