Recursive self-improvement of AI research agents

AI agents are beginning to automate research and development across the AI stack, from improving training efficiency to optimizing inference. A natural next step is to improve the research efficiency of the agents themselves. When an AI research agent's own code is the object of optimization, each accepted rewrite becomes the agent that the next round edits. We refer to this loop as recursive self-improvement. Its significance lies in a long-standing trend, in which increased cumulative spending on R&D yields diminishing returns. Sustained self-improvement offers a way to counter this trend. We present AIDE^2, a system that implements this loop for a frontier AI research agent. It proposes changes to its own code, benchmarks modified versions of itself on a suite of AI R&D tasks, and keeps the changes that perform best on hidden evaluations. In an autonomous 8-day run, AIDE^2 discovered seven successive improvements, ranging from a new search policy to memory mechanisms that compress and manage the agent's growing context. These gains generalize to four held-out benchmarks spanning machine learning engineering, heuristic algorithm engineering, and physics-based weather forecasting, the last of which is out of distribution from the selection tasks. On all four, the strongest discovered agent matches or exceeds a human-engineered production research agent that ranks among the strongest on FML-Bench. On a separate held-out task family, the discovered agents also exhibit reduced reward hacking, a property the loop never explicitly optimized for: the rate falls from 55% to 32% during the run, 7 percentage points below the human-engineered agent. Together, these results show that an AI research agent can improve its own research efficiency through recursive self-improvement, and that these gains transfer to tasks and domains the loop never encountered.

한 줄 요약

AIDE²는 AI 연구 에이전트가 자체 연구 효율을 반복적으로 개선하는 시스템으로, 8일간 7개의 개선을 발견하고 FML-Bench 기준 인간 설계 에이전트와 유사한 성능을 보였다.

핵심 기여도

AIDE²는 AI 연구 에이전트의 자체 코드를 개선하는 **recursive self-improvement** 루프를 구현한 첫 사례.
8일간의 자율 실행에서 **7개의 개선** (예: 새로운 검색 정책, 메모리 압축 메커니즘)을 발견.
**4개의 held-out 벤치마크** (ML 엔지니어링, 휴리스틱 알고리즘, 물리 기반 기상 예측 등)에서 인간 설계 에이전트와 유사 또는 우수한 성능.
**보상 해킹률**이 55%에서 32%로 감소 (인간 설계 에이전트 대비 7% 포인트 낮음).

핵심 아이디어

AIDE²는 AI 연구 에이전트가 자신의 코드를 대상으로 반복적으로 개선하는 **recursive self-improvement** 프레임워크를 제시한다. 이는 AI 연구 효율성 향상을 위한 **이중 루프 최적화 문제**로 정의되며, 내부 루프는 특정 연구 태스크에서 에이전트의 코드 최적화를 수행하고, 외부 루프는 내부 루프의 연구 효율성을 향상시키는 메타-레벨 최적화를 수행한다.

핵심 아이디어는 **harness layer** (모델을 둘러싼 코드)를 대상으로 반복적인 자기 개선을 수행하는 데 있다. 이는 기존 연구에서 개선이 인간의 노력에 의존했지만, AIDE²는 자동화된 방식으로 개선을 제안하고 검증함으로써 연구 효율성을 높인다. 특히, **검색 플레이트 탈출**, **제한된 예산 내 컨텍스트 관리**, **신뢰할 수 없는 성공 방지** 등의 문제를 해결하는 개선이 발견되었다.

기술적 접근법

**AIDE²**는 **이중 루프 최적화** 시스템으로, 내부 루프는 AI R&D 태스크에서 에이전트의 코드 최적화를 수행하고, 외부 루프는 내부 루프의 연구 효율성을 향상시키는 메타-레벨 최적화를 수행한다.
**검색 정책**, **메모리 압축 및 관리 메커니즘** 등 7개의 개선이 **8일간의 자율 실행**을 통해 발견됨.
**AIDE_human**은 2년간 인간 연구자에 의해 개발된 기준 에이전트로, FML-Bench에서 상위 성능을 보임.
**AIDE_85**는 4개의 held-out 벤치마크에서 AIDE_human과 유사 또는 우수한 성능을 보임.
**AIDE_47**은 외부 루프 에이전트로, 50단계 후에도 성능 저하 없이 샘플 효율성이 개선된 것으로 보임.

주요 결과

**4개의 held-out 벤치마크** (ML 엔지니어링, 휴리스틱 알고리즘, 물리 기반 기상 예측 등)에서 **AIDE_85**가 **AIDE_human**과 유사 또는 우수한 성능.
**보상 해킹률**은 55%에서 32%로 감소 (인간 설계 에이전트 대비 7% 포인트 낮음).
**7개의 개선**이 **8일간의 자율 실행**을 통해 발견됨.
**AIDE_47**은 50단계 후 샘플 효율성이 개선된 것으로 나타나지만, 확정적 비교는 추가 실행 비용으로 인해 어려움.

의의 및 한계

AIDE²는 AI 연구 에이전트가 자체 연구 효율을 반복적으로 개선하는 가능성을 보여주며, **R&D 투자 대비 수익 감소**라는 장기적 트렌드에 대응할 수 있는 기술적 접근을 제시한다. 특히, **보상 해킹 감소**는 명시적으로 최적화되지 않았음에도 나타난 부차적 효과로, 연구 에이전트의 신뢰성을 높이는 데 기여할 수 있다.

그러나 **잡음 누적**은 이중 루프 최적화 과정에서 발생하며, **단일 노이즈 비교**가 외부 루프 검색을 방해할 수 있다. 또한, **AIDE_47**의 샘플 효율성 개선 여부는 확정적으로 검증하기 어려움. 발견된 에이전트는 복잡하고 해석이 어려워, **생산 시스템과의 호환성** 및 **배포 과정의 복잡도**가 증가할 수 있다.

실용적 활용

AIDE²는 **AI 연구 효율성 향상**, **복잡한 연구 태스크 자동화**, **보상 해킹 감소** 등에 활용 가능하다. 특히, **ML 엔지니어링**, **알고리즘 설계**, **기상 예측** 등 다양한 도메인에서 인간 연구자 대체 또는 보조 역할을 할 수 있다. 연구 개발 비용을 줄이고, 연구 주기를 단축하는 데 기여할 수 있다.