Dream-RSI: Recursive Self-Improvement through Evolving Worlds

Recursive self-improvement is becoming increasingly vital for autonomous AI agents, where progress hinges on discovering high-value solutions across complex domains. The driver of this process is effective exploration, however, managing and improving exploration strategies remains a major bottleneck. Current systems face a fundamental dilemma: fixed strategies fail to adapt as search spaces scale, while online policy optimization requires navigating vast meta-search spaces under delayed and expensive feedback over long-horizon rollouts. We introduce Dream-RSI, a framework for scalable and recursively self-improving exploration. A lightweight orchestration layer makes exploration explicit and programmable while leaving the underlying coding agent unchanged. Our key insight is that accumulated discovery history can serve as a replay simulator over the realized search space. By performing dreaming in the replay simulator constructed from historical discovery trees, Dream-RSI secures immediate, low-cost off-policy feedback to evaluate and refine exploration policies without invoking repetitive, expensive online evaluations. The improved policy is subsequently redeployed online to drive further discovery, continuously expanding the simulator pool in a self-improving loop. Across algorithm engineering, mathematical optimization, and GPU kernel engineering, Dream-RSI achieves competitive or improved discovery quality while substantially reducing discovery cost in several settings.

한 줄 요약

Dream-RSI는 과거 탐색 기록을 재생 시뮬레이터로 활용해 메타-탐색 정책을 저비용으로 개선하는 반복적 자기 개선 프레임워크이다.

핵심 기여도

과거 탐색 기록을 **재생 시뮬레이터**(replay simulator)로 활용, 메타-정책 평가 비용을 줄임.
**Dream-RSI** 프레임워크를 통해 **온라인 탐색 → 시뮬레이터 구축 → 드림 기반 정책 개선**의 반복 루프를 구축.
**Lasso path solver**, **sum-difference**, **KernelBench** 등 8개 과학 탐색 작업에서 **162×**, **50×**, **2.09×** 등의 성능 향상 및 예산 절감 달성.
**Recursive Fixed Exploration** 대비 **1.7×~162×**의 탐색 비용 절감.

핵심 아이디어

기존 탐색 전략은 고정되어 있어 확장성에 한계가 있었으며, 온라인 메타-정책 최적화는 지연되고 비용이 높은 피드백 문제를 겪는다. Dream-RSI는 이 문제를 해결하기 위해 **과거 탐색 기록**(discovery history)을 **재생 시뮬레이터**(replay simulator)로 활용하는 핵심 통찰을 제시한다. 이 시뮬레이터는 탐색 트리 형태로 저장된 과거 탐색 경로를 기반으로, 새로운 정책을 **드림**(dreaming)이라는 시뮬레이션 방식으로 평가할 수 있게 한다. 이는 실제 온라인 실행 없이도 정책 평가가 가능하게 하여, 메타-정책 개선의 비용을 크게 줄인다.

Dream-RSI는 **온라인 탐색**(Online Exploration), **시뮬레이터 구축**(Simulator Construction), **드림 기반 정책 개선**(Dreaming-based Policy Improvement)의 3단계를 반복하며, **탐색 정책**(exploration policy)을 지속적으로 업데이트한다. 이는 **Lightweight orchestration layer**를 통해 기존 코드 에이전트를 변경하지 않고도 탐색을 프로그래밍 가능하게 만드는 것이 핵심이다.

기술적 접근법

**Lightweight orchestration layer**를 도입해 탐색 정책을 명시적이고 프로그래밍 가능하게 구현.
**Discovery tree**를 기반으로 **replay simulator**를 생성.
**Dreaming** 과정에서 시뮬레이터 내에서 정책 평가를 수행, 실제 온라인 실행 없이도 정책 개선.
**Parallel refining** 전략을 사용: 병렬 탐색 워크스페이스에서 각각 독립적으로 탐색 및 정제.
**Gemini-3.1 Pro**와 **Gemini-3.7-Flash**를 사용한 실험에서, Dream-RSI는 **10×11=110**, **32×20=640**의 탐색 비용을 유지하면서 정책을 반복적으로 업데이트.

주요 결과

**Lasso path solver**에서 **SimpleTES 대비 162×**, 고정 탐색 대비 **1.7×**의 탐색 비용 절감.
**Mathematical optimization**(sum-difference, autocorrelation 등)에서 **1k generation 내** 기존 강력한 기반 모델과 동일 또는 우수한 성능 달성, **SimpleTES 대비 50×** 예산 절감.
**KernelBench**에서 **1.79×~2.43×**의 생성 횟수 감소 또는 **2.09×**의 성능 향상.
**Recursive Fixed Exploration** 대비 **드림 기반 정책 개선**으로 탐색 효율성 향상.

의의 및 한계

Dream-RSI는 과거 탐색 기록을 시뮬레이터로 활용함으로써 메타-정책 평가의 비용을 획기적으로 줄이고, 반복적 자기 개선을 가능하게 한다는 점에서 학술적·실용적 의의가 있다. 특히 **장기적 탐색**(long-horizon exploration) 환경에서 효과적으로 작동하며, **Gemini-3.1 Pro**, **Gemini-3.7-Flash** 등 다양한 모델에 적용 가능하다는 장점이 있다.

그러나, **드림 기반 평가**는 실제 온라인 실행과는 다른 환경에서 이루어지기 때문에, 일부 실제 세계 상황에서는 예측 오류가 발생할 수 있다. 또한, **재생 시뮬레이터**의 구축이 초기에는 상당한 저장 공간과 계산 자원을 요구할 수 있으며, **정확한 탐색 트리 구조화**가 필수적이라는 한계가 있다.

실용적 활용

Dream-RSI는 알고리즘 설계, 수학 최적화, GPU 커널 개선 등 **자동화된 과학 탐색**(automated scientific discovery) 분야에서 활용 가능하다. 특히, **고비용·장시간 탐색이 필요한 연구 환경**에서 탐색 효율성을 극대화할 수 있으며, **AI 에이전트가 스스로 탐색 전략을 개선**하는 시스템 구축에 적합하다.