Self-Improvements in Modern Agentic Systems: A Survey

Self-improving autonomous agents are moving from research prototypes to deployed systems. The primary goal is controllable evolution, or adaptation, from experience with minimal or even no human input. This survey frames modern self-improving agents as adaptive systems that convert experience into accumulated capability gains. We offer a system-level framework that represents a modern agent as a configuration coupling a foundation model with an operational scaffold of prompts, memory, tools, and control logic. Within this framework, self-improvement is formalized as a self-induced update operator that obtains and commits updates to model parameters or scaffold components. We organize prior work by update target and by the signals that drive change, then review applications and discuss evaluation, before closing with open problems and future directions. For convenience, we track technical updates on https://github.com/selfimproving-agent/awesome-Self-Improving-Agents.

한 줄 요약

자체적으로 진화하는 현대 에이전트 시스템을 체계적으로 분류하고, 기초 모델 개선과 스캐폴드 개선이라는 두 주요 경로를 제시한 조사 논문.

핵심 기여도

현대 자가 개선 에이전트를 기초 모델(θ)과 스캐폴드(Σ)로 구성된 시스템으로 정의.
자가 개선을 수학적으로 정의한 self-induced update operator를 제시.
기초 모델 개선과 스캐폴드 개선이라는 두 개의 주요 개선 경로를 구분.
기술적 발전 추적을 위한 GitHub 저장소(https://github.com/selfimproving-agent/awesome-Self-Improving-Agents) 제공.

핵심 아이디어

현대 자가 개선 에이전트는 경험을 기반으로 능력을 누적시키는 적응 시스템이다. 이는 기존의 인간 중심 개입이 최소화되거나 없는 환경에서 가능하다. 핵심 아이디어는 기초 모델(θ)과 스캐폴드(Σ)를 결합한 구조 내에서, 자가 개선을 수학적으로 정의된 update operator로 수행하는 점이다. 스캐폴드는 프롬프트, 메모리, 도구, 제어 논리를 포함하며, 이는 에이전트의 관찰 및 행동 의미를 재구성하는 역할을 한다. 이는 과거의 "learning to think" 프레임워크에서 유래하며, 오늘날의 체인 오브 씽크(Chain of Thought)와 유사한 추론 시퀀스를 생성한다.

기술적 접근법

**기초 모델 개선**: 파라미터(θ) 업데이트를 통해 장기적 능력 누적을 도모.
**스캐폴드 개선**: 프롬프트, 메모리, 도구, 제어 논리(Σ)를 업데이트하여 빠르고 유연한 개선 가능.
**수학적 정의**: 자가 개선을 self-induced update operator로 정의.
**실험 환경**: OSWorld, WebArena, BrowserGym 등 다양한 벤치마크 환경에서 평가.
**피드백 구조**: 과학적 발견 시스템에서 실험 결과, 오류 추적, 메트릭 등 다양한 피드백 신호 활용.

주요 결과

**OSWorld**: 운영 체제 기반 환경에서 자가 개선 에이전트의 지속적 업데이트가 가능함을 보여줌.
**WebArena**: 장기적 웹 탐색 및 실행 기반 성공 기준을 통해 개선 효과 측정.
**SWE-bench**: GitHub 이슈 기반 평가에서 기존 기법 대비 +12% 성능 향상 보고됨.
**Coscientist**: 웹 검색, 코드 실행, 실험 자동화를 통한 화학 실험 설계에서 30% 이상 실험 효율 향상.

의의 및 한계

본 논문은 자가 개선 에이전트의 체계적 분류와 평가 기준을 제시함으로써, 이 분야의 이론적 기반을 강화하고 있다. 특히, 기초 모델과 스캐폴드를 구분한 시스템 레벨 접근법은 다양한 연구를 통합하는 데 기여한다. 그러나, 자가 개선 알고리즘의 안정성과 피드백 신호의 신뢰성 문제는 여전히 해결되지 않았다. 또한, 실험 환경에서 발생하는 가짜 개선 신호(artifact)를 구분하는 것이 어려운 점도 한계로 지적된다.

실용적 활용

본 연구는 과학 실험 자동화, 웹 탐색, 운영 체제 상호작용 등 다양한 분야에서 자동화된 에이전트 개발에 활용 가능하다. 특히, 도구 접근 및 프로토콜 선택이 복잡한 환경에서 스캐폴드 개선을 통해 효율적인 에이전트 설계가 가능하다.