Generalized Agent Iteration: One Formal Framework for Iterative Policy Improvement and Recursive Self-Improvement

When we speak of recursive self-improvement (RSI), are we speaking of a phenomenon, a mechanism, or a prospect? Towards autonomous and evolving intelligence, RSI is being claimed at many scales, while no single framework that formally describes these emerging instances exists. Its counterpart in the classical realm, iterative policy improvement, is characterized by generalized policy iteration (GPI), a framework of broad applicability with well-understood theoretical properties, but only where the update principle and the evaluation base lie outside the agent. In this paper, we propose Generalized Agent Iteration (GAI), a formal framework that describes iterative policy improvement and RSI as two cases of a single learning paradigm. GAI defines the agent as a configuration of modifiable components within a system and models the learning process as a cycle of agent evaluation and agent improvement. Two pivotal dials then distinguish the instances: whether the improving mechanism is part of the agent and whether the standard it is measured against is grounded outside it. The former dial delineates the boundary between GPI and RSI, and the latter determines a system's polarity as anchored, goal drift, or fully self-referential. Moreover, we use these coordinates to place existing systems on the same two axes and make the defects of recursive self-improvement statable one condition at a time. We see this paper as a first step toward exploring a formal characterization of RSI that rests on the classical account, makes existing systems comparable, and provides a principled basis for analyzing and designing new ones.

한 줄 요약

GAI(Generalized Agent Iteration)는 GPI와 RSI를 하나의 학습 패러다임으로 통합하는 공식적 프레임워크를 제안한다.

핵심 기여도

GPI와 RSI를 하나의 학습 패러다임으로 통합한 GAI 프레임워크를 제안.
두 가지 핵심 조건(Dial 1, Dial 2)을 도입하여 시스템의 성격을 구분.
기존 RSI 시스템의 결함을 GAI의 조건 위반으로 명확히 정의.
RSI의 공식적 정의와 비교 기준을 제공하여 새로운 시스템 설계에 기초를 마련.

핵심 아이디어

기존 GPI는 정책 개선을 반복하는 프레임워크로, 평가와 개선이 외부에서 이루어진다. 반면 RSI는 개선 메커니즘이 에이전트 내부에 존재하며, 평가 기준도 내부에서 결정될 수 있다. GAI는 GPI와 RSI를 하나의 패러다임으로 통합하며, 학습 시스템 내에서 **modifiable components**를 구성요소로 정의하고, **agent evaluation**과 **agent improvement**의 순환적 과정을 모델링한다. 핵심 통찰은 두 가지 조건(Dial 1, Dial 2)이 시스템의 성격을 결정한다는 점이다. Dial 1은 개선 메커니즘이 에이전트 내부에 있는지 여부, Dial 2는 평가 기준이 외부에 고정되어 있는지 여부를 결정한다.

기술적 접근법

GAI는 **modifiable components**로 구성된 에이전트를 정의하고, **agent evaluation**과 **agent improvement**의 순환적 과정을 학습 패러다임으로 모델링.
두 가지 핵심 조건(Dial 1, Dial 2)을 통해 시스템의 성격을 구분:
Dial 1: 개선 메커니즘이 에이전트 내부에 있는지 여부.
Dial 2: 평가 기준이 외부에 고정되어 있는지 여부.
GPI는 Dial 1이 외부, Dial 2가 고정된 경우에 해당. RSI는 Dial 1이 내부, Dial 2가 유동적 또는 자기참조인 경우에 해당.
GAI는 기존 GPI와 RSI를 포함하며, 다양한 시스템을 두 축 위에 배치하여 비교 가능하게 만든다.

주요 결과

RSI 시스템의 결함은 GPI의 조건을 위반한 경우로 명확히 정의됨.
GAI의 두 축(Dial 1, Dial 2)을 기반으로 기존 시스템을 분류하여 비교 가능하게 함.
RSI의 4가지 결함이 GPI의 조건 위반과 연관되어 명시됨.
GAI는 GPI와 RSI를 하나의 패러다임으로 통합하여, 새로운 시스템 설계에 이론적 기반을 제공.

의의 및 한계

GAI는 GPI와 RSI를 하나의 학습 패러다임으로 통합함으로써, 자율적이고 진화하는 지능 시스템의 공식적 이해를 가능하게 한다. 특히, RSI의 정의가 모호하고 비교 기준이 없었던 문제를 해결하며, 새로운 시스템 설계에 이론적 근거를 제공한다. 그러나 GAI는 아직 구체적인 수치적 평가나 실험적 검증이 부족하며, 실제 시스템 적용 가능성은 추가 연구가 필요하다. 또한, Dial 2에서 완전히 자기참조적인 시스템의 안정성 문제는 여전히 열린 질문으로 남아 있다.

실용적 활용

GAI는 자율 학습 시스템, 자기 개선 AI, 진화적 알고리즘 등에서 활용 가능하다. 특히, RSI 기반의 시스템 설계 시, GAI의 두 축(Dial 1, Dial 2)을 기반으로 시스템의 성격과 안정성을 분석할 수 있다. 연구자들이 새로운 RSI 시스템을 설계하거나 기존 시스템을 비교할 때 이론적 틀을 제공한다.