Toward Recursive Self-Improvement in Physical AI

Recursive self-improvement (RSI) describes a system that improves not only its behavior but also the process by which it improves. Recent digital agents test this idea by rewriting their own code and checking each version with executable tests. Bringing these mechanisms into the physical world requires learning from partial observations through costly trials, while accounting for changing operating conditions and potentially irreversible consequences. We position RSI within robot learning and trace pathways from improving robot capabilities to improving the processes that generate them. We examine how physical experience can strengthen these improvement mechanisms and when the resulting gains can support further self-improvement of the mechanisms themselves. Gains carry forward only when feedback addresses remaining learning needs, the receiving component can use the change, its value survives changes in tasks or hardware, and continued practice remains safe and affordable. Existing studies, concentrated in manipulation, support behavioral improvement, benefits to later learning, and procedure improvement. Some systems also change the improver's knowledge or tools, but the physical studies reviewed here have yet to isolate gains attributable to recursion. We synthesize these findings into evaluation principles and research directions for machines that, trial by trial, safely improve the way they improve.

한 줄 요약

물리적 환경에서 AI가 스스로 개선하는 방식을 탐구하며, 재귀적 자기 개선(RSI)의 조건과 한계를 분석한다.

핵심 기여도

재귀적 자기 개선(RSI)을 물리적 로봇 학습에 적용하는 조건 4가지를 제시 (피드백, 수용성, 지속성, 안전성).
기존 연구에서 RSI의 재귀적 효과를 분리하지 못한 점을 지적하며, 이를 평가하기 위한 실험 설계 원칙을 제안.
실제 물리적 환경에서 RSI를 적용할 때 발생하는 4가지 주요 차이점을 정리 (감지 제한, 비용, 조건 변화, 인터페이스 제약).
Eureka, ENPIRE, PlayWorld, RECAP, Zetta 등 5개의 구체적 모듈을 RSI 적용 사례로 제시.

핵심 아이디어

재귀적 자기 개선(RSI)은 단순히 행동을 개선하는 것을 넘어서, 개선 과정 자체를 반복적으로 개선하는 시스템을 의미한다. 이는 과거 개선 경험을 다음 개선 과정에 반영하는 'improver'라는 구성요소가 필요하다. 예를 들어, 로봇이 실패한 그립을 반복할 때, 정책(policy), 월드 모델(world model), 외부 지식(external knowledge), 학습 절차(learning procedure) 중 하나 이상을 수정해야 한다. 특히, 학습 절차 자체를 수정하는 것이 RSI의 핵심이며, 이는 Eureka가 보상 코드를 재작성하거나 ENPIRE가 학습 인프라를 수정하는 방식으로 구현된다. 그러나 이전 개선이 다음 개선에 실제로 기여하는지 확인하기 위해서는 'repair knowledge'가 필요하며, 이를 실험적으로 검증하는 것이 중요하다.

기술적 접근법

**Policy 개선**: RECAP은 실패 경험과 전문가의 수정을 통해 정책을 학습한다.
**World Model 개선**: PlayWorld는 접촉 데이터를 기반으로 월드 모델을 재정의하여 정책 학습을 지원한다.
**External Knowledge 활용**: Zetta는 시뮬레이션에서 학습한 복구 코드를 저장하고 재사용한다.
**Learning Procedure 수정**: Eureka는 시뮬레이션 훈련 결과를 기반으로 보상 코드를 재작성하고, ENPIRE는 로봇 실험 데이터를 기반으로 학습 인프라를 수정한다.
**재귀 조건**: 피드백이 학습 부족을 해결하고, 수정이 수용 가능하며, 가치가 지속되고, 추가 연습이 안전하고 비용 효율적이어야 한다.

주요 결과

**Behavioral Improvement**: 조작(manipulation) 중심 연구에서 행동 개선이 확인됨.
**Later-Learning Benefits**: 일부 시스템은 이후 학습에 긍정적 영향을 미침.
**Procedure Improvement**: Eureka, ENPIRE 등은 학습 절차 자체를 수정함.
**재귀적 개선 미확정**: 물리적 연구에서는 재귀적 개선 효과를 분리하지 못함.
**실험 제한**: 대부분의 증거는 최근 preprint이며, 훈련 런 수나 실험 횟수가 적음.

의의 및 한계

이 연구는 RSI를 물리적 로봇 학습에 적용할 때의 핵심 조건과 한계를 체계적으로 정리한 첫 사례로, 학술적으로는 RSI의 평가 기준을 제시하고, 실용적으로는 안전하고 지속 가능한 자기 개선 시스템 설계에 기여할 수 있다. 그러나 재귀적 개선 효과를 분리하기 위한 실험 설계가 부족하며, 대부분의 연구가 조작 중심이어서 일반화 가능성에 한계가 있다. 또한, 피드백의 제한성, 인터페이스의 제약, 비용 문제 등은 RSI의 실제 적용을 어렵게 만든다.

실용적 활용

로봇이 반복 실패를 분석하고 스스로 개선하는 제조, 물류, 서비스 분야에 적용 가능하다. 특히, Eureka나 ENPIRE와 같은 시스템은 보상 함수나 학습 인프라를 자동 수정하여, 인간 개입 없이 지속적인 성능 향상을 도모할 수 있다. 재귀적 자기 개선이 완성되면, 로봇이 새로운 환경에서도 스스로 적응하는 능력을 갖게 될 것이다.