The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement

Recursive self-improvement (RSI) enables AI systems to turn experience and feedback into persistent changes that improve both their capabilities and the process of future improvement. We first use the Headroom-Closed Index (HCI) to reveal the problems of existing LLMs, then introduce the RSI concept and its development roadmap: from improvement-execution autonomy, improvement-strategy autonomy, experience-acquisition autonomy, and environment-adaptation autonomy, to recursive meta-improvement. Next we examine RSI across scenarios (e.g., scientific discovery, embodied intelligence, software engineering), highlighting their distinct requirements and development speeds. Drawing on diverse industry practices and preliminary empirical evidence, we connect RSI research with practical systems and identify key challenges to achieving genuine RSI.

한 줄 요약

AI가 경험을 기반으로 스스로 개선하는 RSI 개념을 제시하고, 구현 단계와 주요 도전점을 분석한다.

핵심 기여도

Headroom-Closed Index (HCI)를 도입하여 기존 LLM의 한계를 정량적으로 분석.
RSI의 5단계 개발 로드맵 제시: improvement execution, strategy selection, experience acquisition, environmental adaptation, recursive meta-improvement.
실제 산업 사례와 실험적 증거를 바탕으로 RSI의 실현 가능성과 주요 과제를 제시.
OpenAI의 GPT-5.6 개발 과정에서 연구자당 일일 토큰 출력량이 이전 최고치 대비 2배 증가한 수치를 인용.

핵심 아이디어

기존 AI는 개선 과정에서 인간의 개입이 필수적이지만, RSI는 AI가 스스로 개선 전략을 수립하고 실행하는 구조를 제안한다. 이는 개선 루프(improvement loop)를 중심으로 구성되며, 개선 결정, 검증, 유지, 상속의 과정을 포함한다. RSI는 지속 학습(continual learning), AutoML, 에이전트 AI와 구분되며, 특히 상태를 유지하고 도구를 사용하는 시스템에서 지속적 개선이 중요하다는 점을 강조한다. 예를 들어, OpenAI의 NanoGPT 평가에서는 AI가 자체적으로 학습 루프를 수정하고 성능 향상을 유도하는 과정이 기술된다.

기술적 접근법

**Configuration Search**: NVIDIA의 2026 TAO 워크플로우에서 LLM이 AutoML을 가이드하여 실험 순서를 결정.
**Architecture Search**: AgentNAS는 LLM을 사용해 태스크별 시드 아키텍처를 생성하고, 이후 조합적 탐색을 수행.
**Training-Rule Search**: OpenAI의 NanoGPT 평가에서 AI가 학습 루프를 수정하고 성능 개선 여부를 검증.
**Systems and Implementation Search**: AutoKernel은 프로파일링을 기반으로 GPU 성능 향상 여부를 측정하며, 수치 정확성을 검증한 후 변경.
**HCI (Headroom-Closed Index)**: 기존 LLM의 개선 잠재력과 한계를 정량적으로 평가.

주요 결과

Kimi K3와 Qwen3.8-Max는 각각 2.8trillion, 2.4trillion 파라미터를 포함하며, 100만 토큰의 컨텍스트 윈도우를 지원.
GPT-5.6 개발 과정에서 연구자당 일일 토큰 출력량이 이전 최고치 대비 2배 증가.
AutoKernel은 GPU 성능 향상 여부를 측정하여 변경을 결정하며, 수치 정확성을 보장.

의의 및 한계

RSI는 AI가 스스로 개선 과정을 주도함으로써 신뢰성과 효율성을 높이는 기반을 제공하며, 과학 발견, 소프트웨어 공학 등 다양한 분야에 적용 가능하다. 그러나 RSI는 아직 초기 단계에 머무르며, 자원 제약과 인간 감독 하에서의 장기적 평가가 필요하다. 또한, 개선 결정의 신뢰성과 검증 비용이 높은 분야에서는 진전이 느리다. HCI를 통해 기존 LLM의 한계를 명확히 파악할 수 있지만, 실제 RSI 구현에는 추가적인 기술적 발전이 요구된다.

실용적 활용

RSI는 소프트웨어 개발, 과학 연구, 의료 분야에서 AI가 스스로 개선하며 효율성을 높이는 데 활용될 수 있다. 예를 들어, AutoKernel은 GPU 성능 최적화에, AgentNAS는 네트워크 아키텍처 설계에 적용 가능하다. OpenAI의 NanoGPT 평가와 같은 사례는 RSI가 연구 과정을 자동화하고 개선 속도를 높이는 데 기여할 수 있음을 보여준다.