Scaling Large Reasoning Models beyond Human Supervision: A Path toward Superintelligence

Recent advances in large reasoning models (LRMs) have shown that reinforcement learning with verifiable rewards (RLVR) can substantially improve reasoning in mathematics and code, where outcomes can be checked automatically. Extending this progress to open-ended and agentic tasks remains difficult because reliable rewards are harder to obtain and direct human supervision cannot keep pace with the scale and complexity of model-generated experience. This paper studies how LRMs can continue to improve as human supervision gradually recedes from the learning loop. We examine two connected dimensions of this problem. The reward axis traces the development from per-instance human judgments to reusable verifiers and rewards that operate even without human feedback. The experience axis examines how learning can progress from human-curated tasks and environments toward self-generated curricula, constructed environments, and autonomous co-evolution. We connect these dimensions through a five-level ladder from L0 to L4 that identifies which parts of the learning process remain under continued human control. Our analysis further highlights the risks introduced by increasingly autonomous rewards and experience generation, including reward hacking, feedback drift, curriculum collapse, and environment errors. Consequently, we also provide the evaluation around three complementary objects: policy capability, feedback fidelity, and experience quality. This analysis provides a structured account of current approaches to scaling LRMs beyond human supervision and the open problems involved in developing self-sustaining learning systems toward superintelligence. Furthermore, we maintain a continuously updated https://github.com/visitworld123/Awesome-Scaling-LRM-Beyond-Human-Supervision{GitHub repository} to track the latest advances.

한 줄 요약

대규모 추론 모델(LRMs)이 인간 감독 없이도 학습을 지속하는 방식을 구조화하고, 그 과정에서 발생하는 위험과 평가 체계를 제시한다.

핵심 기여도

**보상 축**과 **경험 축**이라는 두 축을 통해 인간 감독이 줄어드는 상황에서 LRMs가 어떻게 학습할 수 있는지 분석.
**L0~L4** 5단계 체계를 제시하여 학습 과정에서 인간의 역할이 어떻게 줄어드는지를 구조화.
**정책 능력**, **피드백 정확도**, **경험 품질**이라는 3가지 평가 요소를 제안, 학습 루프의 신뢰성을 측정.
GitHub 저장소(https://github.com/visitworld123/Awesome-Scaling-LRM-Beyond-Human-Supervision)를 통해 최신 연구를 추적.

핵심 아이디어

대규모 추론 모델(LRMs)은 인간 감독 없이도 학습을 지속할 수 있으나, 이는 **보상**과 **경험**이라는 두 축에서 동시에 진화해야 한다. **보상 축**은 인간 판단에서 시작하여, 재사용 가능한 평가자, 모델 내부 신뢰도, 환경 기반 신호로 이동하며, 학습의 정확도를 유지해야 한다. **경험 축**은 인간이 작성한 고정된 작업에서 시작하여, 모델이 스스로 작업을 생성하고 환경을 구성하는 방향으로 발전해야 한다. 이 두 축은 서로 연결되어 있어, 생성된 작업은 평가 가능해야 하고, 보상은 의미 있는 학습을 유도해야 한다. 이는 **정책-경험-보상** 간의 **공진화**(co-evolution)를 통해 가능하며, 이 과정에서 **정책 개선 → 작업 생성 → 평가 → 다시 정책 업데이트**의 루프가 반복된다.

기술적 접근법

**보상 축**:
**인증 가능한 작업**(verifiable tasks)에서 시작하여, **학습된 보상 모델**(learned reward models), **루브릭**(rubrics), **언어 모델 평가자**(language-model judges)를 사용.
**모델 내부 신뢰도**(model-internal certainty), **샘플 응답 간 일치**(agreement across sampled responses), **참조와의 일관성**(consistency with available references)을 기반으로 보상을 유도.
**경험 축**:
**인간 작성 작업**(human-written tasks)에서 시작하여, **제안자-해결자**(proposer-and-solver) 방식으로 작업 생성.
**실행 가능한 환경**(executable environments), **라이브 인터페이스**(live interfaces)를 통해 작업을 제안하고, 이전 상호작용에서 **재사용 가능한 정보**(reusable information)를 추출.
**학습 루프**:
**정책 최적화 목적**(policy-optimization objectives)과 **모델 유도 보상**(model-derived reward)을 위한 **불확실성 측정**(uncertainty measures) 정의.
**L0~L4** 5단계 체계를 통해 인간 감독이 줄어드는 과정을 구조화.

주요 결과

**정책 능력**(policy capability): **DeepSeek-R1**, **OpenAI o1** 등이 수학 및 코드 생성에서 뛰어난 성능을 보임.
**피드백 정확도**(feedback fidelity): 학습된 보상 모델의 점수가 실제 목적과 얼마나 일치하는지를 평가.
**경험 품질**(experience quality): 생성된 작업의 **다양성**(diversity), **해결 가능성**(solvability), **전이성**(transferability)을 평가.
**L0~L4** 체계에서 **L3 이상**에서는 인간 감독이 거의 없이도 학습이 가능하지만, **보상 해킹**(reward hacking), **피드백 드리프트**(feedback drift), **커리큘럼 붕괴**(curriculum collapse) 등의 위험이 증가.

의의 및 한계

이 연구는 LRMs가 인간 감독 없이도 학습을 지속하는 방식을 체계적으로 분석하고, **자체 지속 학습 시스템**(self-sustaining learning systems)으로 나아가는 길을 제시한다. 특히, **보상과 경험의 공진화**는 인간 감독의 한계를 넘어가는 학습을 가능하게 하지만, 이는 **보상 신뢰성**(reward robustness), **경험 다양성**(curriculum diversity), **환경 정확도**(environment fidelity)를 유지하는 것이 필수적이다. 한계로는 **정책-생성자-평가자 간의 적응**(collusion)으로 인한 성능 퇴화, **독립적 기준 하에서의 성능 정체**(stagnation)가 있다. 또한, **인간 의도**(human intent)는 여전히 학습 루프에 포함되어야 하며, 이는 **재사용 가능한 평가자**(reusable evaluators), **목표**(objectives), **환경**(environments)에 포함되어야 한다.

실용적 활용

이 연구는 **자율적 에이전트**(autonomous agents), **자연어 이해**(NLU), **코드 생성**(code generation) 등에서 **인간 감독 없이도 학습을 지속할 수 있는 시스템** 개발에 활용 가능하다. 특히, **복잡한 환경**(complex environments)에서 **자체적으로 작업을 생성하고 평가하는 시스템**을 구축할 때 중요한 기초가 된다. **산업적 적용**으로는 **자동화된 소프트웨어 개발**, **자율 로봇**, **개인화된 교육 시스템** 등이 예시로 제시된다.