Language Models Learn to Improve Language Models

Large language models (LLMs) are increasingly used to automate AI research, including language-model (LM) development, offering a potential path toward recursive self-improvement. However, turning experimental feedback into a learned ability to propose effective improvements across models faces two challenges. First, training such an ability with real feedback is expensive: reinforcement learning (RL) requires evaluating tens of thousands of proposals, each potentially requiring a full model-training run. Even at ten GPU-hours per run, reward collection alone would consume hundreds of thousands of GPU-hours, motivating a cheaper surrogate. Second, surrogate feedback can become unreliable as policy optimization favors overestimated proposals when the proposal distribution shifts. To address these challenges, we propose LM2LM, which trains LLMs with RL to generate effective LM improvement proposals. To provide scalable feedback, we use a research world model (RWM), a frozen LLM that predicts proposal gains from real experimental records provided in context, as the reward model for RL. To maintain feedback reliability, we periodically execute current-policy proposals ranked highly by the RWM and add their measured outcomes to its context. Across eight autoregressive and diffusion LM development environments, real-execution evaluations on held-out tasks show that LM2LM enables Qwen3.8-27B to outperform GPT-6-sol, even when GPT-6-sol is given 300 real experimental records in context, while requiring 33% lower data-generation cost. LM2LM also generalizes to a model family unseen during training.

한 줄 요약

LLM을 강화학습으로 훈련해 모델 개선 제안을 생성하는 LM2LM 프레임워크를 제안하며, Qwen3.8-27B가 GPT-6-sol을 33% 낮은 데이터 생성 비용으로 초과 성능을 보인다.

핵심 기여도

**LM2LM** 프레임워크를 제안: LLM을 강화학습(RL)로 훈련하여 모델 개선 제안을 생성.
**Research World Model (RWM)**: 실제 실험 기록을 기반으로 제안의 성능을 예측하는 고정된 LLM을 사용해 학습 신호를 확장.
**On-policy calibration**: RWM이 예측한 높은 순위 제안을 주기적으로 실행하고 그 결과를 RWM에 반영해 예측 신뢰도 유지.
**Qwen3.8-27B**가 GPT-6-sol을 33% 낮은 데이터 생성 비용으로 초과 성능을 보임 (300개의 실험 기록 제공 시에도).

핵심 아이디어

LLM이 모델 개선 제안을 스스로 생성하는 능력을 학습하면, 모델 개발 과정을 자동화하고 재귀적 자기 개선(RSI)을 가능하게 할 수 있다. 그러나 이 과정에서 두 가지 주요 문제가 발생한다: 첫째, 실제 실험을 기반으로 학습하는 데 비용이 매우 크고, 둘째, 대체 피드백이 제안 분포가 변화함에 따라 신뢰도가 떨어진다. 이를 해결하기 위해 LM2LM은 **Research World Model (RWM)**이라는 고정된 LLM을 사용해 제안의 성능을 예측하고, **on-policy calibration**을 통해 RWM의 예측 신뢰도를 유지한다. RWM은 초기 실험 기록을 기반으로 학습되며, 주기적으로 실행된 제안의 실제 결과를 RWM의 입력에 추가함으로써 예측 오류를 줄인다. 이는 **DAPO** 알고리즘과 결합되어, 제안의 토큰 수와 확률 비율을 고려한 보상 최적화를 수행한다.

기술적 접근법

**LM2LM 프레임워크**: LLM을 RL로 훈련하여 모델 개선 제안을 생성.
**Research World Model (RWM)**: 고정된 LLM으로, 제안의 성능을 예측. 실제 실험 기록을 기반으로 학습.
**On-policy calibration**: RWM이 높은 순위로 평가한 제안을 주기적으로 실행하고, 그 결과를 RWM의 입력에 추가.
**DAPO 알고리즘**: 제안의 보상 계산에 사용. 보상은 평균과 표준편차로 정규화된 후, 토큰 수와 확률 비율을 고려한 가중치를 적용.
**실험 환경**: 8개의 자동 생성 및 확산 LM 개발 환경에서 평가.

주요 결과

**Qwen3.8-27B**가 GPT-6-sol을 33% 낮은 데이터 생성 비용으로 초과 성능을 보임.
GPT-6-sol이 300개의 실험 기록을 제공받은 상태에서도 Qwen3.8-27B가 더 높은 성능을 나타냄.
**AR Avg@4**와 **Best@4** 지표에서 LM2LM이 고정 기록 기반 모델(M0, M0')보다 74.2%와 70.0%의 환경에서 더 높은 성능을 보임.
**On-policy calibration**을 적용한 경우, 랜덤 기록 추가 대비 17.06 vs. 14.76의 Avg@4 성능 향상.

의의 및 한계

LM2LM은 실제 실험 기록을 기반으로 LLM을 훈련하는 새로운 접근법으로, 모델 개발 과정을 자동화하고 재귀적 자기 개선을 가능하게 한다는 점에서 학술적·실용적 의의가 있다. 특히, **RWM**과 **on-policy calibration**을 통해 학습 비용을 줄이고 예측 신뢰도를 유지하는 점이 핵심이다. 그러나 RWM은 고정된 모델이므로, 학습 중 제안 분포가 변화하면 예측 오류가 발생할 수 있으며, 이는 주기적인 실제 실행을 통해 완화해야 한다. 또한, 제안의 다양성과 실험 환경의 복잡성에 따라 성능이 변동할 수 있다.

실용적 활용

LM2LM은 대규모 모델 개발 과정에서 연구 제안을 자동화하는 데 활용될 수 있으며, 특히 **자연어 처리**, **모델 아키텍처 설계**, **최적화 알고리즘 개선** 등에서 유용할 수 있다. 또한, **AutoResearch** 플랫폼에 통합되어 연구 효율성을 높이는 데 기여할 수 있다.