Scaling Automatic Research Agents via World Models

Automating empirical research is a long-standing direction of AI. Recent automatic research (AutoResearch) agents bring this goal within reach, as modern LLMs show the capability to independently implement solutions and learn from the execution outcomes. Behind these gains, post-training (especially RL) plays a central role. In this paper, we identify a fundamental tension when scaling RL for these agents: the two components of every AutoResearch trajectory (agent generation and environment execution) scale in very different manners, since all generation shares compute through batching, while each execution occupies its exclusive sandbox and real machine time. As a result, the environment execution dominates the training cost and becomes the bottleneck as trajectories grow. To resolve this tension, we propose World Model RL (WMRL), which replaces environment execution with a world model to remove this bottleneck. Additionally, the world model can be imperfect, as its rewards are corrupted by bias and noise. Therefore, we further equip WMRL with two mitigations, Online Debiasing and Inverse-Variance Denoising, which offset the bias and suppress the noise respectively. Theoretically, we prove that both mitigations of WMRL strictly improve the convergence guarantee. Empirically, WMRL accelerates training by 3-4x on various tasks at different agent scales, while exceeding the performance of standard RL baselines. Moreover, our post-trained 4B and 9B agents outperform much larger open-weight agents of 48B and 120B on held-out benchmarks. Beyond AutoResearch, WMRL also transfers to post-training embodied VLA policies, which demonstrates the generalizability of our method.

한 줄 요약

WMRL은 AutoResearch 에이전트의 RL 학습을 3–4× 가속화하면서 성능을 향상시키는 세계 모델 기반 접근법이다.

핵심 기여도

**World Model RL (WMRL)** 도입으로 AutoResearch 에이전트의 환경 실행 비용을 제거하고 학습을 3–4× 가속화.
**Online Debiasing** 및 **Inverse-Variance Denoising** 기법을 통해 세계 모델의 편향과 노이즈를 보완.
이론적으로 **Theorem 3, 4**를 통해 WMRL이 수렴 보장을 엄밀히 개선함을 증명.
4B, 9B 에이전트가 48B, 120B 오픈 가중치 모델을 상회하며, VLA 정책 학습에도 일반화됨.

핵심 아이디어

AutoResearch 에이전트는 연구 질문에 대해 독립적으로 아이디어를 제시하고 실행을 반복하며 학습한다. 그러나 RL 학습 시, 에이전트의 생성 과정은 배치 처리로 확장 가능하지만, 환경 실행은 독립적인 샌드박스에서 이루어져 확장성이 낮고 비용이 높다. 이 문제를 해결하기 위해 **World Model**을 도입하여 실제 실행을 대체하고, 이 모델의 편향과 노이즈를 **Online Debiasing**과 **Inverse-Variance Denoising**으로 보완한다. 이는 RL 수렴 보장을 이론적으로 증명하며, 실제 학습 속도와 성능을 동시에 향상시킨다.

기술적 접근법

**World Model RL (WMRL)**: 실제 환경 실행 대신 세계 모델을 사용하여 학습.
**Online Debiasing**: 세계 모델의 편향(bias)을 보정.
**Inverse-Variance Denoising**: 세계 모델의 노이즈(variance)를 억제.
**GRPO (Group-Relative Policy Optimization)**: 정책 최적화를 위한 기존 RL 알고리즘.
**Anchor Groups**: 실제 실행 데이터를 기반으로 세계 모델의 오차를 추적.
**Theorem 3, 4**: 편향과 노이즈가 수렴에 미치는 영향을 이론적으로 분석.

주요 결과

**AutoResearch 태스크**에서 WMRL은 학습을 **3–4× 가속화**.
**4B, 9B 에이전트**가 **48B, 120B 오픈 가중치 모델**을 상회.
**VLA (Vision-Language-Action) 정책 학습**에도 일반화됨.
**Online Debiasing**과 **Inverse-Variance Denoising**은 각각 **2.2–2.8점**, **0.9–1.7점** 성능 향상 기여.
두 기법을 모두 사용하면 **2.9–4.8점** 추가 향상.

의의 및 한계

WMRL은 AutoResearch 에이전트의 학습 비용을 대폭 절감하면서 성능을 유지하거나 향상시켜, 대규모 RL 학습의 확장성을 개선한다. 특히, **4B, 9B 에이전트가 더 큰 모델을 상회**하는 점은 효율적인 학습 전략의 중요성을 강조한다. 또한, **VLA 정책 학습**으로의 전이 가능성은 WMRL의 일반화 능력을 입증한다. 그러나 세계 모델의 정확도가 낮을 경우, **Online Debiasing**과 **Inverse-Variance Denoising**이 충분히 보완하지 못하는 경우가 있을 수 있다. 또한, **Anchor Groups**에 의존하는 보정 메커니즘은 일부 상황에서 성능 저하를 초래할 수 있다.

실용적 활용

WMRL은 연구 자동화, 데이터 과학, 화학 합성 설계 등 **AutoResearch가 필요한 분야**에 적용 가능하다. 또한, **VLA 정책 학습**과 같은 **실행 비용이 높은 RL 환경**에서도 활용할 수 있어, 다양한 산업 및 연구 분야에서 효율적인 학습 전략으로 사용될 수 있다.