PaperGym: Rubric-Centered Evolution for Research-Plan Generation

Research planning is the decisive capability of AI scientists. Yet a research plan admits no verifiable answer, so reinforcement learning lacks the environment it requires: tasks paired with a critic. Rubrics extracted from scientific papers can supply the critic. Existing pipelines, however, draw the question and the criteria from the same content, so the reward can be earned by paraphrase. The rubric is further compressed into a single scalar per rollout. We introduce PaperGym, a unified framework that turns each research paper into a complete training environment. PaperGym exploits the structure of a paper: the question is synthesized from the research goal and background, while the criteria are derived from the method and experiments. The criteria span methodological innovation and experimental design, and criterion leakage falls to 3.7%, versus 11.90% to 34.10% in existing datasets. Training uses the rubric twice: first as privileged context for OPSD's self-teacher, then as the reward for GRPO. Across Qwen3-1.7B/4B/8B, this schedule outperforms supervised fine-tuning, either stage alone, and the reverse ordering, improving five-benchmark averages by +5.6, +5.0, and +4.8 points. With the recipe held fixed, models trained on PaperGym-20k win 58.1% of three-way comparisons, against 28.2% for RubricHub Science. The trained Qwen3-8B reaches 73.48 on ResearchQA, above the far larger Kimi K2.6. We release the pipeline, the 20,000-instance corpus PaperGym-20k, and the benchmarks PaperGym-Innov and PaperGym-Design.

한 줄 요약

PaperGym은 연구 계획 생성을 위한 강화 학습 환경으로, 논문 구조를 활용해 기존보다 훨씬 낮은 기준 누수율(3.7%)과 높은 성능(73.48, ResearchQA)을 달성한다.

핵심 기여도

PaperGym-20k: 20,000개 인스턴스로 구성된 데이터셋, 기존 11.90%~34.10% 대비 3.7%의 기준 누수율.
PaperGym-Innov 및 PaperGym-Design: 각각 방법론 혁신과 실험 설계를 평가하는 독립적 벤치마크.
OPSD + GRPO 이중 단계 학습: Qwen3-8B가 ResearchQA에서 73.48 달성, Kimi K2.6(73.19)을 상회.
기존 단일 단계 학습 및 순서 반전 대비 5점 이상 성능 향상(+5.6~+5.0).

핵심 아이디어

기존 연구 계획 생성 모델은 질문과 평가 기준을 동일한 콘텐츠에서 추출하여 기준 누수(criterion leakage)가 발생했다. 이는 모델이 질문을 단순히 재구성함으로써 보상을 얻는 문제를 야기했다. PaperGym은 논문의 구조적 특성을 활용해 질문을 연구 목표와 배경에서, 평가 기준을 방법론과 실험 설계에서 추출함으로써 기준 누수를 3.7%로 줄였다. 또한, 평가 기준을 단일 스칼라가 아닌 10개의 이진 기준으로 분할하여, 실험 설계와 방법론 혁신을 독립적으로 평가할 수 있도록 했다.

이를 통해 학습 단계에서 Rubric을 두 번 활용하는 이중 단계 학습을 도입했다. 첫 번째 단계는 Rubric을 기반으로 Self-Teacher(OPS)가 토큰 단위의 밀집된 가이드라인을 생성하고, 두 번째 단계는 GRPO를 통해 전체 계획을 평가 기준에 따라 최적화한다. 이 방식은 단일 보상 스칼라로 인한 정보 손실을 줄이고, 정밀한 학습이 가능하도록 한다.

기술적 접근법

**데이터 생성**: 논문의 연구 목표와 배경에서 질문 생성, 방법론과 실험 설계에서 평가 기준 추출.
**Rubric 구성**: 10개의 이진 기준으로, 방법론 혁신과 실험 설계를 평가.
**학습 단계**:
**OPS (Self-Teacher)**: Rubric을 특권 문맥으로 활용, 토큰 단위 가이드라인 생성.
**GRPO (Gradient-based Reward Policy Optimization)**: Rubric을 보상으로 활용, 전체 계획 검증 및 정책 최적화.
**모델**: Qwen3-1.7B, Qwen3-4B, Qwen3-8B.
**데이터셋**: PaperGym-20k (20,000 인스턴스), PaperGym-Innov, PaperGym-Design.
**하이퍼파라미터**: 200~400 학습 스텝, Qwen3-1.7B 기준.

주요 결과

**PaperGym-20k**: 3.7%의 기준 누수율, 기존 11.90%~34.10% 대비 3~9배 개선.
**Qwen3-8B**: ResearchQA에서 73.48, Kimi K2.6(73.19)을 상회.
**이중 단계 학습**: 5개 벤치마크 평균 성능 +5.6, +5.0, +4.8 (Qwen3-1.7B/4B/8B).
**세 가지 비교 실험**: PaperGym-20k 훈련 모델이 58.1% 승리, RubricHub Science 대비 28.2% 승리.

의의 및 한계

PaperGym은 연구 계획 생성의 학습 환경을 구축하는 데 기여하며, 강화 학습에서의 보상 신뢰도를 높인다. 특히, Rubric을 두 단계에서 활용함으로써 기존 단일 보상 방식의 정보 손실 문제를 해결하고, 훨씬 정밀한 학습이 가능하다. 또한, 20,000 인스턴스로 구성된 데이터셋과 독립적 벤치마크(PaperGym-Innov, PaperGym-Design)는 연구 계획 생성 모델의 평가를 체계화할 수 있다.

하지만, Rubric 생성 과정에서 모델의 과적합이 발생할 수 있으며, Rubric 생성기의 품질이 학습 성능에 큰 영향을 미친다는 점이 한계로 지적된다. 또한, Rubric이 텍스트 기반으로 추출되기 때문에, 일부 복잡한 과학적 판단이 누락될 수 있다.

실용적 활용

PaperGym은 AI 기반 연구 계획 생성 시스템 개발에 활용될 수 있으며, 특히 과학, 공학, 경제 분야에서 연구 과정의 자동화를 지원할 수 있다. 또한, 연구자들이 다양한 연구 아이디어를 탐색하거나, 학생 교육에서 연구 설계 훈련에 사용될 수 있다.