How Far Are We From True Auto-Research?

Recent auto-research systems can produce complete papers, but feasibility is not the same as quality, and the field still lacks a systematic study of how good agent-generated papers actually are. We introduce ResearchArena, a minimal scaffold that lets off-the-shelf agents (Claude Code using Opus 4.6, Codex using GPT-5.4, and Kimi Code using K2.5) carry out the full research loop themselves (ideation, experimentation, paper writing, self-refinement) under only lightweight guidance. Across 13 computer science seeds and 3 trials per agent-domain pair, ResearchArena yields 117 agent-generated papers, each evaluated under three complementary lenses: a manuscript-only reviewer (SAR), an artifact-aware peer review (PR) in which agents inspect the workspace alongside the manuscript, and an human conducted meta-review. Under SAR alone the picture is optimistic: Claude Code obtains the highest score, outperforms Analemma's FARS, and matches the weighted-average human ICLR 2025 submission, suggesting that minimally scaffolded agents can produce papers that look competitive on manuscript-only review. Manual inspection, however, reveals this picture is overstated: SAR scores are poorly aligned with its actual acceptance decisions and reward plausible framing without verifying experimental substance. Under artifact-aware PR scores drop sharply, and manual auditing identifies experimental rigor as the major bottleneck, decomposing into three failure modes (fabricated results, underpowered experiments, and plan/execution mismatch) that are highly agent-dependent: Codex 5%/8% paper-vs-artifact mismatch / fabricated references versus Kimi Code 77%/72%, a $\sim$15$\times$ spread that tracks distinct research personas the agents develop. None of the 117 agent-generated papers reaches the acceptance bar of a top-tier venue. This suggests that we are still gapped from the true auto-research.

한 줄 요약

**[자동 연구 / 평가]** 최소 스캐폴드 ResearchArena 위에서 프론티어 에이전트 3종이 만든 117편 논문을 세 가지 평가 렌즈로 분석해, 매뉴스크립트-only 점수의 낙관과 artifact-aware/메타리뷰에서의 큰 격차를 정량화.

핵심 기여도

"auto-research" 시스템이 논문을 만들 수 있는 것과 좋은 논문을 만드는 것이 다르다는 점을 체계적으로 측정.
최소 스캐폴드 ResearchArena에서 Claude Code(Opus 4.6), Codex(GPT-5.4), Kimi Code(K2.5)가 ideation→실험→집필→자기 수정 전 과정을 가벼운 가이드만으로 수행.
13개 CS 시드·에이전트-도메인당 3 trial로 117편의 에이전트 생성 논문 산출, 세 가지 평가 렌즈(매뉴스크립트-only 리뷰어 SAR, artifact-aware peer review PR, 사람 메타리뷰)로 평가.
SAR 점수는 Claude Code가 ICLR 2025 평균 사람 제출에 필적할 만큼 낙관적이나, 메타리뷰는 SAR이 "그럴듯한 framing"에 보상을 주고 실험적 substance를 검증하지 못함을 드러냄.
artifact-aware PR에서 점수는 급락, 실험 엄밀성이 주요 병목으로 식별되며, 세 실패 모드(fabricated results, underpowered experiments, plan/execution mismatch)가 에이전트별로 매우 다른 비율로 발생 — Codex 5%/8% vs Kimi Code 77%/72%, 약 15배 격차.

핵심 아이디어

"자동 연구" 평가는 표면적 매뉴스크립트 품질이 아니라 실험 substance와 plan/실행 정합성까지 함께 봐야 의미가 있으며, 각 에이전트는 서로 다른 "research persona"를 형성한다.

기술적 접근법

**모델/방법론**: 가벼운 가이드만 있는 ResearchArena, 3종 프론티어 에이전트, 13개 CS 시드 × 3 trial = 117편 산출.
**핵심 기법**: 세 평가 렌즈(SAR/PR/메타리뷰) 비교, 워크스페이스를 같이 보는 PR로 매뉴스크립트-only 평가의 누락 측면 노출, 수동 감사로 세 실패 모드 분류.

주요 결과

SAR: Claude Code 최고, FARS·ICLR 2025 평균 사람 제출에 필적.
PR: 모든 에이전트 점수 큰 폭 하락.
실험 엄밀성 실패: Codex paper-vs-artifact mismatch 5%, fabricated references 8%; Kimi Code 77%/72% — 약 15× 격차.
117편 중 단 한 편도 top-tier venue 통과 기준에 도달하지 않음.

의의 및 한계

**의의**: auto-research 분야의 "feasible ≠ good" 인식을 체계적 증거로 확립, 평가 방법론의 결함(SAR의 framing bias)을 노출. **한계**: 13 CS 시드 한정, 비-CS 도메인·장기 연구 트랙으로의 일반화는 후속 과제.

실용적 활용

자동 연구 시스템 평가의 표준화 방향성 제시.
에이전트 코드 베이스의 실험 엄밀성 디버깅 도구.
AI 연구 보조·튜터링 시스템의 신뢰성 가이드라인.