Beyond Final Scores: A Systematic Evaluation of Agents for Long-Horizon AI Research and Development

Autonomous agents are increasingly capable of improving models, systems, and other technical artifacts through long-horizon experimentation. To understand the current state of this capability, however, evaluation must go beyond final scores, which neither reveal where progress is gained or lost nor indicate whether accumulated experience improves later decisions. We therefore present a systematic evaluation of seven frontier models on 36 long-horizon tasks based on a new framework that uses rule-based metrics to characterize within-run behavior through Solution Framing, Execution, and Feedback Control and controlled comparisons to assess experience reuse within and across tasks. The results show that current agents operate more like engineering optimizers than fully autonomous researchers: they can formulate and implement practical solutions, but their performance varies substantially across runs, their strongest solutions mainly adapt or combine established techniques, and genuine methodological novelty remains rare. Detailed analysis reveals that observed performance is shaped by multiple factors, including distinct process bottlenecks behind similar final outcomes, experience reuse that can help or mislead subsequent decisions, and harness designs that affect performance stability. These findings suggest concrete directions for improving model training, inference-time strategies, experience management, and harness design.

한 줄 요약

7개 최첨단 모델을 36개 장기 과제에서 평가하여, 현재 자율 에이전트가 연구자보다 공학 최적화에 더 가까운 성능을 보임을 밝힘.

핵심 기여도

7개 최첨단 모델(GPT-5.5, Gemini-3.1-Pro 등)을 36개 장기 과제에서 평가.
Solution Framing, Execution, Feedback Control 3가지 능력을 기반으로 한 rule-based 메트릭 도입.
경험 재사용 효과를 측정한 controlled comparison 수행.
avg@3 점수 차이가 0.237, best@3은 0.122로 모델 간 신뢰도 차이가 성능 차이보다 큼.

핵심 아이디어

기존 평가가 단일 최종 점수에 의존해 연구 과정의 세부 사항을 반영하지 못한다는 문제를 지적하고, Solution Framing, Execution, Feedback Control 3단계로 연구 과정을 분해하여 평가하는 새로운 프레임워크를 제안했다. 이는 각 단계에서 발생하는 병목 현상과 경험 재사용의 영향을 정확히 분석할 수 있도록 한다. 또한, 경험 재사용이 다음 결정에 도움이 될 수도 있고 오도할 수도 있음을 보여주며, 이는 모델의 신뢰도와 성능에 직접적인 영향을 미친다.

기술적 접근법

평가 대상: GPT-5.5, Gemini-3.1-Pro, DeepSeek-V4-Pro 등 7개 최첨단 모델.
평가 과제: AutoLab의 36개 과제 (Model Development, System Optimization, Puzzle & Challenge, CUDA).
평가 프로토콜: 각 모델-과제 쌍에 대해 3회 독립 실행 (총 756회 실행).
메트릭: avg@3 (평균 최고 3회 성능), best@3 (최고 성능).
경험 재사용 실험: 동일 및 다른 과제 간 경험 전이 효과 분석.
Solution Framing, Execution, Feedback Control 3단계별 rule-based 메트릭 사용.

주요 결과

GPT-5.5와 Gemini-3.1-Pro는 최종 점수가 유사하지만, Execution과 Feedback Control에서 차이가 있음.
CUDA 과제는 Solution Framing과 Execution이 약한 반면, Model Development 과제는 Execution은 강하지만 Feedback Control이 약함.
252개 최고 시드 솔루션 중 3개만이 진정한 방법론적 혁신으로 분류됨.
DeepSeek-V4-Pro는 경험 전이로 avg@3이 0.093 증가했으나, Gemini-3.1-Pro는 0.017 감소함.

의의 및 한계

이 연구는 단순한 최종 점수 평가를 넘어 연구 과정을 세부적으로 분석함으로써, 자율 에이전트의 진정한 연구 능력을 평가하는 새로운 기준을 제시한다. 특히, 경험 재사용과 하버스 설계가 성능 안정성에 큰 영향을 미친다는 점을 밝혀내며, 향후 모델 훈련 및 추론 전략 개선 방향을 제시한다. 그러나 본 연구는 7개 모델과 36개 과제에 국한되었으며, 더 다양한 모델과 과제를 포함한 추가 연구가 필요하다.

실용적 활용

이 평가 프레임워크는 AI 연구 자동화, 시스템 최적화, 코드 개선 등 다양한 산업 분야에서 자율 에이전트의 연구 능력을 정확히 평가하고 개선하는 데 활용될 수 있다. 특히, 경험 관리와 하버스 설계 최적화를 통해 에이전트의 신뢰도와 성능을 향상시킬 수 있다.