MLExpert: Towards a Generalist Agentic Model for Autonomous Machine Learning Engineering

Large language models (LLMs) are expanding from assisting scientific research and engineering to autonomously developing and improving AI systems, advancing AI for AI (AI4AI) as a pathway toward recursive self-improvement (RSI). Workflow-driven machine learning engineering (MLE) systems provide a practical path toward this pursuit through complex orchestration that manages long-horizon experimentation, while recent MLE systems adopt model-directed interaction, allowing models to autonomously organize experiments and adapt optimization strategies based on execution feedback. However, feedback from each experiment reflects several preceding decisions, and a long MLE run contains many such costly experiments. Training must therefore select useful supervision from long interaction trajectories and learn from intermediate outcomes. We propose a post-training method for autonomous long-horizon MLE optimization and apply it to train MLExpert, a 35B Mixture-of-Experts agentic model. We design the Kaggle-MLE Factory to construct executable tasks and an interaction harness for model-directed experimentation. Hierarchical agentic SFT transfers general tool-use and coding capabilities to MLE through outcome-guided supervision. Windowed Interaction RL (WIRL) treats the multi-turn decisions between successive experiment results as an execution window and assigns it a shared outcome-based reward. Asynchronous collection and policy correction support policy updates before the trajectory ends. On MLE-Bench Lite, MLExpert improves the average medal rate of the base model from 37.9% to 72.7%, achieving performance comparable to larger frontier models such as Kimi-K3 and GLM-5.3. Further experiments show that MLExpert improves performance on NatureBench Lite, agent scaffold optimization, and algorithm optimization, suggesting that the learned optimization capability generalizes to other tasks.

한 줄 요약

MLExpert는 35B Mixture-of-Experts 모델로, Windowed Interaction RL(WIRL)과 Kaggle-MLE Factory를 통해 자율적인 MLE 최적화를 학습하여 MLE-Bench Lite에서 72.7%의 평균 메달률을 달성했다.

핵심 기여도

MLExpert는 35B Mixture-of-Experts 아키텍처를 사용한 자율 MLE 에이전트 모델로, Windowed Interaction RL(WIRL)과 Hierarchical Agentic SFT를 결합한 학습 방법을 제안.
Kaggle-MLE Factory를 구축하여 실행 가능한 MLE 작업을 생성하고, 모델 중심의 상호작용 환경을 제공.
MLE-Bench Lite에서 기반 모델의 평균 메달률을 37.9%에서 72.7%로 향상, Kimi-K3 및 GLM-5.3과 유사한 성능 달성.
NatureBench Lite, Agent Scaffold 최적화, 알고리즘 최적화 등 다른 작업에도 일반화 성능을 보임.

핵심 아이디어

기존 MLE 시스템은 사전 정의된 워크플로우나 검색 규칙에 의존하여 실험 순서와 단계 전환을 제어하는 반면, MLExpert는 모델이 직접 실험을 설계하고 수정할 수 있도록 설계되었다. 이는 장기적 상호작용을 통해 최적화 전략을 지속적으로 조정하는 능력을 요구한다. MLExpert는 Kaggle-MLE Factory를 통해 실제 MLE 작업을 실행 가능한 형태로 변환하고, Hierarchical Agentic SFT를 통해 일반적인 도구 사용 및 코드 생성 능력을 MLE 최적화에 전이한다. 또한, Windowed Interaction RL(WIRL)은 실험 결과 간의 다중 턴 결정을 실행 창(window)으로 처리하고, 공유된 결과 기반 보상을 통해 학습을 유도한다. 이는 비동기 수집과 정책 수정을 통해 정책 업데이트를 트래젝토리 종료 전에도 가능하게 한다.

기술적 접근법

**모델 아키텍처**: 35B Mixture-of-Experts (MoE) 구조를 사용한 MLExpert.
**학습 방법**:
**Kaggle-MLE Factory**: Kaggle 경진대회 데이터를 실행 가능한 MLE 작업으로 변환.
**Hierarchical Agentic SFT**: 일반 도구 사용 및 코드 생성 능력을 MLE 최적화에 전이.
**Windowed Interaction RL (WIRL)**: 실험 결과 간의 다중 턴 결정을 실행 창으로 처리, 공유된 결과 기반 보상 적용.
**비동기 수집 및 정책 수정**: 트래젝토리 종료 전에도 정책 업데이트 가능.
**데이터셋**: Kaggle-MLE Factory, MLE-Bench Lite, NatureBench Lite 사용.

주요 결과

**MLE-Bench Lite**: MLExpert는 기반 모델의 평균 메달률을 37.9%에서 72.7%로 향상 (대비 +34.8%).
**NatureBench Lite**: 성능 향상 보임 (정확한 수치 미제공).
**Agent Scaffold 최적화 및 알고리즘 최적화**: MLExpert는 이 작업들에서도 일반화된 최적화 능력을 보임.
**비교 모델**: Kimi-K3 및 GLM-5.3과 유사한 성능 달성.

의의 및 한계

MLExpert는 MLE 최적화를 모델이 자율적으로 수행하는 새로운 접근법을 제시하며, AI4AI(인공지능을 위한 인공지능)의 실현 가능성을 보여준다. 특히, Windowed Interaction RL(WIRL)은 장기적 상호작용 환경에서의 학습을 효과적으로 지원하며, 비동기 정책 업데이트를 통해 학습 효율성을 높인다. 그러나, Kaggle-MLE Factory는 Kaggle 데이터에 의존하므로 다른 도메인으로의 일반화에는 한계가 있을 수 있다. 또한, 35B 규모의 모델은 계산 자원이 요구되며, 실시간 실행 환경에서는 성능 저하가 발생할 수 있다.

실용적 활용

MLExpert는 자동화된 머신러닝 엔지니어링, 알고리즘 최적화, 에이전트 구조 설계 등 다양한 AI 연구 및 개발 과정에 적용 가능하다. 특히, 반복적 실험과 피드백 기반 최적화가 필요한 산업 분야에서 효율성을 높일 수 있다.