Evolution Fine-Tuning: Learning to Discover Across 371 Optimization Tasks

Would experience designing faster GPU kernels also help close in on a long-standing open mathematical conjecture? Large Language Models (LLMs) integrated into evolutionary search have recently produced state-of-the-art solutions on optimization tasks, including open mathematical conjectures, GPU kernel design, scientific law discovery, and combinatorial puzzles. To achieve this, prior work applied search scaffolds to one target task at a time, so every new problem is approached from scratch and the experience accumulated during search is discarded once the model finishes its attempt. This leaves the capability of iteratively evolving a solution (e.g., knowing which part to mutate and how, deciding when to backtrack) entirely in the scaffold rather than in the model itself. Whether the model itself could acquire this capability and reuse it across different tasks has been largely unexamined. To address this, we introduce Evolution Fine-Tuning (EFT), a mid-training paradigm that teaches LLMs to evolve solutions across tasks by converting evolutionary search trajectories into supervision. We construct Finch Collection, a 156K-trajectory dataset spanning 10 domains and 371 optimization tasks, and fine-tune open-source LLMs from 2B to 9B parameters. Empirically, EFT confers cross-task generalization: across 22 held-out tasks, our models surpass their base counterparts by 10.22% on average. Furthermore, when paired with test-time RL, our model matches state-of-the-art performance on two circle-packing tasks and outperforms its base-model counterpart on the Erdős minimum-overlap problem. EFT thus serves as a "practice phase" for general-purpose discovery agents that do not solve new problems from scratch.

한 줄 요약

EFT는 371개 최적화 태스크의 진화적 탐색 경로를 학습시켜 LLM의 태스크 간 일반화 능력을 10.22% 향상시킨다.

핵심 기여도

Evolution Fine-Tuning (EFT)라는 중간 훈련 패러다임을 제안하여 LLM이 태스크 간 진화적 해결 능력을 습득하게 함.
156K개의 진화적 탐색 경로를 포함한 Finch Collection 데이터셋을 구축 (10개 도메인, 371개 태스크).
2B~9B 파라미터의 오픈소스 LLM을 EFT로 미세조정하여, 22개 보류 태스크에서 기존 모델 대비 평균 10.22% 향상.
EFT 모델은 테스트 타임 RL과 결합 시, 원 문제와 에르도스 최소 중첩 문제에서 최고 성능 달성.

핵심 아이디어

기존 연구는 진화적 탐색 프레임워크 내에서 LLM을 고정된 변이 연산자로 사용하거나, 단일 태스크에 맞춰 가중치를 업데이트하는 방식으로, 모델 자체가 태스크 간 일반화 가능한 진화 능력을 습득하지 못했다. 이에 반해, EFT는 진화적 탐색 과정 자체(트래젝토리)를 감독 신호로 활용하여, LLM이 다양한 최적화 문제에서 반복적으로 해결 전략을 개선하는 능력을 학습하게 한다. Finch Collection은 OpenEvolve와 Qwen3.5-397B-A17B를 사용해 수집한 대규모 트래젝토리 데이터셋으로, 156K개의 진화적 탐색 경로를 포함한다. 이를 통해 EFT는 모델이 "어떤 부분을 변이시킬지", "언제 되돌아갈지" 등의 결정을 스스로 내리는 능력을 습득하게 한다.

기술적 접근법

**EFT (Evolution Fine-Tuning)**: 진화적 탐색 트래젝토리를 감독 신호로 사용하여 LLM을 미세조정.
**Finch Collection**: 156,731개의 트래젝토리로 구성된 데이터셋. 10개 도메인, 371개 최적화 태스크 포함.
**모델**: 2B~9B 파라미터의 오픈소스 LLM (Finch-2B, 4B, 8B, 9B).
**변이 전략**: diff-based edit (50.3%)와 full rewrite (49.7%)가 균형 있게 분포.
**입력/출력 길이**: 평균 8,902 토큰의 입력, 6,865 토큰의 출력 (1.3×).
**언어 분포**: Python (68.5%), C++ (31.5%).

주요 결과

**22개 보류 태스크 평균 성능**: EFT 모델은 기존 모델 대비 평균 10.22% 향상.
**원 문제 (Circle Packing)**: EFT + 테스트 타임 RL로 최고 성능 달성.
**에르도스 최소 중첩 문제**: EFT 모델이 기존 모델 대비 성능 개선.
**Finch Collection 확장 효과**: 15개 태스크에서 355개로 확장 시, 평균 보류 태스크 성능 14.1% 향상.

의의 및 한계

EFT는 LLM이 단일 태스크에 의존하지 않고, 다양한 최적화 문제에서 반복적으로 해결 전략을 개선하는 능력을 습득하게 하여, 일반 목적의 발견 에이전트로의 진화를 가능하게 한다. Finch Collection은 LLM이 다양한 도메인(수학, 알고리즘, 시스템 성능 등)에서의 최적화 패턴을 학습할 수 있도록 지원하며, diff-based edit과 full rewrite 전략을 모두 학습하는 데 기여한다. 그러나 EFT는 여전히 오픈소스 모델의 성능 한계를 극복하지 못하며, 프로퍼티 모델과 비교 시 일부 태스크에서 성능 격차가 존재한다. 또한, 일부 태스크에서 발생하는 regression(회귀)은 탐색 오류에서 비롯된 것으로, 이는 EFT가 모든 태스크에서 안정적인 성능을 보장하지 못함을 시사한다.

실용적 활용

EFT는 수학적 추측 해결, GPU 커널 최적화, 과학 법칙 발견, 알고리즘 헤uristic 개발 등 다양한 최적화 문제 해결에 활용 가능하다. 특히, 개발자들이 새로운 문제를 처음부터 해결하지 않고, 이전 경험을 바탕으로 전략을 재사용할 수 있도록 지원하여, 연구 및 산업 현장에서의 효율성을 높일 수 있다.