FrontierSmith: Synthesizing Open-Ended Coding Problems at Scale

Many real-world coding challenges are open-ended and admit no known optimal solution. Yet, recent progress in LLM coding has focused on well-defined tasks such as feature implementation, bug fixing, and competitive programming. Open-ended coding remains a weak spot for LLMs, largely because open-ended training problems are scarce and expensive to construct. Our goal is to synthesize open-ended coding problems at scale to train stronger LLM coders. We introduce FrontierSmith, an automated system for iteratively evolving open-ended problems from existing closed-ended coding tasks. Starting from competitive programming problems, FrontierSmith generates candidate open-ended variants by changing the problems'goals, restricting outputs, and generalizing inputs. It then uses a quantitative idea divergence metric to select problems that elicit genuinely diverse approaches from different solvers. Agents then generate test cases and verifiers for the surviving candidates. On two open-ended coding benchmarks, training on our synthesized data yields substantial gains over the base models: Qwen3.5-9B improves by +8.82 score on FrontierCS and +306.36 (Elo-rating-based performance) on ALE-bench; Qwen3.5-27B improves by +12.12 and +309.12, respectively. The synthesized problems also make agents take more turns and use more tokens, similar to human-curated ones, suggesting that closed-ended seeds can be a practical starting point for long-horizon coding data.

📋 한 줄 요약

**[코딩 LLM / 데이터 합성]** 닫힌 코딩 문제로부터 다양성을 명시적으로 보장한 열린 코딩 문제를 대규모로 합성해 LLM 코더의 약점을 메우는 시스템 FrontierSmith 제안.

🎯 핵심 기여도

잘 정의된 코딩 태스크(기능 구현·버그 픽스·경쟁 프로그래밍)에 치우친 LLM 학습 트렌드와 부족한 열린 코딩 문제 학습 자원의 비대칭 문제 정의.
경쟁 프로그래밍 문제로부터 목표 변경·출력 제약·입력 일반화로 후보 변형을 만들어내는 자동화 시스템 FrontierSmith 도입.
정량적 idea divergence metric으로 다양한 솔버에서 진정으로 다양한 접근을 유도하는 문제만 선별.
에이전트가 통과한 후보에 대해 테스트 케이스·검증기를 자동 생성, Qwen3.5-9B에서 FrontierCS +8.82, ALE-bench +306.36 Elo, Qwen3.5-27B에서 +12.12 / +309.12 향상.

💡 핵심 아이디어

열린 코딩 문제는 "어떻게 다양한 접근이 동시에 정답이 될 수 있는가"를 측정해야 하며, 닫힌 시드 문제에서 출발해도 다양성을 정량적으로 필터링하면 사람이 만든 문제와 닮은 long-horizon 학습 데이터를 얻을 수 있다.

🔬 기술적 접근법

**모델/방법론**: 닫힌 시드 코딩 문제에서 출발해 후보 open-ended 변형을 생성하는 자동 진화 시스템 FrontierSmith.
**핵심 기법**: 목표/출력/입력 변형 → idea divergence 기반 필터링 → 에이전트가 테스트케이스·검증기 자동 생성, 최종 데이터로 LLM 추가 학습.

📊 주요 결과

Qwen3.5-9B: FrontierCS +8.82점, ALE-bench +306.36 Elo.
Qwen3.5-27B: FrontierCS +12.12점, ALE-bench +309.12 Elo.
합성 문제는 사람 큐레이션 문제처럼 에이전트가 더 많은 턴·토큰을 사용하도록 유도.

💭 의의 및 한계

**의의**: open-ended 코딩 데이터의 희소성을 자동 합성으로 해결하는 실용 경로 제시, 닫힌 시드도 long-horizon 학습 출발점이 될 수 있음을 입증. **한계**: 시드 분포가 결국 경쟁 프로그래밍에 편중, 산업 실무 도메인으로의 일반화는 후속 과제.

🚀 실용적 활용

코딩 LLM 후속학습용 대규모 open-ended 데이터 생성.
도메인별 open-ended 코딩 평가 셋 부트스트래핑.
에이전트 코딩 도구의 long-horizon 행동 학습 자원.